QLExpress规则引擎基本语法四年级英语免费

作者: 小孙 Mon Dec 04 03:38:15 SGT 2023
阅读(113)
源地址(https://gitee.com/cuibo119/QLExpress)一、背景介绍由阿里的电商业务规则、表达式(布尔组合)、特殊数学公式计算(高精度)、语法分析、脚本二次定制等强需求而设计的一门动态脚本引擎解析工具。在阿里集团有很强的影响力,同时为了自身不断优化、发扬开源贡献精神,于2012年开源。QLExpress脚本引擎被广泛应用在阿里的电商业务场景,具有以下的一些特性:1、线程安全,引擎运算过程中的产生的临时变量都是threadlocal类型。2、高效执行,比较耗时的脚本编译过程可以缓存在本地机器,运行时的临时变量创建采用了缓冲池的技术,和groovy性能相当。3、弱类型脚本语言,和groovy,javascript语法类似,虽然比强类型脚本语言要慢一些,但是使业务的灵活度大大增强。4、安全控制,可以通过设置相关运行参数,预防死循环、高危系统api调用等情况。5、代码精简,依赖最小,250k的jar包适合所有java的运行环境,在android系统的低端pos机也得到广泛运用。二、依赖和调用说明
com.alibabaQLExpress3.2.0
ExpressRunnerrunner=newExpressRunner();DefaultContextcontext=newDefaultContext();context.put("a",1);context.put("b",2);context.put("c",3);Stringexpress="a+b*c";Objectr=runner.execute(express,context,null,true,false);System.out.println(r);如果应用有让终端用户输入与执行QLExpress的功能,务必关注多级别安全控制,将QLExpress的安全级别配置在2或以上。三、语法介绍1、操作符和java对象操作普通java语法//支持+,-,*,/,<,>,<=,>=,==,!=,<>【等同于!=】,%,mod【取模等同于%】,++,--,//in【类似sql】,like【sql语法】,&&,||,!,等操作符//支持for,break、continue、ifthenelse等标准的程序控制逻辑n=10;sum=0;for(i=0;ib?a:b;
和java语法相比,要避免的一些ql写法错误不支持try{}catch{}注释目前只支持/****/,不支持单行注释//不支持java8的lambda表达式不支持for循环集合操作for(Itemitem:list)弱类型语言,请不要定义类型声明,更不要用Template(Map之类的)array的声明不一样min,max,round,print,println,like,in都是系统默认函数的关键字,请不要作为变量名//java语法:使用泛型来提醒开发者检查类型keys=newArrayList();deviceName2Value=newHashMap(7);String[]deviceNames={"ng","si","umid","ut","mac","imsi","imei"};int[]mins={5,30};//ql写法:keys=newArrayList();deviceName2Value=newHashMap();deviceNames=["ng","si","umid","ut","mac","imsi","imei"];mins=[5,30];//java语法:对象类型声明FocFulfillDecisionReqDTOreqDTO=param.getReqDTO();//ql写法:reqDTO=param.getReqDTO();//java语法:数组遍历for(Itemitem:list){}//ql写法:for(i=0;i##[](https://gitee.com/cuibo119/QLExpress#2%E8%84%9A%E6%9C%AC%E4%B8%AD%E5%AE%9A%E4%B9%89function)2、脚本中定义function
functionadd(inta,intb){returna+b;};functionsub(inta,intb){returna-b;};a=10;returnadd(a,4)+sub(a,9);3、扩展操作符:Operator替换ifthenelse等关键字runner.addOperatorWithAlias("如果","if",null);runner.addOperatorWithAlias("则","then",null);runner.addOperatorWithAlias("否则","else",null);express="如果(语文+数学+英语>270)则{return1;}否则{return0;}";DefaultContextcontext=newDefaultContext();runner.execute(express,context,null,false,false,null);如何自定义Operatorimportjava.util.ArrayList;importjava.util.List;/***定义一个继承自com.ql.util.express.Operator的操作符*/publicclassJoinOperatorextendsOperator{publicObjectexecuteInner(Object[]list)throwsException{Objectopdata1=list[0];Objectopdata2=list[1];if(opdata1instanceofList){((List)opdata1).add(opdata2);returnopdata1;}else{Listresult=newArrayList();for(Objectopdata:list){result.add(opdata);}returnresult;}}}如何使用Operator//(1)addOperatorExpressRunnerrunner=newExpressRunner();DefaultContextcontext=newDefaultContext();runner.addOperator("join",newJoinOperator());Objectr=runner.execute("1join2join3",context,null,false,false);System.out.println(r);//返回结果[1,2,3]//(2)replaceOperatorExpressRunnerrunner=newExpressRunner();DefaultContextcontext=newDefaultContext();runner.replaceOperator("+",newJoinOperator());Objectr=runner.execute("1+2+3",context,null,false,false);System.out.println(r);//返回结果[1,2,3]//(3)addFunctionExpressRunnerrunner=newExpressRunner();DefaultContextcontext=newDefaultContext();runner.addFunction("join",newJoinOperator());Objectr=runner.execute("join(1,2,3)",context,null,false,false);System.out.println(r);//返回结果[1,2,3]4、绑定java类或者对象的methodaddFunctionOfClassMethod+addFunctionOfServiceMethodpublicclassBeanExample{publicstaticStringupper(Stringabc){returnabc.toUpperCase();}publicbooleananyContains(Stringstr,StringsearchStr){char[]s=str.toCharArray();for(charc:s){if(searchStr.contains(c+"")){returntrue;}}returnfalse;}}runner.addFunctionOfClassMethod("取绝对值",Math.class.getName(),"abs",newString[]{"double"},null);runner.addFunctionOfClassMethod("转换为大写",BeanExample.class.getName(),"upper",newString[]{"String"},null);runner.addFunctionOfServiceMethod("打印",System.out,"println",newString[]{"String"},null);runner.addFunctionOfServiceMethod("contains",newBeanExample(),"anyContains",newClass[]{String.class,String.class},null);Stringexpress="取绝对值(-100);转换为大写(\"helloworld\");打印(\"你好吗?\");contains("helloworld",\"aeiou\")";runner.execute(express,context,null,false,false);5、macro宏定义runner.addMacro("计算平均成绩","(语文+数学+英语)/3.0");runner.addMacro("是否优秀","计算平均成绩>90");IExpressContextcontext=newDefaultContext();context.put("语文",88);context.put("数学",99);context.put("英语",95);Objectresult=runner.execute("是否优秀",context,null,false,false);System.out.println(r);//返回结果true6、编译脚本,查询外部需要定义的变量和函数。注意以下脚本int和没有int的区别Stringexpress="int平均分=(语文+数学+英语+综合考试.科目2)/4.0;return平均分";ExpressRunnerrunner=newExpressRunner(true,true);String[]names=runner.getOutVarNames(express);for(Strings:names){System.out.println("var:"+s);}//输出结果:var:数学var:综合考试var:英语var:语文)7、关于不定参数的使用@TestpublicvoidtestMethodReplace()throwsException{ExpressRunnerrunner=newExpressRunner();IExpressContextexpressContext=newDefaultContext();runner.addFunctionOfServiceMethod("getTemplate",this,"getTemplate",newClass[]{Object[].class},null);//(1)默认的不定参数可以使用数组来代替Objectr=runner.execute("getTemplate([11,'22',33L,true])",expressContext,null,false,false);System.out.println(r);//(2)像java一样,支持函数动态参数调用,需要打开以下全局开关,否则以下调用会失败DynamicParamsUtil.supportDynamicParams=true;r=runner.execute("getTemplate(11,'22',33L,true)",expressContext,null,false,false);System.out.println(r);}//等价于getTemplate(Object[]params)publicObjectgetTemplate(Object...params)throwsException{Stringresult="";for(Objectobj:params){result=result+obj+",";}returnresult;}8、关于集合的快捷写法@TestpublicvoidtestSet()throwsException{ExpressRunnerrunner=newExpressRunner(false,false);DefaultContextcontext=newDefaultContext();Stringexpress="abc=NewMap(1:1,2:2);returnabc.get(1)+abc.get(2);";Objectr=runner.execute(express,context,null,false,false);System.out.println(r);express="abc=NewList(1,2,3);returnabc.get(1)+abc.get(2)";r=runner.execute(express,context,null,false,false);System.out.println(r);express="abc=[1,2,3];returnabc[1]+abc[2];";r=runner.execute(express,context,null,false,false);System.out.println(r);}9、集合的遍历其实类似java的语法,只是ql不支持for(obj:list){}的语法,只能通过下标访问。//遍历mapmap=newHashMap();map.put("a","a_value");map.put("b","b_value");keySet=map.keySet();objArr=keySet.toArray();for(i=0;i10000andshopTypein('tmall','juhuasuan')andpricebetween(100,900)假设第一个条件star>10000不满足就停止运算。但业务系统却还是希望把后面的逻辑都能够运算一遍,并且输出中间过程,保证更快更好的做出决策。参照单元测试:ShortCircuitLogicTest.javaisTrace/***是否输出所有的跟踪信息,同时还需要log级别是DEBUG级别*/privatebooleanisTrace=false;这个主要是是否输出脚本的编译解析过程,一般对于业务系统来说关闭之后会提高性能。2、调用入参/***执行一段文本*@paramexpressString程序文本*@paramcontext执行上下文,可以扩展为包含ApplicationContext*@paramerrorList输出的错误信息List*@paramisCache是否使用Cache中的指令集,建议为true*@paramisTrace是否输出详细的执行指令信息,建议为false*@paramaLog输出的log*@return*@throwsException*/Objectexecute(StringexpressString,IExpressContextcontext,ListerrorList,booleanisCache,booleanisTrace,LogaLog);3、功能扩展API列表QLExpress主要通过子类实现Operator.java提供的以下方法来最简单的操作符定义,然后可以被通过addFunction或者addOperator的方式注入到ExpressRunner中。publicabstractObjectexecuteInner(Object[]list)throwsException;比如我们几行代码就可以实现一个功能超级强大、非常好用的join操作符:_list=1join2join3;_->[1,2,3]_list=join(list,4,5,6);_->[1,2,3,4,5,6]importjava.util.ArrayList;importjava.util.List;publicclassJoinOperatorextendsOperator{publicObjectexecuteInner(Object[]list)throwsException{Listresult=newArrayList();Objectopdata1=list[0];if(opdata1instanceofList){result.addAll((List)opdata1);}else{result.add(opdata1);}for(inti=1;i[]aParameterClassTypes,StringerrorInfo);//fun(a,b,c)绑定Class.function(a,b,c)类方法voidaddFunctionOfClassMethod(Stringname,StringaClassName,StringaFunctionName,Class[]aParameterClassTypes,StringerrorInfo);//给Class增加或者替换method,同时支持a.fun(b),fun(a,b)两种方法调用//比如扩展String.class的isBlank方法:"abc".isBlank()和isBlank("abc")都可以调用voidaddFunctionAndClassMethod(Stringname,ClassbindingClass,OperatorBaseop);(2)Operator相关API提到脚本语言的操作符,优先级、运算的目数、覆盖原始的操作符(+,-,*,/等等)都是需要考虑的问题,QLExpress统统帮你搞定了。//添加操作符号,可以设置优先级voidaddOperator(Stringname,Operatorop);voidaddOperator(Stringname,StringaRefOpername,Operatorop);//替换操作符处理OperatorBasereplaceOperator(Stringname,OperatorBaseop);//添加操作符和关键字的别名,比如if..then..else->如果。。那么。。否则。。voidaddOperatorWithAlias(StringkeyWordName,StringrealKeyWordName,StringerrorInfo);(3)宏定义相关APIQLExpress的宏定义比较简单,就是简单的用一个变量替换一段文本,和传统的函数替换有所区别。//比如addMacro("天猫卖家","userDO.userTag&1024==1024")voidaddMacro(StringmacroName,Stringexpress);(4)javaclass的相关apiQLExpress可以通过给java类增加或者改写一些method和field,比如链式调用:"list.join("1").join("2")",比如中文属性:"list.长度"。//添加类的属性字段voidaddClassField(Stringfield,ClassbindingClass,ClassreturnType,Operatorop);//添加类的方法voidaddClassMethod(Stringname,ClassbindingClass,OperatorBaseop);注意,这些类的字段和方法是执行器通过解析语法执行的,而不是通过字节码增强等技术,所以只在脚本运行期间生效,不会对jvm整体的运行产生任何影响,所以是绝对安全的。(4)语法树解析变量、函数的API这些接口主要是对一个脚本内容的静态分析,可以作为上下文创建的依据,也可以用于系统的业务处理。比如:计算"a+fun1(a)+fun2(a+b)+c.getName()"包含的变量:a,b,c包含的函数:fun1,fun2String[]getOutVarNames(Stringexpress);String[]getOutFunctionNames(Stringexpress);(5)语法解析校验api脚本语法是否正确,可以通过ExpressRunner编译指令集的接口来完成。StringexpressString="for(i=0;i<10;i++){sum=i+1;}returnsum;";InstructionSetinstructionSet=expressRunner.parseInstructionSet(expressString);//如果调用过程不出现异常,指令集instructionSet就是可以被加载运行(execute)了!(6)指令集缓存相关的api因为QLExpress对文本到指令集做了一个本地HashMap缓存,通常情况下一个设计合理的应用脚本数量应该是有限的,缓存是安全稳定的,但是也提供了一些接口进行管理。//优先从本地指令集缓存获取指令集,没有的话生成并且缓存在本地InstructionSetgetInstructionSetFromLocalCache(StringexpressString);//清除缓存voidclearExpressCache();(7)安全风险控制7.1防止死循环try{express="sum=0;for(i=0;i<1000000000;i++){sum=sum+i;}returnsum;";//可通过timeoutMillis参数设置脚本的运行超时时间:1000msObjectr=runner.execute(express,context,null,true,false,1000);System.out.println(r);thrownewException("没有捕获到超时异常");}catch(QLTimeOutExceptione){System.out.println(e);}7.1防止调用不安全的系统api更加详细多级安全控制见[多级别安全控制]ExpressRunnerrunner=newExpressRunner();QLExpressRunStrategy.setForbiddenInvokeSecurityRiskMethods(true);DefaultContextcontext=newDefaultContext();try{express="System.exit(1);";Objectr=runner.execute(express,context,null,true,false);System.out.println(r);thrownewException("没有捕获到不安全的方法");}catch(QLExceptione){System.out.println(e);}(8)增强上下文参数Context相关的api8.1与spring框架的无缝集成上下文参数IExpressContextcontext非常有用,它允许put任何变量,然后在脚本中识别出来。在实际中我们很希望能够无缝的集成到spring框架中,可以仿照下面的例子使用一个子类。publicclassQLExpressContextextendsHashMapimplementsIExpressContext{privatefinalApplicationContextcontext;//构造函数,传入context和ApplicationContextpublicQLExpressContext(Mapmap,ApplicationContextaContext){super(map);this.context=aContext;}/***抽象方法:根据名称从属性列表中提取属性值*/publicObjectget(Objectname){Objectresult;result=super.get(name);try{if(result==null&&this.context!=null&&this.context.containsBean((String)name)){//如果在Spring容器中包含bean,则返回String的Beanresult=this.context.getBean((String)name);}}catch(Exceptione){thrownewRuntimeException(e);}returnresult;}publicObjectput(Stringname,Objectobject){returnsuper.put(name,object);}}完整的demo参照SpringDemoTest.java8.2自定义函数操作符获取原始的context控制上下文自定义的Operator需要直接继承OperatorBase,获取到parent即可,可以用于在运行一组脚本的时候,直接编辑上下文信息,业务逻辑处理上也非常有用。publicclassContextMessagePutTest{classOperatorContextPutextendsOperatorBase{publicOperatorContextPut(StringaName){this.name=aName;}@OverridepublicOperateDataexecuteInner(InstructionSetContextparent,ArraySwaplist)throwsException{Stringkey=list.get(0).toString();Objectvalue=list.get(1);parent.put(key,value);returnnull;}}@Testpublicvoidtest()throwsException{ExpressRunnerrunner=newExpressRunner();OperatorBaseop=newOperatorContextPut("contextPut");runner.addFunction("contextPut",op);Stringexpress="contextPut('success','false');contextPut('error','错误信息');contextPut('warning','提醒信息')";IExpressContextcontext=newDefaultContext();context.put("success","true");Objectresult=runner.execute(express,context,null,false,true);System.out.println(result);System.out.println(context);}}4.多级别安全控制QLExpress与本地JVM交互的方式有:应用中的自定义函数/操作符/宏:该部分不在QLExpress运行时的管控范围,属于应用开放给脚本的业务功能,不受安全控制,应用需要自行确保这部分是安全的在QLExpress运行时中发生的交互:安全控制可以对这一部分进行管理,QLExpress会开放相关的配置给应用通过.操作符获取Java对象的属性或者调用Java对象中的方法通过import可以导入JVM中存在的任何类并且使用,默认情况下会导入java.lang,java.util以及java.util.stream在不同的场景下,应用可以配置不同的安全级别,安全级别由低到高:黑名单控制:QLExpress默认会阻断一些高危的系统API,用户也可以自行添加,但是开放对JVM中其他所有类与方法的访问,最灵活,但是很容易被反射工具类绕过,只适用于脚本安全性有其他严格控制的场景,禁止直接运行终端用户输入白名单控制:QLExpress支持编译时白名单和运行时白名单机制,编译时白名单设置到类级别,能够在语法检查阶段就暴露出不安全类的使用,但是无法阻断运行时动态生成的类(比如通过反射),运行时白名单能够确保运行时只可以直接调用有限的Java方法,必须设置了运行时白名单,才算是达到了这个级别沙箱模式:QLExpress作为一个语言沙箱,只允许通过自定义函数/操作符/宏与应用交互,不允许与JVM中的类产生交互(1)黑名单控制QLExpess目前默认添加的黑名单有:java.lang.System.exitjava.lang.Runtime.execjava.lang.ProcessBuilder.startjava.lang.reflect.Method.invokejava.lang.reflect.Class.forNamejava.lang.reflect.ClassLoader.loadClassjava.lang.reflect.ClassLoader.findClass同时支持通过QLExpressRunStrategy.addSecurityRiskMethod额外添加com.ql.util.express.example.MultiLevelSecurityTest#blockWhiteListControlTest//必须将该选项设置为trueQLExpressRunStrategy.setForbidInvokeSecurityRiskMethods(true);//这里不区分静态方法与成员方法,写法一致//不支持重载,riskMethod的所有重载方法都会被禁止QLExpressRunStrategy.addSecurityRiskMethod(RiskBean.class,"riskMethod");ExpressRunnerexpressRunner=newExpressRunner();DefaultContextcontext=newDefaultContext<>();try{expressRunner.execute("importcom.ql.util.express.example.RiskBean;"+"RiskBean.riskMethod()",context,null,true,false);fail("没有捕获到不安全的方法");}catch(Exceptione){assertTrue(e.getCause()instanceofQLSecurityRiskException);}(2)白名单控制编译期白名单:编译期白名单是类维度的,脚本中只允许显式引用符合白名单条件的类,支持两种设置方式,精确设置某个类,以及设置某个类的全部子类。com.ql.util.express.example.MultiLevelSecurityTest#compileWhiteListTest//设置编译期白名单QLExpressRunStrategy.setCompileWhiteClassList(Arrays.asList(//精确设置CheckerFactory.must(Date.class),//子类设置CheckerFactory.assignable(List.class)));ExpressRunnerexpressRunner=newExpressRunner();//Date在编译期白名单中,可以显示引用expressRunner.execute("newDate()",newDefaultContext<>(),null,false,true);//LinkedList是List的子类,符合白名单要求expressRunner.execute("LinkedListll=newLinkedList;ll.add(1);ll.add(2);ll",newDefaultContext<>(),null,false,true);try{//String不在白名单中,不可以显示引用//但是隐式引用,a='mmm',或者定义字符串常量'mmm'都是可以的expressRunner.execute("Stringa='mmm'",newDefaultContext<>(),null,false,true);}catch(Exceptione){assertTrue(e.getCause()instanceofQLSecurityRiskException);}//Math不在白名单中//对于不满足编译期类型白名单的脚本无需运行,即可通过checkSyntax检测出assertFalse(expressRunner.checkSyntax("Math.abs(-1)"));编译期白名单只能检测出脚本编译时能够确认的类型,任何运行时出现的类型都是无法检测的,诸如各种反射Class.forName,ClassLoader.loadClass,或者没有声明类型的变量等等,因为编译期白名单只能增加黑客的作案成本,是容易被绕过。因此建议编译期白名单只用来帮助脚本校验,如果需要接收终端用户输入,运行期白名单是务必要配置的。运行期白名单:如果有白名单设置,所有的黑名单设置就都会无效,以白名单为准。默认没有白名单设置。com.ql.util.express.example.MultiLevelSecurityTest#blockWhiteListControlTest//必须将该选项设置为trueQLExpressRunStrategy.setForbidInvokeSecurityRiskMethods(true);//有白名单设置时,则黑名单失效QLExpressRunStrategy.addSecureMethod(RiskBean.class,"secureMethod");//白名单中的方法,允许正常调用expressRunner.execute("importcom.ql.util.express.example.RiskBean;"+"RiskBean.secureMethod()",context,null,true,false);try{//java.lang.String.length不在白名单中,不允许调用expressRunner.execute("'abcd'.length()",context,null,true,false);fail("没有捕获到不安全的方法");}catch(Exceptione){assertTrue(e.getCause()instanceofQLSecurityRiskException);}//setSecureMethods设置方式SetsecureMethods=newHashSet<>();secureMethods.add("java.lang.String.length");secureMethods.add("java.lang.Integer.valueOf");QLExpressRunStrategy.setSecureMethods(secureMethods);//白名单中的方法,允许正常调用Objectres=expressRunner.execute("Integer.valueOf('abcd'.length())",context,null,true,false);assertEquals(4,res);try{//java.lang.Long.valueOf不在白名单中,不允许调用expressRunner.execute("Long.valueOf('abcd'.length())",context,null,true,false);fail("没有捕获到不安全的方法");}catch(Exceptione){assertTrue(e.getCause()instanceofQLSecurityRiskException);}从上图中可以看出白名单有两种设置方式:添加:QLExpressRunStrategy.addSecureMethod置换:QLExpressRunStrategy.setSecureMethods在应用中使用的时,推荐将白名单配置在诸如etcd,configServer等配置服务中,根据需求随时调整。(3)沙箱模式如果你厌烦上述复杂的配置,只是想完全关闭QLExpress和Java应用的自由交互,那么推荐使用沙箱模式。在沙箱模式中,脚本不可以:importJava类显式引用Java类,比如Stringa='mmm'取Java类中的字段:a=newInteger(11);a.value调用Java类中的方法:Math.abs(12)脚本可以:使用QLExpress的自定义操作符/宏/函数,以此实现与应用的受控交互使用.操作符获取Map的key对应的value,比如a在应用传入的表达式中是一个Map,那么可以通过a.b获取所有不涉及应用Java类的操作com.ql.util.express.example.MultiLevelSecurityTest#sandboxModeTest//开启沙箱模式QLExpressRunStrategy.setSandBoxMode(true);ExpressRunnerexpressRunner=newExpressRunner();//沙箱模式下不支持import语句assertFalse(expressRunner.checkSyntax("importcom.ql.util.express.example.RiskBean;"));//沙箱模式下不支持显式的类型引用assertFalse(expressRunner.checkSyntax("Stringa='abc'"));assertTrue(expressRunner.checkSyntax("a='abc'"));//无法用.获取Java类属性或者Java类方法try{expressRunner.execute("'abc'.length()",newDefaultContext<>(),null,false,true);fail();}catch(QLExceptione){//没有找到方法:length}try{DefaultContextcontext=newDefaultContext<>();context.put("test",newCustBean(12));expressRunner.execute("test.id",context,null,false,true);fail();}catch(RuntimeExceptione){//无法获取属性:id}//沙箱模式下可以使用自定义操作符/宏/函数和应用进行交互expressRunner.addFunction("add",newOperator(){@OverridepublicObjectexecuteInner(Object[]list)throwsException{return(Integer)list[0]+(Integer)list[1];}});assertEquals(3,expressRunner.execute("add(1,2)",newDefaultContext<>(),null,false,true));//可以用.获取map的属性DefaultContextcontext=newDefaultContext<>();HashMaptestMap=newHashMap<>();testMap.put("a","t");context.put("test",testMap);assertEquals("t",expressRunner.execute("test.a",context,null,false,true));