语法简介

• 标准模式：默认为该模式，可视为Python的子集。除基本的数据结构与表达方式外，语法规则是以函数方式进行编排。
• 白名单高级模式：功能上完全兼容Python。如果需要使用白名单高级模式，请提工单申请。

• 全局操作函数

  主要用来接收事件，处理并返回事件的函数。且只有全局操作函数才能构建加工规则的每个步骤。

• 表达式函数

  通用型函数，接受特定参数，组合调用后作为参数传递给全局操作函数以定义更加灵活的逻辑。

全局函数1(..参数....)
全局函数2(..参数....)
全局函数3(..参数....)
全局函数4(..参数....)

• 基本处理：
  数据加工会以流式方式读取源Logstore的数据，并将每一条日志事件以字典的数据结构传递给加工规则，然后根据加工规则中定义的事件函数顺序处理日志数据，并将最终的数据加工结果输出到默认的Logstore。

  说明 在传递的过程中事件的字段和值始终都是字符串形式。例如：原事件是{"__time__": "1234567", "__topic__": "", "k1": "test"}，函数e_set("f1", 200)设置字段f1的值为200，经过这个函数处理后，原事件会变成：{"__time__": "1234567", "__topic__": "", "k1": "test", "f1": "200"}，其中f1和200都是字符串类型。

  规则中定义的每个事件函数会顺序执行，每个函数会对每个事件处理和修改，最后返回修改后的事件。

  例如e_set("type", "test")会对每个事件添加一个字段type，值为test，下一个函数接收到的就是修改后的事件。

• 条件判断：
  • 条件判断e_if：某些事件可以增加条件判断，不满足条件的事件就会跳过本次操作，相当于一个if的逻辑。

    例如e_if(e_match("status", "200"), e_regex("data", "ret: \d+", "result"))，会首先判断字段status是否为200，如果条件判断为真，则会对字段data用正则表达式提取出新字段result；如果条件判断为否，则不会执行任何操作。

  • e_if_else：与if_else操作类似。
• 停止处理：
  • 某些步骤可能返回0个事件，表示删除事件。

    例如e_if(str_islower(v("result")), e_drop())，如果每个result字段的值是小写字符串，则丢弃这条事件，后续的操作将不再进行，自动重新开始下一条事件。

  • 输出事件可以视为一种特殊的停止处理，例如e_output提前输出事件到目标并删除事件，其后续的操作也不会再进行。
    说明 函数e_coutput会复制一份当前的事件输出，并继续处理后续。
• 分裂并行：

  某些步骤也可能返回多个事件，表示分裂事件。

  例如e_split(data)，表示根据字段data的值将原本的一条事件分裂成两条事件。假如data的值是"abc, xyz"，则分裂后两条事件字段data的值分别是abc和xyz。

  分裂后的每条事件都会继续进行后续的步骤。

全局操作1(表达式函数1(...), ....)
全局操作2(..., 表达式函数2(...), 表达式函数3(...),...)