日志服务的数据加工功能是一个可托管、高可用、可扩展的数据加工服务，广泛适用于数据的规整、富化、分发、汇总、重建索引等场景。
加工流程
说明 数据加工功能支持除华北1（青岛）以外的所有地域。
日志服务提供的数据加工功能通过如下三个步骤完成对日志数据的加工处理。
- 通过协同消费组对源Logstore的日志数据进行读取消费。
- 通过加工规则对读取的每一条日志进行加工处理。
- 通过设置目标Logstore将加工后的日志数据写入指定的目标Logstore中。
数据加工完成后，您可以在目标Logstore中查看加工后的日志数据。
适用场景
- 数据规整（一对一）：从一个Logstore中读取日志数据，进行加工后再输出到另一个Logstore中。
对数据进行规范化、富化、重建索引等。
- 数据分派（一对多）：从一个Logstore中读取日志数据，进行加工后再分别输出到多个不同的Logstore中。
- 多源汇集（多对一）：分别从多个不同Logstore中读取日志数据，进行加工后再输出到一个指定的Logstore中。
- 常规数据加工场景。
全面覆盖数据加工的典型模式，包括过滤、分裂、转换、富化等。
日志服务DSL（Domain Specific Language）提供了200多个内置函数以及400多个正则表达式模式，同时提供灵活的自定义函数（UDF）的能力，满足如下场景：- 过滤（filter）：将指定的日志过滤掉。
- 分裂（split）：将一条日志分裂成多条。
- 转换（transform）：字段操作、内容转换等。
- 富化（enrich）：关联外部资源，丰富字段信息等。
优势
- DSL自由编排，包括过滤、抽取、分裂、转化、富化、分发等。
- 实时处理、秒级数据可见、计算水平扩展、按量弹性伸缩、高吞吐能力。
- 面向日志分析场景，提供开箱即用的函数。
- 提供实时仪表盘、概览与统计曲线、异常日志和告警集成功能。
- 全托管、免运维，与阿里云大数据产品、开源生态集成。