日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。
加工流程
数据加工服务通过如下三个步骤完成加工处理。
- 通过协同消费组对源Logstore的数据进行读取。
- 通过加工规则对读取到的每一条数据进行加工处理。
- 将加工后的数据写入目标Logstore。
数据加工完成后,您可以在目标Logstore中查看加工后的数据。
功能特性
日志服务提供数据加工功能,用于数据的规整、富化、流转、脱敏和过滤。具体说明如下:
- 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。
- 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。
- 数据流转:通过跨地域加速功能将海外地域的日志传输到中心地域,实现全球日志集中化管理。
- 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
- 数据过滤:过滤出关键服务的日志,用于重点分析。
适用场景
- 数据规整(一对一):从源Logstore中读取日志数据,进行加工后输出到目标Logstore中。
- 数据分派(一对多):从源Logstore中读取日志数据,进行加工后分别输出到不同的目标Logstore中。
- 数据融合(多对一):分别从不同的源Logstore中读取日志数据,进行加工后输出到目标Logstore中。
加工语法
SLS DSL(Domain Specific Language)提供了200多个内置函数以及400多个正则表达式模式,同时提供灵活的自定义函数(UDF)能力。更多信息,请参见语法简介 。
优势
- SLS DSL自由编排,包括过滤、规整、富化、流转、脱敏等。
- 实时处理、数据秒级可见、计算能力扩展、按量弹性伸缩、高吞吐能力。
- 面向日志分析场景,提供开箱即用的函数。
- 提供实时仪表盘、异常日志和告警集成功能。
- 全托管、免运维,与阿里云大数据产品、开源生态集成。