本文档介绍如何通过资源函数和映射富化函数从OSS中获取数据对日志数据进行富化。
前提条件
- 已创建访问密钥(AccessKey),用于访问OSS Bucket,详情请参见为RAM用户创建访问密钥。
推荐创建一个只读权限的AccessKey,用于从OSS获取文件;一个只写权限的AccessKey,用于上传文件到OSS。授权策略详情请参见基于RAM Policy的权限控制。
- 已上传CSV文件到OSS,详情请参见上传文件。
推荐使用只写权限的AccessKey进行上传。
背景信息
实践案例
- 原始日志
account : Sf24asc4ladDS
- OSS CSV文件数据
id account nickname 1 Sf24asc4ladDS 多弗朗明哥 2 Sf24asc4ladSA 凯多 3 Sf24asc4ladCD 罗杰 - 加工规则
通过日志服务Logstore中的account字段和OSS CSV文件中的account字段进行匹配,只有account字段的值完全相同,才能匹配成功。匹配成功后,返回OSS CSV文件中的nickname字段和字段值,与Logstore中的数据拼接,生成新的数据。
e_table_map(tab_parse_csv(res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com', ak_id=res_local("AK_ID"), ak_key=res_local("AK_KEY"), bucket='test', file='account.csv',change_detect_interval=30)), "account","nickname")
- 加工结果
account : Sf24asc4ladDS nickname: 多弗朗明哥