高级预览时,日志服务真实连接Logstore,并从Logstore读取数据完成加工测试,模拟完整的数据加工流程。本文介绍高级预览的操作步骤及示例。

操作步骤

  1. 登录日志服务控制台
  2. 进入数据加工页面。
    1. 在Project列表区域,单击目标Project。
    2. 日志存储 > 日志库页签中,单击目标Logstore。
    3. 在查询和分析页面,单击数据加工
  3. 在页面右上角,选择数据的时间范围。
    选择时间范围后,请确认原始日志页签中存在日志。
  4. 在编辑框中,输入数据加工语句。
    加工语句的语法请参见数据加工语法
    说明 编辑框中的加工语句支持注释,您可以使用此功能逐行调试。
  5. 预览数据。
    1. 在页面右上角,单击高级
    2. 单击预览数据
    3. 添加预览配置页面,配置如下参数,然后单击确定

      首次预览数据时,需配置如下参数。后续可通过单击修改预览配置,修改如下参数。

      参数说明
      授权方式您可以通过如下方式授予数据加工任务读取源Logstore数据的权限。
      • 默认角色:授予数据加工任务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。

        单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。更多信息,请参见通过默认角色访问数据

        重要
        • 如果您使用的是RAM用户,需要由阿里云账号先完成授权。
        • 已完成授权的阿里云账号,无需再次授权。
      • 自定义角色:授予数据加工任务使用自定义角色来读取源Logstore中的数据。

        您需先授予自定义角色读取源Logstore数据的权限,然后在角色ARN中输入您自定义角色的ARN。如何授权,请参见通过自定义角色访问数据

      • 密钥:授予数据加工任务使用阿里云账号或RAM用户的访问密钥来读取源Logstore中的数据。
        • 阿里云账号:阿里云账号的访问密钥具备源Logstore数据读取权限,您在AccessKey IDAccessKey Secret中输入阿里云账号的访问密钥即可。如何获取访问密钥,请参见访问密钥
        • RAM用户:您需先授予RAM用户读取源Logstore数据的权限,然后在AccessKey IDAccessKey Secret中输入RAM用户的访问密钥。如何授权,请参见通过访问密钥访问数据
      高级参数配置对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中,即您可以在加工语句中通过变量${key}进行引用。
      单击+,可添加多个键值对。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS实例所属的专有网络ID。高级参数配置

      完成预览设置后,您可以在加工结果页签中查看预览结果。

      • 如果加工语句错误或者权限配置错误,导致数据加工失败,请根据页面提示处理。
      • 如果确认数据加工结果无误,可保存加工结果。具体操作,请参见创建数据加工任务

示例

  • 加工语句
    # e_set("insert_field", "test_value")
    e_table_map(
        res_rds_mysql(
            address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
            username="test_username",
            password="****",
            database="test_db",
            table="test_table",
        ),
        "ip",
        ["country", "province"],
    )
  • 原始日志
    {
      "__source__": "192.0.2.0",
      "__time__": 1624523917,
      "__topic__": "topic",
      "id": "1001",
      "ip": "127.0.0.1"
    }
  • 高级预览设置高级预览
  • 加工结果加工结果