您可以将日志文件保存到MaxCompute中,并通过数据导入方式将MaxCompute数据导入到日志服务,实现日志数据的查询分析、数据加工等操作。

前提条件

创建数据导入配置

  1. 登录日志服务控制台
  2. 接入数据区域的数据导入页签中,单击MaxCompute-数据导入
  3. 选择目标Project和Logstore,单击下一步
  4. 设置导入配置。
    1. 数据源设置中,配置如下参数。
      参数 说明
      配置名称 设置配置的名称。
      MaxCompute项目 待导入数据所在的MaxCompute项目名称。
      Table 待导入数据所在的表名称。
      分区描述 MaxCompute的表分区描述。更多信息,请参见分区

      如果存在多级分区,使用半角逗号(,)分隔。

      AccessKey ID 用于访问MaxCompute的AccessKey ID。 如何获取,请参见访问密钥
      说明 请确保您的AccessKey具有访问对应MaxCompute项目的权限。
      AccessKey Secret 用于访问MaxCompute的AccessKey Secret。
      Endpoint 用于访问MaxCompute的Endpoint。更多信息,请参见Endpoint
      Tunnel Endpoint 用于访问MaxCompute的Tunnel Endpoint。更多信息,请参见Endpoint
    2. 单击预览,查看文件预览结果。
    3. 确认无误后,单击下个配置
    4. 数据格式配置页签中,配置如下参数。
      参数 说明
      使用系统时间
      • 开启使用系统时间,则解析后的日志时间显示为导入时的系统时间。
      • 关闭使用系统时间,则需要手动配置时间字段和时间格式。
      说明 推荐开启使用系统时间,日志时间可作为普通字段建立索引,用于日志查询。在导入历史数据时,如果数据时间早于当前时间减去Logstore数据保存时间,例如保存7天,那么时间为7天前的日志无法在控制台上查询。
      时间字段 如果关闭使用系统时间,则需要指定一个用于提取日志时间的字段。
      时间格式 如果关闭使用系统时间,需要指定一个Java SimpleDateFormat语法的时间格式,用于解析时间字段或者使用正则表达式提取到的字符串。时间格式的语法详情请参见Class SimpleDateFormat。常见的时间格式请参见时间格式
      说明 Java SimpleDateFormat不支持Unix时间戳,如果您要使用Unix时间戳,时间格式指定为epoch。
      时区 如果关闭使用系统时间,需要指定一个时区,用于解析日志时间的时区。如果日志格式中已经有时区信息,则此参数无效。
    5. 可选:设置数据格式完成后,单击测试
    6. 测试成功后,单击下个配置
    7. 可选:调度间隔页签中,配置如下参数。
      参数 说明
      导入间隔 MaxCompute数据导入日志服务的时间间隔。
      立即执行 开启立即执行,则立即执行一次导入操作。
    8. 配置完成后,单击下一步
  5. 预览数据及设置索引,然后单击下一步
    日志服务默认开启全文索引。您也可以根据采集到的日志,手动或者自动设置字段索引。更多信息,请参见配置索引
    说明 如果您要查询分析日志,那么全文索引和字段索引属性必须至少启用一种。同时启用时,以字段索引为准。

查看导入配置

创建导入配置成功后,您可以在控制台中查看已创建的导入配置及生成的统计报表。

  1. 单击目标Project。
  2. 选择目标日志库下的数据接入 > 数据导入,单击配置名称。
  3. 导入配置概览页面,查看导入配置的基本信息和统计报表。
    导入MaxCompute数据-001

相关操作

导入配置概览页面,您还可以进行如下操作。

  • 修改配置

    单击修改配置,修改导入配置的相关配置,具体配置请参见设置导入配置

  • 删除配置
    单击删除配置,删除该导入配置。
    说明 删除后不可恢复,请谨慎操作。