本文介绍如何通过日志服务控制台采集ECS日志，并对日志进行查询和分析。

前提条件

  • 已有可用的ECS。更多信息，请参见云服务器ECS快速入门。
  • ECS服务器上已有待采集的日志。

    本示例中待采集的日志路径为/var/log/nginx/access.log，日志样例为127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0。针对该日志样例，本示例选择分隔符模式进行采集。

步骤1：创建Project和Logstore

  1. 登录日志服务控制台。
  2. 创建Project。
    1. 在Project列表区域，单击创建Project。
    2. 在创建Project面板中，按照如下说明配置参数，其他参数均可保持默认配置。
      参数 描述
      Project名称 Project的名称，全局唯一。创建Project成功后，无法更改其名称。
      所属地域 Project的数据中心。建议选择与ECS相同的地域，即可使用阿里云内网采集日志，加快采集速度。

      创建Project后，无法修改其所属地域，且日志服务不支持跨地域迁移Project。
    3. 单击确定。
  3. 创建Logstore。
    创建Project完成后，系统会提示您创建一个Logstore。

    在创建Logstore面板中，按照如下说明配置参数，其他参数均可保持默认配置。

    参数 描述
    Logstore名称 Logstore的名称，在其所属Project内必须唯一。创建Logstore成功后，无法更改其名称。
    Shard数目 日志服务使用Shard读写数据。

    一个Shard提供的写入能力为5 MB/s、500次/s，读取能力为10 MB/s、100次/s。如果一个Shard就能满足您的业务需求，您可配置Shard数目为1。在只创建1个Logstore且只使用1个Shard的情况下，不会产生Shard费用。

    自动分裂Shard 开启自动分裂功能后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。

    如果您确保配置的Shard数量已满足业务需求，可关闭自动分裂Shard开关。

步骤2：采集日志

  1. 在接入数据区域，选择分隔符-文本日志。
  2. 选择目标Project和Logstore，单击下一步。
  3. 安装Logtail。
    1. 在ECS页签中，选中目标ECS实例，单击立即执行。
    2. 确认执行状态为成功后，单击确认安装完毕。
  4. 创建IP地址类型的机器组，单击下一步。
    按照如下说明配置参数，其他参数均可保持默认配置。
    参数 说明
    名称 机器组的名称，在其所属Project内必须唯一。创建机器组成功后，无法更改其名称。
    IP地址 ECS服务器IP地址。多个IP地址之间请用换行符分隔。
    注意 请勿将Windows机器和Linux机器添加到同一机器组中。
  5. 选中目标机器组，将该机器组从源机器组移动到应用机器组，单击下一步。
    注意 如果创建机器组后立刻应用，可能因为连接未生效，导致心跳为FAIL，您可单击自动重试。如果还未解决，请参见Logtail机器组无心跳进行排查。
  6. 创建Logtail配置，单击下一步。
    按照如下说明配置参数，其他参数均可保持默认配置。
    参数 描述
    配置名称 Logtail配置的名称，在其所属Project内必须唯一。创建Logtail配置成功后，无法修改其名称。
    日志路径 待采集的日志的目录和文件名。
    日志文件名支持完整文件名和通配符两种模式，文件名规则请参见Wildcard matching。日志文件查找模式为多层目录匹配，即指定目录（包含所有层级的目录）下所有符合条件的文件都会被查找到。例如：
    • /apsara/nuwa/…/*.log表示/apsara/nuwa目录（包含该目录的递归子目录）中后缀名为.log的文件。
    • /var/logs/app_*/*.log表示/var/logs目录下所有符合app_*模式的目录（包含该目录的递归子目录）中包含.log的文件。
    说明
    • 默认情况下，一个文件只能被一个Logtail配置采集。
    • 目录通配符只支持星号（*）和问号（?）。
    日志样例 根据实际场景输入一条日志样例。例如：
    127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0
    分隔符 根据您的日志格式配置分隔符。例如：|#|。
    说明 指定引用符为不可见字符时，您需要查找不可见字符在ASCII码中对应的十六进制数，输入的格式为0x不可见字符在ASCII码中对应的十六进制数。例如：ASCII码中排行为1的不可见字符填写为0x01。
    日志抽取内容 日志服务会根据您输入的日志样例及选择的分隔符提取日志内容，并将其定义为Value，您需要为Value指定对应的Key。
    单击下一步即表示创建Logtail配置完成，日志服务开始采集日志。
    说明
    • Logtail配置生效时间最长需要3分钟，请耐心等待。
    • 如果遇到Logtail采集报错，请参见诊断采集错误。
  7. 预览数据，单击下一步。
    日志服务默认开启全文索引，用于查询和分析日志。更多信息，请参见开启并配置索引。
    说明
    • 索引只对新写入的日志数据生效。
    • 如果您要查询和分析日志，那么全文索引和字段索引属性必须至少启用一种。同时启用时，以字段索引为准。

步骤3：查询和分析日志

  1. 在Project列表区域，单击目标Project。
  2. 在日志存储 > 日志库页签中，单击目标Logstore。
  3. 输入查询和分析语句，选择时间范围，单击查询/分析。
    例如：执行如下查询和分析语句统计最近1天访问IP地址的来源情况，并通过表格展示查询和分析结果。
    • 查询和分析语句
      * | select count(1) as c, ip_to_province(remote_addr) as address group by address limit 100
    • 查询和分析结果

      如下图表示最近1天内有329个访问来自广东省，313个访问来自北京市。日志服务支持通过可视化图表展示查询和分析结果。更多信息，请参见统计图表。

      统计结果

更多操作

  • 投递数据：您可以将采集到的数据投递到OSS、Maxcompute等云产品中进行存储或计算分析。更多信息，请参见数据投递。
  • 消费数据：您可以将采集到的数据进行消费。更多信息，请参见实时消费。
  • 数据加工：您可以将采集到的数据进行加工，实现数据的规整、富化、分发、汇总等操作。更多信息，请参见数据加工。