通过阿里云Logstash的日志功能,您可以输入关键字和设置时间范围,锁定需要查询的日志内容,快速定位集群问题,辅助集群运维。本文为您介绍如何查询日志以及常见日志的使用说明。

操作步骤

  1. 登录阿里云Elasticsearch控制台
  2. 进入目标实例。
    1. 在顶部菜单栏处,选择地域。
    2. 在左侧导航栏,单击Logstash实例,然后在Logstash实例中单击目标实例ID。
  3. 在左侧导航栏,单击日志查询,查看集群的运行日志。
    阿里云Logstash支持4种类型的日志:主日志、慢日志、GC日志和调试日志。各类日志的说明和使用场景如下,更多详细信息请参见日志说明
    日志类型 说明 使用场景
    主日志 集群的运行状态日志。 当您需要查看集群中各节点的运行状况及管道的运行情况,例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息时,可查看主日志进行排查。
    注意 如果您的业务侧出现问题,建议优先查看主日志和集群监控,排除集群自身的性能瓶颈或管道配置问题。
    慢日志 耗时比较久的管道事件日志。当管道运行耗时超过指定阈值时,将在慢查询日志中打印相关信息。
    注意 为了方便后续排查与定位阿里云Logstash问题,YML文件配置中默认开启了慢日志,请不要移除该慢日志配置,详细信息请参见配置YML文件
    当您的业务出现写入慢的问题时,可查看慢日志进行排查。常见原因如下:
    • 管道配置中的源端或目标端压力达到瓶颈:建议扩充源端或目标端资源。
    • Logstash的管道工作线程数配置太小:增加Logstash的管道批大小和工作线程数,详细信息请参见通过配置文件管理管道
    GC日志 垃圾回收器日志。显示所有JVM堆内存占用触发的垃圾回收情况,通过GC日志可获取详细的垃圾回收信息,包括Old GC、CMS GC、Full GC以及Minor GC等回收机制。 当集群出现性能瓶颈时,可通过GC日志获取详细的GC回收信息,查看是否存在耗时长或操作频繁的GC。
    调试日志 管道处理后的输出数据。默认关闭,需要安装logstash-output-file_extend插件,并在output中配置file_extend参数进行开启。 需要在控制台上查看管道配置的输出结果,调试管道配置的场景。
  4. 在日志页面的搜索框中,输入查询条件,选择开始时间和结束时间,单击搜索
    阿里云Logstash最多支持查询连续7天内的日志,日志默认按时间倒序展示。支持基于Lucene的日志查询语法,详情请参见Query string syntax

    本文以查询content包含关键字runninglevelinfohost172.16.xx.xx的Logstash主日志为例,示例查询条件为:host:172.16.xx.xx AND level:info AND content:running

    注意
    • 查询条件中的AND必须为大写。
    • 如果结束时间为空,那么结束时间默认为当前时间。如果开始时间为空,那么开始时间默认为结束时间减去1小时。
    搜索成功后,阿里云Logstash会根据您的查询条件返回日志查询结果,并展示在日志查询页面。

日志说明

主日志

主日志主要展示集群的运行日志,包括日志产生的时间、日志所在的节点IP和日志的详细信息。Logstash日志查询结果
参数 说明
时间 日志产生时间。
节点IP 生成日志的节点的IP地址。
内容 日志的详细信息,主要由levelhosttimecontent组成:
  • level:日志级别。包括trace、debug、info、warn、error等。
    说明 GC日志没有level
  • host:生成日志的节点的IP地址。
  • time:日志产生的时间。
  • content:日志的主要内容。

GC日志

GC日志默认开启,包含日志产生的时间、所在节点的IP地址和日志内容。详细信息,请参见主日志Logstash GC日志

慢日志

慢日志默认开启,您可在Logstash实例的YML配置中查看或修改默认的慢日志配置,详细信息请参见配置YML文件
注意 为方便后续排查与定位阿里云Logstash问题,请不要移除该慢日志配置。
阿里云Logstash慢日志配置

调试日志

当Logstash管道配置出现错误时,可能导致输出数据结果不符合预期,需要反复去目标端确认数据格式,再返回控制台修改配置,这样会耗费大量的时间和人力。对于这种情况,您可以通过阿里云Logstash提供的管道配置调试功能,在管道配置完成后,直接在控制台上通过调试日志查看管道配置的输出结果,降低调试成本。详细信息,请参见使用Logstash管道配置调试功能

调试日志默认关闭,您需要通过以下方式开启:
  1. 安装logstash-output-file_extend插件,具体操作请参见安装或卸载插件
  2. 在管道配置的output中配置file_extend参数,具体操作请参见通过配置文件管理管道
开启调试日志后,您可以在调试日志页签中,获取管道处理后的输出数据。Logstash调试日志

相关文档

ListLogstashLog