在云防火墙控制台开通日志分析服务后,您可对采集到的日志数据进行实时查询与分析、查看或编辑仪表盘、设置监控告警等操作。

前提条件

在页面右上角开启互联网流量日志开关、VPC流量日志开关。

操作步骤

  1. 登录云防火墙控制台
  2. 在左侧导航栏,选择日志分析 > 日志分析
  3. 日志分析页面,单击日志查询页签。
  4. 输入查询分析语句,选择日志时间范围后,单击查询/分析

    日志服务定义了一系列查询语法和分析语法,支持多种复杂场景下的日志查询。更多详细介绍,请参见自定义查询与分析

    查询日志

操作日志数据

在日志分析页面,您还可以对查询到的日志数据进行以下操作:
  • 查看日志的时间分布
    在搜索框下方,展示了符合查询时间和查询语句的日志的时间分布情况,以时间为横轴、数量为纵轴的柱状图形式展示。并显示查询到的日志总数。
    说明 您可以在柱状图上按住鼠标左键拖拽选择更小范围的时间区域,时间选择器将自动更新为选择的时间范围,并展示所选择时间范围内的结果。
    日志时间分布
  • 查看原始日志

    原始日志页签中,展示了每一条日志的详细内容,包括时间、内容以及其中的各个字段。您可以单击内容列显示,设置内容列中长字符的显示效果(整行换行)。您单击列设置,选择特定的字段进行展示。您可以单击日志下载图标下载按钮,将当前查询结果下载至本地。

    同时,在内容列中,单击相应字段的值或分词,搜索框中将自动增加相应的搜索条件。例如,单击__source__: log_service中的值log_service,搜索框中将自动增加更新为以下查询语句,并展示相应的查询结果:

    原来的搜索语句 and source: log_service
    原始日志
  • 查看分析图表

    日志服务支持以图表形式展示分析结果。您可以在统计图表页签,根据需要选择不同的图表类型。更多详细介绍,请参见分析图表

    统计图表
  • 快速分析

    原始日志页签中的快速分析功能为您提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况,减少索引关键数据的时间成本。更多详细介绍,请参见快速分析

    快速分析

自定义查询分析

日志查询语句由查询语法(Search)和分析语法(Analytics)两个部分组成,中间通过竖线(|)进行分隔:

$Search | $Analytics
类型 说明
查询(Search) 查询语句使用日志分析专用语法,查询满足条件的日志数据。查询条件由关键词、模糊、数值、区间范围和组合条件等产生。如果为空或*,代表查询所有数据。
分析(Analytics) 分析语句使用SQL/92语法,对查询结果进行统计分析。如果为空,代表只返回查询结果,不进行统计。

查询语法

日志服务查询语法支持全文查询字段查询,查询框支持换行显示、语法高亮等功能。
  • 全文查询

    无需指定字段,直接输入关键字进行全文查询。您可以用双引号("")包裹关键字,查询包含该关键字的日志。也可以用空格或and分隔多个关键字,查询包含这些关键字的日志。

    示例
    • 多关键字查询

      搜索包含所有www.aliyun.comerror的日志。

      www.aliyun.com error或者www.aliyun.com and error

    • 条件查询

      搜索所有包含www.aliyun.com,并且包含error或者404的日志。

      www.aliyun.com and (error or 404)
    • 前缀查询

      搜索所有包含www.aliyun.com,并且以failed_开头的日志。

      www.aliyun.com and failed_*
      说明 查询中只支持后缀添加*,但不支持以*作为前缀(如*_error)。
  • 字段查询

    基于字段进行更精准的查询。

    字段查询支持数值类型字段的比较查询,格式为字段:值字段 >= 值。同时,通过andor等可进行组合查询,并支持与全文搜索组合使用。
    说明 云防火墙日志服务支持基于字段查询。关于日志中各个字段的含义、类型、格式等信息,请参见云防火墙日志字段说明
    示例
    • 查询多字段

      如果要搜索指定客户端192.0.2.0访问目的地址192.0.2.54的访问日志,您可以设置以下查询条件:

      src_ip: 192.0.2.0 and dst_ip: 192.0.2.54
      说明 本示例中的src_ip字段和dst_ip都是云防火墙记录的日志字段。
    • 查询字段是否存在
      • 查询包含total_pps字段的日志。
        total_pps: *
      • 查询不包含total_pps字段的日志。
        not total_pps: *
关于日志服务支持的查询语法完整说明,请参见索引与查询

分析语法

您可以使用SQL/92语法对日志数据进行分析与统计。

关于日志服务支持的语法与函数说明,请参见实时分析
说明
  • 分析语句中可以省略SQL标准语法中的from 表格名语句,即from log语句。
  • 日志数据默认返回前100条,您可以通过LIMIT语法修改返回范围。

查询分析示例

基于日志时间的查询分析

每一条云防火墙记录的日志都存在time字段,用于表示日志的时间,格式为年-月-日T时:分:秒+时区。例如,2018-05-31T20:11:58+08:00,其中时区为UTC+8区,即北京时间。

同时,每条日志都拥有一个内置字段,__time__。该字段也表示该条日志的时间,以便在统计时进行基于时间的计算,其格式为Unix时间戳,其本质是一个自从1970-01-01 00:00:00 UTC时间开始的累计经过的秒数。因此在实际使用时,经过可选的计算后,需要经过格式化才能进行展示。 更多关于时间解析的函数(例如将一个时间格式转化为另外一个格式),需要使用date_parsedate_format函数,请参见日期和时间函数