日志服务提供一套查询语法用于设置查询条件，帮助您更有效地查询日志。

查询方式

查询语句用来指定日志查询时的过滤规则，返回符合条件的日志。根据索引配置方式可分为全文查询和字段查询，根据查询精确程度可分为精确查询和模糊查询。
说明
  • 只有在字段索引中将字段的数据类型设置为double、long后，才能通过数值范围查询对应的日志。如果字段的数据类型不被设置为double、long或者查询时数值范围的语法错误，那么日志服务会按照全文查询方式进行查询，这样查询到的结果可能与您期望的结果不同。例如字段owner_id为非double、long类型，则执行查询语句owner_id>100时，会返回同时包含owner_id、>（非分词符）、100这三个词的日志。
  • 如果将字段的类型从text类型改成double、long类型，则修改索引之前的日志只支持等号（=）查询。
  • 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。如果您同时创建了全文索引和字段索引，以字段索引的配置为准。
  • 全文查询和字段查询
    查询方式说明示例
    全文查询配置全文索引后，日志服务根据您设置的分词符将整条日志拆分成多个词。您可以指定关键字（字段名、字段值）和查询规则进行查询。PUT and cn-shanghai表示查询同时包含关键字PUT和cn-shanghai的日志。
    字段查询配置字段索引后，您可以指定字段名称和字段值（Key:Value）进行查询。根据字段索引中设置的数据类型，您可以进行多种类型的基础查询和组合查询。更多信息，请参见数据类型。request_time>60 and request_method:Ge*表示查询request_time字段值大于60且request_method字段值以Ge开头的日志。
  • 精确查询和模糊查询
    查询方式说明示例
    精确查询使用完整的词进行查询。

    日志服务查询采用的是分词法，精确查询时并不能完全匹配关键词。例如查询语句为abc def，查询结果将包含所有abc和def的日志，无法完全匹配目标短语。如果您要完全匹配短语abc def，可以使用短语查询或者Like语法。更多信息，请参见短语查询、如何精准查询日志。

    • host:example.com表示查询host字段值包含example.com的日志。
    • PUT表示查询包含关键字PUT的日志。
    • * | Select * where http_user_agent like '%like Gecko%'表示查询http_user_agent字段值中包含短语like Gecko的日志。
    • #"redo_index/1"表示查询包含短语redo_index/1的日志。
    模糊查询在查询语句中指定一个64个字符以内的词，在词的中间或者末尾加上模糊查询关键字，即星号（*）或问号（?），日志服务会在所有日志中为您查询到符合条件的100个词，返回包含这100个词并满足查询条件的所有日志。指定的词越精确，查询结果越精确。
    重要
    • 星号（*）或问号（?）不能用在词的开头。
    • long数据类型和double数据类型不支持使用星号（*）或问号（?）进行模糊查询。您可以使用数值范围进行模糊查询，例如status in [200 299]。
    模糊查询是一种采样查询，查询机制如下所示：
    • 当您开启字段索引，且指定某个字段进行查询时，日志服务从该字段的索引数据中随机采样，返回部分结果并不是全量扫描底层数据。
    • 当您开启全文索引，且没有指定某个字段进行查询时，日志服务从全文索引数据中随机采样，返回部分结果并不是全量扫描底层数据。
    • addr*表示在所有日志中查找以addr开头的100个词，并返回包含这些词的日志。
    • host:www.yl*表示在所有日志中查找host字段值以www.yl开头的100个词，并返回包含这些词的日志。
    更多信息，请参见如何模糊查询日志？。

运算符

查询语句支持如下运算符。
重要
  • 除in运算符外，其他运算符不区分大小写。
  • 日志服务保留以下运算符的使用权，如果您需要使用以下运算符作为查询关键字，请使用双引号（""）包裹：sort、asc、desc、group by、avg、sum、min、max和limit。
  • 运算符的优先级由高到低排序如下所示：
    1. 冒号（:）
    2. 双引号（""）
    3. 圆括号( )
    4. and、not
    5. or
运算符说明
andand运算符。例如request_method:GET and status:200。

如果多个关键词之间没有语法关键词，默认为and关系，例如GET 200 cn-shanghai等同于GET and 200 and cn-shanghai。

oror运算符。例如request_method:GET or status:200。
notnot运算符。例如request_method:GET not status:200、not status:200。
( )用于提高括号内查询条件的优先级。例如(request_method:GET or request_method:POST) and status:200。
:用于字段查询（Key:Value），例如request_method:GET。

如果字段名称或者字段值内有空格、冒号（:）等保留字符，请使用双引号（""）包裹字段名称或者字段值，例如"file info":apsara。

""使用双引号（""）包裹一个语法关键词，可以将该语法关键词转换成普通字符。例如"and"表示查询包含and的日志，此处的and不代表运算符。

在字段查询中双引号（""）内的所有词被当成一个整体。

\转义符号，用于转义双引号（""），转义后的引号表示符号本身。例如日志内容为instance_id:nginx"01"，您可以使用instance_id:nginx\"01\"进行查询。
*通配符查询，匹配零个、单个、多个字符。例如host:aliyund*c。
说明 日志服务会在所有日志中为您查询到符合条件的100个词，返回包含这100个词并满足查询条件的所有日志。
?通配符查询，匹配单个字符。例如host:aliyund?c。
>查询某字段值大于某数值的日志。例如request_time>100。
>=查询某字段值大于或等于某数值的日志。例如request_time>=100。
<查询某字段值小于某数值的日志。例如request_time<100。
<=查询某字段值小于或等于某数值的日志。例如request_time<=100。
=查询某字段值等于某数值的日志。针对double、long类型的字段，等号（=）和冒号（:）作用相同。例如request_time=100等同于request_time:100。
in查询某字段值处于某数值范围内的日志，中括号表示闭区间，小括号表示开区间，两个数字之间使用空格分隔。例如request_time in [100 200]或request_time in (100 200]。
重要 in只能为小写字母。
__source__查询某个日志源的日志，支持通配符。例如__source__:192.0.2.*。
重要 日志服务中的__source__为保留字段，可缩写为source。如果您自定义的字段中存在source字段，则会与日志服务保留字段source冲突，此时您需要使用Source、SOURCE等词查询自定义的字段。
__tag__通过元数据信息查询日志。例如__tag__:__receive_time__:1609837139。
__topic__查询某日志主题下的日志。例如__topic__:nginx_access_log。

查询语句示例

同一条查询语句，针对不同的日志内容和索引配置时，会有不同的查询结果。本文基于如下日志样例和索引介绍查询语句示例。

日志样例

本文以Nginx访问日志为例，介绍常见的查询语句。

日志样例

索引配置

在查询日志前，请确保已配置索引。更多信息，请参见创建索引。索引

普通查询示例

查询需求查询语句
查询GET请求成功（状态码为200~299）的日志。
request_method:GET and status in [200 299]
查询来自非杭州地域的GET请求的日志。
request_method:GET not region:cn-hangzhou
查询GET请求或POST请求的日志。
request_method:GET or request_method:POST
查询非GET请求的日志。
not request_method:GET
查询GET请求或POST请求成功的日志。
(request_method:GET or request_method:POST) and status in [200 299]
查询GET请求或POST请求失败的日志。
(request_method:GET or request_method:POST) not status in [200 299]
查询GET请求成功（状态码为200~299）且请求时间小于60秒的日志。
request_method:GET and status in [200 299] not request_time>=60
查询请求时间为60秒的日志。
  • request_time:60
  • request_time=60
查询请求时间大于等于60秒，并且小于200秒的日志。
  • request_time>=60 and request_time<200
  • request_time in [60 200)
查询request_time字段值为空或非法数字的日志。
request_time:* not request_time > -10000000000
说明 request_time:*用于判断request_time字段是否存在。此处的星号（*）不代表模糊查询。
查询包含request_time字段且字段值为数字的日志。
request_time > -1000000000
查询包含and的日志。
"and"
说明 此处的and为普通字符串，不代表运算符。
查询request method字段值中包含PUT的日志。
"request method":PUT
重要 字段名request method中存在空格，在查询时需使用双引号（""）包裹。
查询日志主题为HTTPS或HTTP的日志。
__topic__:HTTPS or __topic__:HTTP
查询采集于192.0.2.1主机的日志。
__tag__:__client_ip__:192.0.2.1

此处的__tag__:__client_ip__为日志服务保留字段，表示日志所在主机的IP地址。更多信息，请参见保留字段。

重要 通过数据加工或者Logtail插件处理的日志，其tag中的key会被转换成普通key，即查询时需使用双引号（""）包裹字段名，例如"__tag__:__client_ip__":192.0.2.1。
查询包含192.168.XX.XX的日志。
* | select * from log where key like '192.168.%.%'
更多信息，请参见通过SQL的like语法进行精确的模糊查询。
查询remote_user字段值不为空的日志。
not remote_user:""
查询remote_user字段值为空的日志。
remote_user:""
查询remote_user字段值不为null的日志。
not remote_user:"null"
查询不存在remote_user字段的日志。
not remote_user:*
查询存在remote_user字段的日志。
remote_user:*
查询城市字段值不为上海的日志。
not 城市:上海
说明 当您要查询中文字符串时，您需要在配置索引时，打开包含中文开关。更多信息，请参见创建索引。

进阶查询示例

  • 模糊查询
    查询需求查询语句
    查询包含以cn开头的词的日志。
    cn*
    查询region字段值是以cn开头的日志。
    region:cn*
    查询region字段值包含cn*的日志。
    region:"cn*"
    说明 此处的cn*为一个独立词。例如：
    • 如果日志内容为region:cn*,en，分词符为半角逗号（,），则该日志内容被拆分为region、cn*和en，你可以通过上述语句查询到该日志。
    • 如果日志内容为region:cn*hangzhou，则cn*hangzhou为一个整体，您执行上述语句无法查询到该日志。
    查询包含以mozi开头，以la结尾，中间还有一个字符的词的日志。
    mozi?la
    查询包含以mo开头，以la结尾，中间包含零个、单个或多个字符的词的日志。
    mo*la
    查询包含以moz开头的词和以sa开头的词的日志。
    moz* and sa*
    查询region字段值以hai结尾的所有日志。目前使用查询语句无法查询到对应的日志，您可以使用SQL分析中的Like语法进行查询。更多信息，请参见通过SQL的like语法进行精确的模糊查询。
    * | select * from log where region like '%hai'
  • 基于分词符的查询

    日志服务会根据分词符，将日志内容拆分成多个词。日志服务默认配置的分词符为, '";=()[]{}?@&<>/:\n\t\r。如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。如何设置分词符，请参见创建索引。

    例如http_user_agent字段值为Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/192.0.2.0 Safari/537.2。
    • 设置分词符为空时，该字段值将被当成一个整体，则您使用http_user_agent:Chrome查询语句进行查询时，无法查询到日志。
    • 设置分词符为, '";=()[]{}?@&<>/:\n\t\r后，该字段值为拆分为Mozilla、5.0、Windows、NT、6.1、AppleWebKit、537.2、KHTML、like、Gecko、Chrome、192.0.2.0、Safari、537.2。您可以使用http_user_agent:Chrome等查询语句进行查询。
    说明 当查询关键字中包含分词符时，您可以使用短语查询或者Like语法。例如：
    • 短语查询：#"redo_index/1"。更多信息，请参见短语查询。
    • Like语法：* | select * from log where key like 'redo_index/1'。
    查询需求查询语句
    查询http_user_agent字段值中包含Chrome的日志。
    http_user_agent:Chrome
    查询http_user_agent字段值中包含Linux和Chrome的日志。
    • http_user_agent:"Linux Chrome"
    • http_user_agent:Linux and http_user_agent:Chrome
    查询http_user_agent字段值中包含Firefox或Chrome的日志。
    http_user_agent:Firefox or http_user_agent:Chrome
    查询request_uri字段值包含/request/path-2的日志。
    request_uri:/request/path-2
    查询request_uri字段值以/request开头，但不包含/file-0的日志。
    request_uri:/request* not request_uri:/file-0
    完全匹配包含短语redo_index/1的日志。
    • #"redo_index/1"
    • * | select * from log where key like 'redo_index/1'
    说明 通过短语查询或者Like语法，可完全匹配目标短语。使用普通的精确查询，将匹配redo_index、1等词。
  • 查询JSON日志（字段值为JSON对象、JSON数组）

    当字段值为JSON格式时，您可以为该字段配置JSON类型的索引或者使用JSON函数进行查询与分析。更多信息，请参见查询和分析JSON日志的常见问题。