完成日志采集后,您可以调用GetLogs接口查询采集到的日志。本文介绍GetLogs接口的典型使用示例。

前提条件

原始日志样例

body_bytes_sent:1750
host:www.example.com
http_referer:www.example.com
http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
http_x_forwarded_for:203.0.103.10
remote_addr:203.0.103.10
remote_user:p288
request_length:13741
request_method:GET
request_time:71
request_uri:/request/path-1/file-1
http_code:200
time_local:11/Aug/2021:06:52:27
upstream_response_time:0.66

示例1:使用关键字查询日志

本示例中,创建一个GetLogsTest.py文件,使用关键字path-0/file-5查询日志。示例如下:

# encoding: utf-8
import time

from aliyun.log import *

def main():
    # 日志服务的服务入口。更多信息,请参见服务入口。此处以杭州为例,其它地域请根据实际情况填写。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 阿里云访问密钥AccessKey。更多信息,请参见访问密钥。阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。
    access_key_id = 'your-access-id'
    access_key = 'your-access-key'

    # Project和Logstore名称。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # 创建日志服务Client。
    client = LogClient(endpoint, access_key_id, access_key)

    # 使用关键字path-0/file-5查询日志。
    query = 'path-0/file-5'

    # from_time和to_time表示查询日志的时间范围,UNIX时间戳格式。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # 该示例中,query为查询语句,接口中line参数控制返回日志条数,line取值为3。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # 打印查询结果。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()
            

返回结果示例如下:

ready to query logs from logstore your-logstore-name
-------------Query is started.-------------
dict_items([ ('remote_user', 'nhf3g'), ('time_local', '14/Feb/2022:06:49:28'),  ('request_uri', '/request/path-0/file-5')...])
dict_items([ ('remote_user', 'ysu'), ('time_local', '14/Feb/2022:06:49:38'),  ('request_uri', '/request/path-0/file-5')...])
dict_items([ ('remote_user', 'l_k'), ('time_local', '14/Feb/2022:06:49:38'),  ('request_uri', '/request/path-0/file-5')...])
-------------Query is finished.-------------

Process finished with exit code 0

示例2:指定特定字段查询日志

本示例中,创建一个GetLogsTest.py文件,查询请求方法为POST的日志。为控制返回日志条数,接口中line参数取值为3。示例如下:

# encoding: utf-8
import time

from aliyun.log import *

def main():
    # 日志服务的服务入口。更多信息,请参见服务入口。此处以杭州为例,其它地域请根据实际情况填写。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 阿里云访问密钥AccessKey。更多信息,请参见访问密钥。阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。
    access_key_id = 'your-access-id'
    access_key = 'your-access-key'

    # Project和Logstore名称。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # 创建日志服务Client。
    client = LogClient(endpoint, access_key_id, access_key)

    # 指定特定字段查询日志。
    # 查询请求方法为POST的日志。
    query = 'request_method:POST'

    # from_time和to_time表示查询日志的时间范围,UNIX时间戳格式。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # 该示例中,query为查询语句,接口中line参数控制返回日志条数,line取值为3。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # 打印查询结果。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()
            

返回结果示例如下:

ready to query logs from logstore your-logstore-name
-------------Query is started.-------------
dict_items([ ('remote_user', 'tv0m'), ('time_local', '14/Feb/2022:06:59:08'), ('request_method', 'POST')...])
dict_items([ ('remote_user', '6joc'), ('time_local', '14/Feb/2022:06:59:08'), ('request_method', 'POST')...])
dict_items([ ('remote_user', 'da8'), ('time_local', '14/Feb/2022:06:59:08'), ('request_method', 'POST')...])
-------------Query is finished.-------------

Process finished with exit code 0

示例3:使用SQL语句分析日志

本示例中,创建一个GetLogsTest.py文件,查询请求方法为POST的日志,并统计POST请求的PV数量。示例如下:

# encoding: utf-8
import time

from aliyun.log import *

def main():
    # 日志服务的服务入口。更多信息,请参见服务入口。此处以杭州为例,其它地域请根据实际情况填写。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 阿里云访问密钥AccessKey。更多信息,请参见访问密钥。阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。
    access_key_id = 'your-access-id'
    access_key = 'your-access-key'

    # Project和Logstore名称。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # 创建日志服务Client。
    client = LogClient(endpoint, access_key_id, access_key)

    # 使用SQL语句分析日志。
    # 查询请求方法为POST的日志,并统计POST请求的PV数量。
    query = 'request_method:POST|select COUNT(*) as pv'

    # from_time和to_time表示查询日志的时间范围,UNIX时间戳格式。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # 该示例中,query为查询和分析语句,接口中line参数无效,返回条数以query为准,返回1条。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # 打印查询结果。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()
            

返回结果示例如下:

ready to query logs from logstore nginx-moni
-------------Query is started.-------------
dict_items([('pv', '2918')])
-------------Query is finished.-------------

Process finished with exit code 0

示例4:使用SQL分组分析日志

本示例中,创建一个GetLogsTest.py文件,查询请求方法为POST的日志,并且按照host进行分组,按照PV进行排序。示例如下:

# encoding: utf-8
import time

from aliyun.log import *

def main():
    # 日志服务的服务入口。更多信息,请参见服务入口。此处以杭州为例,其它地域请根据实际情况填写。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # 阿里云访问密钥AccessKey。更多信息,请参见访问密钥。阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。
    access_key_id = 'your-access-id'
    access_key = 'your-access-key'

    # Project和Logstore名称。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # 创建日志服务Client。
    client = LogClient(endpoint, access_key_id, access_key)

    # 统计请求方法为POST的日志,并且按照host进行分组,按照PV排序。
    # SQL语法中的limit限制日志条数为5。更多信息,请参见LIMIT子句。
    query = 'request_method:POST|select host, COUNT(*) as pv group by host order by pv desc limit 5'

    # from_time和to_time表示查询日志的时间范围,UNIX时间戳格式。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # 该示例中,query为查询和分析语句,接口中line参数无效,返回条数以query为准,返回5条;reverse参数无效,按照SQL语句指定顺序返回。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # 打印查询结果。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()
            

返回结果示例如下:

ready to query logs from logstore nginx-moni
-------------Query is started.-------------
dict_items([('host', 'www.example.com'), ('pv', '7')])
dict_items([('host', 'www.example.org'), ('pv', '6')])
dict_items([('host', 'www.example.net'), ('pv', '6')])
dict_items([('host', 'www.example.edu'), ('pv', '5')])
dict_items([('host', 'www.aliyundoc.com'), ('pv', '4')])
-------------Query is finished.-------------

Process finished with exit code 0