GetLogs API を使用したログのクエリ - Simple Log Service - Alibaba Cloud ドキュメントセンター

ログを収集した後、`GetLogs` 操作を呼び出すことで、収集したログをクエリできます。このトピックでは、`GetLogs` 操作を呼び出して収集したログをクエリする方法の例を説明します。

前提条件

RAM ユーザーを作成し、必要な権限を付与します。詳細については、「RAM ユーザーの作成と権限の付与」をご参照ください。
ALIBABA_CLOUD_ACCESS_KEY_ID および ALIBABA_CLOUD_ACCESS_KEY_SECRET 環境変数を設定します。詳細については、「Linux、macOS、Windows で環境変数を設定する」をご参照ください。
重要
- Alibaba Cloud アカウントの AccessKey ペアは、すべての API オペレーションにアクセスする権限を持っています。API 呼び出しや日常の操作には、RAM ユーザーの AccessKey ペアを使用することを推奨します。
- セキュリティリスクを防ぐため、AccessKey ID と AccessKey Secret をプロジェクトコードにハードコーディングしないでください。認証情報をコードにハードコーディングすると、それらが漏洩し、アカウント内のすべてのリソースのセキュリティが損なわれる可能性があります。
Log Service SDK for Python をインストールします。詳細については、Log Service SDK for Python のインストールをご参照ください。
ログが収集済みであること。詳細については、「データ収集の概要」をご参照ください。
`GetLogs` 操作のパラメーターを理解しておきます。詳細については、「GetLogs」をご参照ください。

注意事項

このトピックでは、中国 (杭州) リージョンのパブリックエンドポイントを例として使用します：https://cn-hangzhou.log.aliyuncs.com。
プロジェクトと同じリージョンにある他の Alibaba Cloud サービスから Log Service にアクセスする場合は、内部エンドポイントを使用します：https://cn-hangzhou-intranet.log.aliyuncs.com。
サポートされているリージョンとそのエンドポイントのリストについては、「エンドポイント」をご参照ください。
SDK コードの応答オブジェクトで is_completed() メソッドを呼び出すことで、クエリが正確かどうかを判断できます。
- is_completed() メソッドが true を返す場合、現在のクエリが完了し、正確であることを示し、返されたクエリ結果は完全です。
- is_completed() メソッドが false を返す場合、クエリは完了していますが、結果が不正確であることを示します。つまり、返されたクエリ結果は不完全です。完全なクエリ結果を取得するには、リクエストを繰り返す必要があります。不正確なクエリの詳細については、「不正確なクエリの考えられる原因」をご参照ください。

生ログのサンプル

body_bytes_sent:1750
host:www.example.com
http_referer:www.example.com
http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
http_x_forwarded_for:203.0.XX.XX
remote_addr:203.0.XX.XX
remote_user:p288
request_length:13741
request_method:GET
request_time:71
request_uri:/request/path-1/file-1
http_code:200
time_local:11/Aug/2021:06:52:27
upstream_response_time:0.66

例

以下の Python コードのサンプルは、ログをクエリおよび分析する方法の例を示しています。

重要

`GetLogs` 操作では、query パラメーターを使用して、次のようにクエリと分析のステートメントを設定できます。

query パラメーターが検索ステートメントのみに設定されている場合、line パラメーターが有効になり、返されるログの数を制御するために使用されます。
query パラメーターがクエリと分析のステートメントに設定されている場合、line パラメーターは無視されます。LIMIT 構文を使用して、返される行数を制御します。詳細については、「LIMIT 句」をご参照ください。

クエリ文の詳細については、「基本構文」をご参照ください。

例 1：キーワードを使用したログのクエリ

検索ステートメント path-0/file-5 を使用してログをクエリします。以下に例を示します。

# encoding: utf-8
import time
import os
from aliyun.log import *

def main():
    # Log Service のエンドポイント。詳細については、「エンドポイント」をご参照ください。
    # この例では、中国 (杭州) リージョンのエンドポイントを使用します。実際のエンドポイントに置き換えてください。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # この例では、環境変数から AccessKey ID と AccessKey Secret を取得します。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')

    # プロジェクトと Logstore の名前。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # Log Service クライアントを作成します。
    client = LogClient(endpoint, access_key_id, access_key)

    # キーワード 'path-0/file-5' を使用してログをクエリします。
    query = 'path-0/file-5'

    # from_time および to_time パラメーターは、UNIX タイムスタンプ形式でクエリの時間範囲を指定します。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # この例では、query パラメーターで検索ステートメントを指定し、line パラメーターで結果を 3 つのログエントリに制限します。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # クエリ結果を出力します。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()

応答：

ready to query logs from logstore your-logstore-name
-------------Query is started.-------------
dict_items([ ('remote_user', 'nhf3g'), ('time_local', '14/Feb/2022:06:49:28'),  ('request_uri', '/request/path-0/file-5')...])
dict_items([ ('remote_user', 'ysu'), ('time_local', '14/Feb/2022:06:49:38'),  ('request_uri', '/request/path-0/file-5')...])
dict_items([ ('remote_user', 'l_k'), ('time_local', '14/Feb/2022:06:49:38'),  ('request_uri', '/request/path-0/file-5')...])
-------------Query is finished.-------------

Process finished with exit code 0

例 2：フィールドを指定したログのクエリ

検索ステートメント request_method:POST を使用して、リクエストメソッドが POST であるログをクエリします。返されるログエントリの数を制限するには、line を 3 に設定します。以下に例を示します。

# encoding: utf-8
import time
import os
from aliyun.log import *

def main():
    # Log Service のエンドポイント。この例では、中国 (杭州) リージョンのエンドポイントを使用します。
    # 値を実際のエンドポイントに置き換えてください。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # この例では、環境変数から AccessKey ID と AccessKey Secret を取得します。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')

    # プロジェクトと Logstore の名前。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # Log Service クライアントを作成します。
    client = LogClient(endpoint, access_key_id, access_key)

    # 特定のフィールドでログをクエリします。
    # リクエストメソッドが POST であるログをクエリします。
    query = 'request_method:POST'

    # from_time および to_time パラメーターは、UNIX タイムスタンプ形式でクエリの時間範囲を指定します。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # この例では、query パラメーターで検索ステートメントを指定し、line パラメーターで結果を 3 つのログエントリに制限します。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # クエリ結果を出力します。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()

応答：

ready to query logs from logstore your-logstore-name
-------------Query is started.-------------
dict_items([ ('remote_user', 'tv0m'), ('time_local', '14/Feb/2022:06:59:08'), ('request_method', 'POST')...])
dict_items([ ('remote_user', '6joc'), ('time_local', '14/Feb/2022:06:59:08'), ('request_method', 'POST')...])
dict_items([ ('remote_user', 'da8'), ('time_local', '14/Feb/2022:06:59:08'), ('request_method', 'POST')...])
-------------Query is finished.-------------

Process finished with exit code 0

例 3：SQL ステートメントを使用したログの分析

クエリと分析のステートメント request_method:POST|select COUNT(*) as pv を使用して、POST リクエストの数をカウントします。次の例をご参照ください。

# encoding: utf-8
import time
import os
from aliyun.log import *

def main():
    # Log Service のエンドポイント。この例では、中国 (杭州) リージョンのエンドポイントを使用します。
    # 値を実際のエンドポイントに置き換えてください。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # この例では、環境変数から AccessKey ID と AccessKey Secret を取得します。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')

    # プロジェクトと Logstore の名前。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # Log Service クライアントを作成します。
    client = LogClient(endpoint, access_key_id, access_key)

    # 分析ステートメントを使用してログを分析します。
    # リクエストメソッドが POST であるログをクエリし、ページビュー (PV) をカウントします。
    query = 'request_method:POST|select COUNT(*) as pv'

    # from_time および to_time パラメーターは、UNIX タイムスタンプ形式でクエリの時間範囲を指定します。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # この例では、query パラメーターで検索と分析のステートメントを指定します。line パラメーターは無視されます。
    # 結果の数は分析ステートメントによって決定され、1 行が返されます。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # クエリ結果を出力します。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()

応答：

ready to query logs from logstore nginx-moni
-------------Query is started.-------------
dict_items([('pv', '2918')])
-------------Query is finished.-------------

Process finished with exit code 0

例 4：GROUP BY 句を使用したログの分析

クエリと分析のステートメント request_method:POST|select host, COUNT(*) as pv group by host order by pv desc limit 5 を使用して、POST リクエストの数をカウントし、結果をホストごとにグループ化し、PV の降順で結果をソートします。以下に例を示します。

# encoding: utf-8
import time
import os
from aliyun.log import *

def main():
    # Log Service のエンドポイント。この例では、中国 (杭州) リージョンのエンドポイントを使用します。
    # 値を実際のエンドポイントに置き換えてください。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # この例では、環境変数から AccessKey ID と AccessKey Secret を取得します。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')

    # プロジェクトと Logstore の名前。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # Log Service クライアントを作成します。
    client = LogClient(endpoint, access_key_id, access_key)

    # POST リクエストをカウントし、ホストごとにグループ化し、PV 数でソートします。
    # 分析ステートメントの LIMIT 句は、出力を 5 つの結果に制限します。
    query = 'request_method:POST|select host, COUNT(*) as pv group by host order by pv desc limit 5'

    # from_time および to_time パラメーターは、UNIX タイムスタンプ形式でクエリの時間範囲を指定します。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # query パラメーターは、検索と分析のステートメントを指定します。
    # line および reverse パラメーターは無視されます。結果の数と順序は、分析ステートメントによって決定されます。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # クエリ結果を出力します。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')

if __name__ == '__main__':
    main()

応答：

ready to query logs from logstore nginx-moni
-------------Query is started.-------------
dict_items([('host', 'www.example.com'), ('pv', '7')])
dict_items([('host', 'www.example.org'), ('pv', '6')])
dict_items([('host', 'www.example.net'), ('pv', '6')])
dict_items([('host', 'www.example.edu'), ('pv', '5')])
dict_items([('host', 'www.aliyundoc.com'), ('pv', '4')])
-------------Query is finished.-------------

Process finished with exit code 0

例 5：取得したログの特定のフィールドをローカルファイルに書き込む

検索ステートメント path-0/file-5 を使用してログをクエリし、結果から特定のフィールドの値を log.txt という名前のローカルファイルに書き込みます。以下のコードに例を示します。

# encoding: utf-8
import time
import os
from aliyun.log import *

def main():
    # Log Service のエンドポイント。この例では、中国 (杭州) リージョンのエンドポイントを使用します。
    # 値を実際のエンドポイントに置き換えてください。
    endpoint = 'cn-hangzhou.log.aliyuncs.com'
    # この例では、環境変数から AccessKey ID と AccessKey Secret を取得します。
    access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
    access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')

    # プロジェクトと Logstore の名前。
    project = 'your-project-name'
    logstore = 'your-logstore-name'

    # Log Service クライアントを作成します。
    client = LogClient(endpoint, access_key_id, access_key)

    # キーワード 'path-0/file-5' を使用してログをクエリします。
    query = 'path-0/file-5'

    # from_time および to_time パラメーターは、UNIX タイムスタンプ形式でクエリの時間範囲を指定します。
    from_time = int(time.time()) - 3600
    to_time = time.time() + 3600

    print("ready to query logs from logstore %s" % logstore)

    # この例では、query パラメーターで検索ステートメントを指定し、line パラメーターで結果を 3 つのログエントリに制限します。
    request = GetLogsRequest(project, logstore, from_time, to_time, '', query=query, line=3, offset=0, reverse=False)
    response = client.get_logs(request)
    # クエリ結果を出力します。
    print('-------------Query is started.-------------')
    for log in response.get_logs():
        print(log.contents.items())
    print('-------------Query is finished.-------------')
    
    # 各ログから 'remote_user' キーの値を抽出し、ローカルファイルに保存します。
    print('-------------Start writing logs to a local file.-------------')
    for loglocal in response.get_logs():
        filename = 'log.txt'
        with open(filename, mode='a') as fileobject:
            fileobject.write(loglocal.contents.get('remote_user')+'\n')
    print('-------------Finished writing logs to the local file.-------------')

if __name__ == '__main__':
    main()

応答：

ready to query logs from logstore your-logstore-name
-------------Query is started.-------------
dict_items([ ('remote_user', 'nhf3g'), ('time_local', '14/Feb/2022:06:49:28'),  ('request_uri', '/request/path-0/file-5')...])
dict_items([ ('remote_user', 'ysu'), ('time_local', '14/Feb/2022:06:49:38'),  ('request_uri', '/request/path-0/file-5')...])
dict_items([ ('remote_user', 'l_k'), ('time_local', '14/Feb/2022:06:49:38'),  ('request_uri', '/request/path-0/file-5')...])
-------------Query is finished.-------------
-------------Start writing logs to a local file.-------------
-------------Finished writing logs to the local file.-------------

Process finished with exit code 0

次の例は、GetLogsTest.py ファイルのディレクトリに生成される log.txt ファイルの内容を示しています。

nhf3g
ysu
l_k

リファレンス

エラーメッセージは、API 呼び出しが失敗したことを示します。エラーを解決するには、「API エラーコード」をご参照ください。
独自の SDK に加えて、Log Service は一般的な Alibaba Cloud SDK もサポートしています。Alibaba Cloud SDK の使用方法の詳細については、Log Service SDK Center - Alibaba Cloud OpenAPI Portal をご参照ください。
Log Service は、構成を自動化するためのコマンドラインインターフェイス (CLI) を提供しています。詳細については、「Log Service コマンドラインインターフェイス (CLI)」をご参照ください。