Simple Log Service では、各ソースに対してデータ変換ジョブを設定することで、複数のソース Logstore からのデータを単一の Logstore に集約できます。このトピックでは、一般的なシナリオとその手順について説明します。
背景情報
ある情報サイトが、グローバルに分散されたサービスを提供しています。さまざまな情報チャンネルからのアクセスログは、複数の Alibaba Cloud アカウントにまたがる Logstore に収集・保存されています。後続のクエリと分析のためにログデータを単一の Logstore に集約するには、データ変換の e_output 関数を使用します。
このトピックでは、同じターゲットリージョンであるイギリス (ロンドン) 内の異なる Logstore からのログを使用して、ログデータを集約する手順を説明します:
-
アカウント 1 からの生ログは、Project_1 内の Logstore_1 に保存されます。このプロジェクトはイギリス (ロンドン) リージョンにあります。
Log 1 request_id: 1 http_host: example.com http_status: 200 request_method: GET request_uri: /pic/icon.jpg Log 2 request_id: 2 http_host: aliyundoc.com http_status: 301 request_method: POST request_uri: /data/data.php -
アカウント 2 からのログは、Project_2 内の Logstore_2 に保存されます。このプロジェクトはイギリス (ロンドン) リージョンにあります。
Log 1 request_id: 3 host: example.edu status: 404 request_method: GET request_uri: /category/abc/product_id Log 2 request_id: 4 host: example.net status: 200 request_method: GET request_uri: /data/index.html -
処理ターゲット
-
アカウント 1 の Logstore_1 から、
http_statusが200であるすべてのログイベントを、アカウント 3 の Logstore_3 にエクスポートします。 -
アカウント 2 の LogStore_2 内のすべてのログイベントのうち、
http_statusが200であるものについて、フィールドhostをhttp_hostに、フィールドstatusをhttp_statusにそれぞれリネームし(LogStore1 と整合性を取るため)、結果をアカウント 3 の LogStore_3 に出力します。
-
ステップ 1: Logstore_1 のデータ変換ルールを設定
-
アカウント 1 の Logstore_1 のデータ変換ページに移動します。コンソールでの手順については、「データ変換ジョブの作成」をご参照ください。
-
データ変換ページで、アカウント 1 の Logstore_1 から
http_statusが200であるすべてのログイベントをアカウント 3 の Logstore_3 にエクスポートするために、次の変換ルールを設定します。e_if(e_match("http_status", "200"), e_output("target_logstore")) -
データ変換ジョブを作成します。 [ストレージ先] セクションで、図に示すように [宛先名]、[ターゲットリージョン]、[ターゲットプロジェクト]、および [ターゲット Logstore] パラメーターを設定します。権限付与の方法に関する詳細については、「データ変換ジョブの作成」をご参照ください。

ステップ 2: Logstore_2 のデータ変換ルールを設定
-
アカウント 2 の Logstore_2 のデータ変換ページに移動します。コンソールでの手順については、「データ変換ジョブの作成」をご参照ください。
-
データ変換ページで、以下の変換ルールを設定します。LogStore_2 のすべてのログイベントのうち、
http_statusが200であるものについて、hostフィールドをhttp_hostに、statusフィールドをhttp_statusに名前を変更し(LogStore1 との標準化のため)、結果をアカウント 3 の LogStore_3 に出力します。e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))プレビュー結果

-
データ変換ジョブを作成します。「ストレージ先」セクションで、「宛先名」、「宛先リージョン」、「宛先プロジェクト」、および「宛先 Logstore」のパラメーターを図に示すように設定します。権限付与方法の詳細については、「データ変換ジョブの作成」をご参照ください。

集約結果の表示
イギリス (ロンドン) リージョンの Logstore_3 でログのクエリと分析ができます。詳細については、「クエリと分析のクイックスタート」をご参照ください。以下はログのサンプルです。
Log 1
request_id: 1
http_host: example.com
http_status: 200
request_method: GET
request_uri: /pic/icon.jpg
Log 2
request_id: 4
http_host: example.net
http_status: 200
request_method: GET
request_uri: /data/index.html