Simple Log Service:データのレプリケートと配布

ユースケース

あるデータ分析企業は、ソース Logstore 内の各ログエントリをレプリケートし、コンテンツに基づいて 2 つの Logstore に配布します。この変換では、e_set を使用して各ログにタグを付け、e_split を使用してタグごとにログを分割し、e_output を使用してログを異なる Logstore にルーティングします。以下の図に、このワークフローを示します。 作業を始める前に：

• 送信先プロジェクト (target-a および target-b) の容量 (シャード数を含む) を計画しておく必要があります。パフォーマンスガイドをご参照ください。

• 送信先リソースを作成しておく必要があります。作成するリソースは、target-a プロジェクトと Logstore-a、および target-b プロジェクトと Logstore-b です。プロジェクトの管理、Logstore の管理をご参照ください。

手順

1. Log Serviceコンソールにログインします。

2. [プロジェクト] セクションで、管理するプロジェクトをクリックします。

3. [ログストレージ] > [ログストア] タブで、管理するログストアをクリックします。

4. 「クエリと分析」ページで、データ処理 をクリックしてデータ変換モードに入ります。

5. データ変換エディターで、次の変換スクリプトを入力します：

   e_set("tags", "target-a,target-b")
   e_split("tags")
   e_if(op_eq(v("tags"), "target-a"), e_output("target-a"))
   e_if(op_eq(v("tags"), "target-b"), e_output("target-b"))
   e_drop()

   • e_set は、各生ログにタグ target-a と target-b を追加します。詳細については、e_set をご参照ください。

   • e_split は、タグに基づいてログを複数のエントリに分割します。詳細については、e_split をご参照ください。

   • e_output は、ログを送信先の target-a および target-b に配布します。詳細については、e_output をご参照ください。

   • e_drop() は、意図しない配布を防ぐために、一致しないログを破棄します。詳細については、e_drop をご参照ください。

6. データのプレビュー をクリックします。

   元のログがタグ付きエントリに分割されます。target-a のタグが付いたログは target-a 送信先に、target-b のタグが付いたログは target-b 送信先に送信されます。

7. データ処理の保存 をクリックします。

8. データ処理タスクの作成 パネルで、次のパラメーターを設定します。

   1. 基本情報を設定します。

      パラメーター	説明
      ジョブ名	「test」と入力します。
      認可方法	ソース Logstore から読み取るための権限です。[デフォルトロール] を選択します。

   2. target-a の保存先を設定します。

      パラメーター	説明
      送信先名	「target-a」と入力します。
      送信先リージョン	[China (Hangzhou)] を選択します。
      送信先プロジェクト	「target-a」と入力します。
      送信先 Logstore	「LogStore-a」と入力します。
      認可方法	送信先 target-a に書き込むための権限です。 [デフォルトロール] を選択します。

   3. target-b の保存先を設定します。

      パラメーター	説明
      送信先名	「target-b」と入力します。
      送信先リージョン	[China (Hangzhou)] を選択します。
      送信先プロジェクト	「target-b」と入力します。
      送信先 Logstore	「LogStore-b」と入力します。
      認可方法	送信先 target-b に書き込むための権限です。 [デフォルトロール] を選択します。

   4. 処理時間範囲を設定します。

      パラメーター	説明
      時間範囲	開始時刻から継続的にデータを処理するには、[すべて] を選択します。

9. OK をクリックします。