Simple Log Service では、データ変換ジョブを作成して、ソース Logstore からデータを読み取り、変換されたデータを 1 つ以上の宛先 Logstore に書き込むことができます。変換されたデータに対してクエリと分析を実行して、より多くの価値を生み出すこともできます。このトピックでは、Simple Log Service コンソールでデータ変換ジョブを作成する方法について説明します。
前提条件
データは Simple Log Service に収集されます。詳細については、「データ収集の概要」をご参照ください。
Resource Access Management (RAM) ユーザーを使用する場合は、RAM ユーザーがデータ変換ジョブの管理権限を持っていることを確認してください。詳細については、「RAM ユーザーにデータ変換ジョブを管理する権限を付与する」をご参照ください。
手順
Simple Log Service コンソール にログインします。
データ変換ページに移動します。
Projects セクションで、管理するプロジェクトをクリックします。
タブで、管理するログストアをクリックします。
クエリと分析ページで、[データ変換] をクリックします。
表示されるページの右上隅で、管理するデータの時間範囲を指定します。
時間範囲を指定した後、[未加工ログ] タブにログが表示されることを確認します。
コードエディタで、データ変換ステートメントを入力します。
ステートメント構文の詳細については、「言語紹介」をご参照ください。
データをプレビューします。
データ変換ジョブを作成します。
[変換ジョブとして保存(旧バージョン)] をクリックします。
[データ変換ジョブの作成] パネルで、パラメータを設定し、[OK] をクリックします。次の表にパラメータを示します。
パラメータ
説明
ジョブ名
データ変換ジョブの名前。
表示名
データ変換ジョブの表示名。
ジョブの説明
データ変換ジョブの説明。
認証方法
ソース Logstore からデータを読み取るためにデータ変換ジョブを承認するために使用される方法。
デフォルトロール:データ変換ジョブは、AliyunLogETLRole システムロールを偽装して、ソース Logstore からデータを読み取ります。
カスタムロール:データ変換ジョブは、カスタムロールを偽装して、ソース Logstore からデータを読み取ります。
カスタムロールにソース Logstore から読み取る権限を付与する必要があります。その後、[ロール ARN] フィールドにカスタムロールの ARN を入力する必要があります。詳細については、「カスタムロールを使用してデータにアクセスする」をご参照ください。
ストレージの宛先
宛先名
ストレージ宛先の名前。Storage Destination セクションでは、Destination Project や Target Store などのパラメータを設定する必要があります。
変換されたデータを異なる宛先 Logstore に保存するために、複数のストレージ宛先を作成できます。
変換文で e_output 関数または e_coutput 関数の name パラメーターを使用して、ストレージ先の名前 を指定できます。詳細については、「e_output および e_coutput」をご参照ください。
変換文に関数 e_output を含めない場合、ジョブは変換されたデータを、デフォルトで 1 と番号付けされたストレージデスティネーションの Logstore に書き込みます。
デスティネーション Logstore を 1 つだけ構成する場合、変換文に関数 e_output を含める必要はありません。
e_output 関数または e_coutput 関数を含め、その関数に 名前、プロジェクト、および ログストア パラメーターを設定した場合、このステップで「宛先プロジェクト」パラメーターと「ターゲットストア」パラメーターを設定していても、ジョブは関数のパラメーター設定に基づいて実行されます。
宛先リージョン
宛先ログストアが属するプロジェクトのリージョンです。
リージョン間でデータ変換を実行する場合は、データ転送に HTTPS を使用することをお勧めします。 これにより、ログデータのプライバシーが確保されます。
リージョン間のデータ変換では、データはインターネット経由で転送されます。 インターネット接続が不安定な場合、データ変換のレイテンシが発生する可能性があります。 [DCDN アクセラレーション] を選択して、リージョン間のデータ転送を高速化できます。 DCDN アクセラレーションを選択する前に、宛先プロジェクトでグローバルアクセラレーション機能が有効になっていることを確認してください。 詳細については、「ログ収集の高速化」をご参照ください。
説明リージョン間でインターネット経由でデータが転送される場合、生成されたトラフィックに対して課金されます。 トラフィック量は、圧縮後のデータサイズに基づいて計算されます。 詳細については、「従量課金制の課金対象項目」をご参照ください。
宛先プロジェクト
宛先ログストアが属するプロジェクトの名前。
ターゲットログストア
変換されたデータを格納する、ターゲットログストアの名前です。
承認方式
変換済みデータを宛先ログストアに書き込むためにデータ変換ジョブを承認するために使用される方式。
デフォルトロール: データ変換ジョブは、変換済みデータを宛先ログストアに書き込むために AliyunLogETLRole システムロールを偽装します。
カスタムロール: データ変換ジョブは、変換済みデータを宛先ログストアに書き込むためにカスタムロールを偽装します。
カスタムロールに、宛先ログストアへの書き込み権限を付与する必要があります。 その後、[ロール ARN] フィールドにカスタムロールの ARN を入力する必要があります。 詳細については、「カスタムロールを使用してデータにアクセスする」をご参照ください。
データ変換の期間
時間範囲
変換されるデータの時間範囲。
説明時間範囲は、ログが受信された時間によって異なります。
[すべて]: ジョブは、ソース Logstore 内の最初のログからジョブが手動で停止されるまで、データを処理します。
[指定時間から]: ジョブは、ソース Logstore 内の指定された開始時刻に受信されたログからジョブが手動で停止されるまで、データを処理します。
[特定期間内]: ジョブは、ソース Logstore 内の指定された開始時刻に受信されたログから指定された終了時刻に受信されたログまで、データを処理します。
詳細オプション
詳細パラメータ設定
変換文でデータベースパスワードなどのパスワードを指定する必要がある場合があります。Simple Log Service では、キーと値のペアを追加してパスワードを保存できます。文に
res_local("key")を指定して、パスワードを参照できます。[+] アイコンをクリックすると、キーと値のペアを追加できます。たとえば、config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj を追加して、ApsaraDB RDS インスタンスが属する VPC(Virtual Private Cloud)の ID を示すことができます。
次のステップ
データ変換ジョブが作成された後、次の操作を実行できます。
[データ変換の概要] ページで、ジョブの詳細を表示します。ジョブの変更や停止など、他の操作を実行することもできます。詳細については、「データ変換ジョブの管理」をご参照ください。
宛先の Logstore で、クエリと分析の操作を実行します。詳細については、「ログクエリと分析のガイド」をご参照ください。