Simple Log Service では、データ変換機能 (新バージョン) を使用して、Simple Log Service 処理言語 (SPL) ルールに基づいてソース Logstore のデータを使用し、SPL ベースの変換結果を宛先 Logstore に書き込むことができます。また、変換されたデータに対してクエリと分析を実行して、より多くのビジネス要件を満たすことができます。このトピックでは、Simple Log Service コンソールでデータ変換ジョブを作成する方法について説明します。
前提条件
データは Simple Log Service に収集されます。詳細については、「データ収集の概要」をご参照ください。
Resource Access Management (RAM) ユーザーを使用する場合は、RAM ユーザーがデータ変換ジョブに対する管理権限を持っていることを確認してください。詳細については、「RAM ユーザーにデータ変換ジョブを管理する権限を付与する」をご参照ください。
手順
Simple Log Service コンソール にログオンします。
データ変換ページに移動します。
[プロジェクト] セクションで、管理するプロジェクトをクリックします。
タブで、管理するログストアをクリックします。
クエリと分析ページで、[データ変換] をクリックします。
ページの右上隅で、変換するログデータの時間範囲を指定します。
時間範囲を選択した後、[未加工ログ] タブにログが表示されていることを確認します。
編集ボックスに SPL 文を入力します。
SPL 構文の詳細については、「SPL 構文」をご参照ください。
変換結果をプレビューします。
[未加工データ] タブで、[テストデータの追加] をクリックします。[テストデータ] タブにテストデータを手動で入力することもできます。
をクリックして SPL 文をデバッグします。詳細については、「SPL ルールのデバッグ」をご参照ください。
データ変換ジョブを作成します。
[変換ジョブ (新バージョン) として保存] をクリックします。
[データ変換ジョブ (新バージョン) の作成] パネルで、次のパラメーターを構成し、[OK] をクリックします。
パラメーター
説明
ジョブ名
データ変換ジョブの名前。
表示名
ジョブの表示名。
ジョブの説明
ジョブの説明。
承認方法
データ変換ジョブがソース Logstore からデータを読み取ることを承認するために使用される方法。オプション:
デフォルトロール: データ変換ジョブが Alibaba Cloud システムロール AliyunLogETLRole を使用してソース Logstore からデータを読み取ることを許可します。システムロール Aliyunlogetlrole を承認する必要があります。その後、表示される指示に従って他のパラメーターを構成し、承認を完了します。詳細については、「デフォルトロールを使用してデータにアクセスする」をご参照ください。
重要RAM ユーザーを使用する場合は、Alibaba Cloud アカウント内で承認が完了していることを確認してください。
Alibaba Cloud アカウント内で承認が完了している場合は、この操作をスキップできます。
カスタムロール: データ変換ジョブがカスタムロールを引き受けてソース Logstore からデータを読み取ることを承認します。
カスタムロールにソース Logstore から読み取る権限を付与する必要があります。その後、[ロール ARN] フィールドにカスタムロールの Alibaba Cloud Resource Name (ARN) を入力する必要があります。詳細については、「カスタムロールを使用してデータにアクセスする」をご参照ください。
ストレージの宛先
宛先名
ストレージ宛先の名前。[ストレージの宛先] 領域で、宛先プロジェクトやターゲットストアなどのパラメーターを構成する必要があります。
宛先リージョン
宛先 Logstore が属するプロジェクトのリージョン。
宛先プロジェクト
宛先 Logstore が属するプロジェクトの名前。宛先プロジェクトは、SPL ルールによって動的に指定できます。詳細については、「処理結果の出力構成」をご参照ください。SPL ルールによって動的に指定された場合、指定されたプロジェクトが使用されます。そうでない場合は、デフォルトのプロジェクトが使用されます。
重要SPL ルールによって動的に指定されたプロジェクトは、現在構成されているリージョンと承認と一致する必要があります。
ターゲットストア
変換されたデータを格納する宛先 Logstore の名前。宛先 Logstore は、SPL ルールによって動的に指定できます。詳細については、「処理結果の出力構成」をご参照ください。SPL ルールによって動的に指定された場合、指定された Logstore が使用されます。そうでない場合は、デフォルトの Logstore が使用されます。
重要SPL ルールによって動的に指定された Logstore は、現在構成されているリージョン、承認、およびプロジェクトと一致する必要があります。
承認方法
データ変換ジョブが変換されたデータを宛先 Logstore に書き込むことを承認するために使用される方法。オプション:
デフォルトロール: データ転送ジョブが Alibaba Cloud システムロール AliyunLogETLRole を引き受けてデータ変換結果を宛先 Logstore に書き込むことを許可します。システムロール Aliyunlogetlrole を承認する必要があります。その後、表示される指示に従って他のパラメーターを構成し、承認を完了します。詳細については、「デフォルトロールを使用してデータにアクセスする」をご参照ください。
重要RAM ユーザーを使用する場合は、Alibaba Cloud アカウント内で承認が完了していることを確認してください。
Alibaba Cloud アカウント内で承認が完了している場合は、この操作をスキップできます。
カスタムロール: データ変換ジョブがカスタムロールを引き受けて変換されたデータを宛先 Logstore に書き込むことを承認します。カスタムロールに宛先 Logstore にデータを書き込む権限を付与する必要があります。その後、[ロール ARN] フィールドにカスタムロールの Alibaba Cloud Resource Name (ARN) を入力します。詳細については、「カスタムロールを使用してデータにアクセスする」をご参照ください。
結果セットに書き込む
宛先 Logstore に書き込まれるデータセット。詳細については、「データセットの説明」をご参照ください。1 つの宛先に複数のデータセットを構成でき、1 つのデータセットを複数の宛先で選択できます。
データ変換の時間範囲
データ変換の時間範囲 (データ受信時刻)
変換されるデータの時間範囲。
すべて: ジョブは、ソース Logstore 内の最初のログからジョブが手動で停止されるまでのデータを変換します。
特定の時刻から: ジョブは、ソース Logstore 内の指定された開始時刻に受信されたログからジョブが手動で停止されるまでのデータを変換します。
特定の時間範囲: ジョブは、ソース Logstore 内の指定された開始時刻に受信されたログから指定された終了時刻に受信されたログまでのデータを変換します。
詳細オプション
詳細パラメーター設定
変換ステートメントでデータベースパスワードなどのパスワードを指定する必要がある場合があります。Simple Log Service では、キーと値のペアを追加してパスワードを格納できます。ステートメントで
res_local("key")を指定してパスワードを参照できます。[+] アイコンをクリックして、キーと値のペアを追加できます。たとえば、config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj を追加して、ApsaraDB RDS インスタンスが属する VPC の ID を示すことができます。
次の手順
データ変換ジョブの作成後、次の操作を実行できます。
[データ変換の概要] ページで、ジョブの詳細とステータスを表示します。ジョブの変更や停止などの他の操作も実行できます。
宛先 Logstore で、クエリと分析操作を実行します。詳細については、「ログクエリと分析のガイド」をご参照ください。