Simple Log Service (SLS) は、データ変換 (新バージョン) 機能を提供します。この機能では、SPL ルールを使用してソース Logstore のデータを処理し、結果を送信先 Logstore に書き込むことができます。変換されたデータのクエリと分析も可能です。
前提条件
SLS でデータが収集されていること。詳細については、「データ収集の概要」をご参照ください。
RAM ユーザーを使用する場合、そのユーザーにデータ変換の権限を付与する必要があります。詳細については、「RAM ユーザーへのデータ変換操作の認可」をご参照ください。
操作手順
Log Serviceコンソールにログインします。
データ変換ページに移動します。
[プロジェクト] セクションで、管理するプロジェクトをクリックします。
タブで、管理するログストアをクリックします。
「クエリと分析」ページで、データ処理 をクリックします。
ページの右上隅で、時間範囲を選択します。
時間範囲を選択した後、Rawデータ タブにログが表示されることを確認してください。
エディターに SPL ステートメントを入力します。
SPL 構文の詳細については、「SPL 構文」をご参照ください。
データをプレビューします。
[生データ] タブで、Add Test Data をクリックします。 また、Test Data タブでテストデータを手動で入力することもできます。
データ変換ジョブを作成します。
[変換ジョブとして保存 (新バージョン)] をクリックします。
データ変換ジョブの作成 (新バージョン) パネルで、次のパラメーターを設定し、OK をクリックします。
パラメーター
説明
[タスク名]
データ変換ジョブの名前。
[表示名]
ジョブの表示名。
[ジョブの説明]
ジョブの説明。
[Authorization Method]
次のいずれかの方式を使用して、ジョブにソース Logstore からデータを読み取る権限を付与します。
[Default Role]：ジョブは AliyunLogETLRole システムロールを引き受け、ソース Logstore からデータを読み取ります。[システムロール AliyunLogETLRole の認可] をクリックし、プロンプトに従って認可を完了します。詳細については、「デフォルトロールを使用したデータアクセス」をご参照ください。
重要RAM ユーザーを使用する場合、先に Alibaba Cloud アカウントで認可を完了する必要があります。
Alibaba Cloud アカウントがすでに認可を完了している場合は、この手順をスキップできます。
[Custom Role]: ジョブがソース Logstore からデータを読み取るために引き受けるカスタムロールです。まず、カスタムロールにソース Logstore からデータを読み取る権限を付与してから、Role ARN フィールドにロールの ARN を入力する必要があります。詳細については、「カスタムロールを使用したデータへのアクセス」をご参照ください。
AccessKey：セキュリティ上の理由から、AccessKey ペア (AK/SK) を使用してジョブを作成することはできなくなりました。
[ストレージターゲット]
[ターゲット名]
保存先の名前。保存先には、プロジェクトや Logstore などの設定が含まれます。
[Destination Region]
送信先プロジェクトが配置されているリージョン。
[ターゲットプロジェクト]
変換結果を保存する送信先プロジェクト。SPL ステートメントで指定されたプロジェクトは、この設定を上書きします。詳細については、「動的な送信先プロジェクト/Logstore の出力」をご参照ください。
重要SPL ステートメントで動的に指定するプロジェクトは、ここで設定するリージョンと認可設定に一致している必要があります。
[ターゲットデータベース]
変換結果を保存する送信先 Logstore。SPL ステートメントで指定された Logstore は、この設定を上書きします。詳細については、「動的な送信先プロジェクト/Logstore の出力」をご参照ください。
重要SPL ステートメントで動的に指定する Logstore は、ここで設定するリージョン、認可設定、およびプロジェクトに一致している必要があります。送信先 Logstore をソース Logstore と同じにすることはできません。
警告送信先 Logstore を現在のソース Logstore として設定しないでください (同一ソース設定)。設定すると、書き込みループが発生し、追加のストレージコストとトラフィックコストが発生する可能性があります。発生したリソース消費とコストはお客様の負担となります。
[Authorization Method]
次のいずれかの方式を使用して、ジョブに送信先 Logstore へデータを書き込む権限を付与します。
[Default Role]：ジョブは AliyunLogETLRole システムロールを引き受け、結果を送信先 Logstore に書き込みます。[システムロール AliyunLogETLRole の認可] をクリックし、プロンプトに従って認可を完了します。詳細については、「デフォルトロールを使用したデータアクセス」をご参照ください。
重要RAM ユーザーを使用する場合、先に Alibaba Cloud アカウントで認可を完了する必要があります。
Alibaba Cloud アカウントがすでに認可を完了している場合は、この手順をスキップできます。
[Custom Role]: ジョブはカスタムロールを引き受け、結果を宛先 Logstore に書き込みます。まず、宛先 Logstore にデータを書き込む権限をカスタムロールに付与してから、Role ARN フィールドにロールの ARN を入力する必要があります。詳細については、「カスタムロールを使用してデータにアクセスする」をご参照ください。
AccessKey：セキュリティ上の理由から、AccessKey ペア (AK/SK) を使用してジョブを作成することはできなくなりました。
[結果セットの書き込み]
送信先 Logstore に書き込むデータセット。データ変換 (新バージョン) のデータセットの詳細については、「データセットの説明」をご参照ください。1つの送信先に複数のデータセットを設定したり、複数の送信先で同じデータセットを使用したりできます。
処理範囲
[時間範囲]
(データ受信時間)
データ変換ジョブの時間範囲を指定します。次のオプションがあります：
[すべて]：ジョブは、ソース Logstore に存在する最も古いログからデータの処理を開始し、手動で停止されるまで処理を継続します。
[特定の時間に開始されます]：ジョブの開始時間を指定します。ジョブは、指定された開始時間から手動で停止するまでデータを処理します。
[指定期間内]：ジョブの開始時間と終了時間を指定します。ジョブは、指定された終了時間に自動的に停止します。
[詳細設定]
[パラメーターの詳細設定]
変換ステートメントにデータベースのパスワードなどの機密情報が必要な場合は、キーと値のペアとして保存できます。ステートメント内では
res_local("key")関数を使用して参照できます。[+] をクリックして、複数のキーと値のペアを追加します。 たとえば、
config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yjは、RDS インスタンスが存在する VPC の ID を指定します。
次のステップ
ジョブを作成した後、次の操作を実行できます：
データ変換の概要 ページでは、ジョブの詳細の表示、変更、停止ができます。詳細については、「データ変換 (新バージョン) ジョブの管理」をご参照ください。
送信先 Logstore で、クエリと分析操作を実行します。詳細については、「クエリと分析のクイックスタート」をご参照ください。