Simple Log Service (SLS) では、データ変換機能（新バージョン）を使用して、SLS Processing Language (SPL) ルールに基づきソース Logstore のデータを消費し、SPL による変換結果を宛先 Logstore に書き込むことができます。また、変換後のデータに対してクエリおよび分析を実行し、より多くのビジネス要件に対応できます。本トピックでは、SLS コンソールでデータ変換ジョブを作成する手順について説明します。
前提条件
Simple Log Service にデータが収集されていること。詳細については、「データ収集の概要」をご参照ください。
Resource Access Management (RAM) ユーザーを使用する場合は、その RAM ユーザーがデータ変換ジョブの管理権限を持っていることを確認してください。詳細については、「RAM ユーザーにデータ変換ジョブの管理権限を付与する」をご参照ください。
操作手順
Simple Log Service コンソールにログインします。
データ変換ページに移動します。
[Projects] セクションで、対象のプロジェクトをクリックします。
タブで、対象の Logstore をクリックします。
クエリと分析ページで、Data Transformation をクリックします。
ページ右上隅で、変換対象のログデータの時間範囲を指定します。
時間範囲を選択した後、Raw Logs タブにログが表示されることを確認してください。
編集ボックスに SPL 文を入力します。
SPL 構文の詳細については、「SPL 構文」をご参照ください。
変換結果をプレビューします。
Raw Data タブで、Add Test Data をクリックします。または、Test Data タブでテストデータを手動で入力することもできます。
データ変換ジョブを作成します。
Save as Transformation Job (New Version) をクリックします。
Create Data Transformation Job (New Version) パネルで、以下のパラメーターを設定し、OK をクリックします。
Parameter
Description
Job Name
データ変換ジョブの名前です。
Display Name
ジョブの表示名です。
Job Description
ジョブの説明です。
Authorization Method
データ変換ジョブがソース Logstore からデータを読み取るための権限付与方法です。オプションは以下のとおりです。
Default Role：データ変換ジョブが Alibaba Cloud システムロール AliyunLogETLRole を使用してソース Logstore からデータを読み取ります。システムロール AliyunLogETLRole の権限付与が必要です。その後、画面の指示に従って他のパラメーターを設定し、権限付与を完了してください。詳細については、「デフォルトロールを使用したデータアクセス」をご参照ください。
重要RAM ユーザーを使用する場合、Alibaba Cloud アカウント内で権限付与が完了していることを確認してください。
Alibaba Cloud アカウント内で既に権限付与が完了している場合は、この操作をスキップしてください。
Custom Role：データ変換ジョブがカスタムロールを偽装してソース Logstore からデータを読み取ります。
カスタムロールにソース Logstore の読み取り権限を付与する必要があります。その後、Role ARN フィールドにカスタムロールの Alibaba Cloud リソースネーム (ARN) を入力してください。詳細については、「カスタムロールを使用したデータアクセス」をご参照ください。
Storage Destination
Destination Name
ストレージ先の名前です。[Storage Destination] エリアでは、Destination Project および Target Store を含むパラメーターを設定する必要があります。
Destination Region
宛先 Logstore が属するプロジェクトのリージョンです。
Destination Project
宛先 Logstore が属するプロジェクトの名前です。宛先プロジェクトは SPL ルールによって動的に指定できます。詳細については、「処理結果の出力構成」をご参照ください。SPL ルールで動的に指定された場合、そのプロジェクトが使用されます。それ以外の場合は、デフォルトのプロジェクトが使用されます。
重要SPL ルールで動的に指定されたプロジェクトは、現在設定されているリージョンおよび権限付与と一致している必要があります。
Target Store
変換済みデータを格納する宛先 Logstore の名前です。宛先 Logstore は SPL ルールによって動的に指定できます。詳細については、「処理結果の出力構成」をご参照ください。SPL ルールで動的に指定された場合、その Logstore が使用されます。それ以外の場合は、デフォルトの Logstore が使用されます。
重要SPL ルールで動的に指定された Logstore は、現在設定されているリージョン、権限付与、およびプロジェクトと一致している必要があります。ソース Logstore と宛先 Logstore は異なるものである必要があります。
Authorization Method
データ変換ジョブが変換済みデータを宛先 Logstore に書き込むための権限付与方法です。オプションは以下のとおりです。
Default Role：データ送信ジョブが Alibaba Cloud システムロール AliyunLogETLRole を偽装して、データ変換結果を宛先 Logstore に書き込みます。システムロール AliyunLogETLRole の権限付与が必要です。その後、画面の指示に従って他のパラメーターを設定し、権限付与を完了してください。詳細については、「デフォルトロールを使用したデータアクセス」をご参照ください。
重要RAM ユーザーを使用する場合、Alibaba Cloud アカウント内で権限付与が完了していることを確認してください。
Alibaba Cloud アカウント内で既に権限付与が完了している場合は、この操作をスキップしてください。
Custom Role：データ変換ジョブがカスタムロールを偽装して、変換済みデータを宛先 Logstore に書き込みます。カスタムロールに宛先 Logstore へのデータ書き込み権限を付与する必要があります。その後、Role ARN フィールドにカスタムロールの Alibaba Cloud リソースネーム (ARN) を入力してください。詳細については、「カスタムロールを使用したデータアクセス」をご参照ください。
Write to Result Set
宛先 Logstore に書き込まれるデータセットです。詳細については、「データセットの説明」をご参照ください。1 つの宛先に対して複数のデータセットを設定でき、1 つのデータセットを複数の宛先で選択できます。
Time Range for Data Transformation
Time Range for Data Transformation (Data Receiving Time)
変換対象となるデータの時間範囲です。
All：ジョブが手動で停止されるまで、ソース Logstore の最初のログからすべてのデータを変換します。
From Specific Time：ジョブが手動で停止されるまで、指定された開始時刻以降に受信されたログをソース Logstore から変換します。
Specific Time Range：指定された開始時刻から終了時刻までの間に受信されたログをソース Logstore から変換します。
Advanced Options
Advanced Parameter Settings
変換文内にデータベースパスワードなどのパスワードを指定する必要がある場合があります。SLS では、キーと値のペアを追加してパスワードを格納できます。文内では、パスワードを参照するために
res_local("key")を指定します。[+] アイコンをクリックして、キーと値のペアをさらに追加します。 たとえば、config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj を追加して、ApsaraDB RDS インスタンスが属する VPC の ID を示します。
次のステップ
データ変換ジョブを作成した後、以下の操作を実行します。
Data Transformation Overview ページで、ジョブの詳細およびステータスを確認します。また、ジョブの変更や停止などの操作も実行できます。
宛先 Logstore でクエリおよび分析操作を実行します。詳細については、「ログのクエリと分析のクイックスタート」をご参照ください。