高度なプレビューの設定方法 - Simple Log Service - Alibaba Cloud ドキュメントセンター

高度なプレビュー機能を使用すると、Log Service は Logstore に接続し、データを読み取ってデータ変換プロセス全体をテストします。このトピックでは、この機能の使用方法と例について説明します。

操作手順

Simple Log Service コンソールにログインします。
データ変換ページに移動します。
1. [プロジェクト] セクションで、対象のプロジェクトをクリックします。
2. [ログストレージ] > [Logstores] タブで、対象の Logstore をクリックします。
3. クエリと分析ページで、データ処理 をクリックします。
右上隅で、データの時間範囲を選択します。

時間範囲を選択した後、[生ログ] タブにログが表示されることを確認してください。
編集ボックスにデータ変換文を入力します。
詳細については、「データ処理構文」をご参照ください。
説明
データ変換文にコメントを追加して、文を一行ずつデバッグできます。

データをプレビューします。

右上隅にある [高度な] をクリックします。
[データをプレビュー] をクリックします。

[プレビュー設定の追加] ダイアログボックスで、次のパラメーターを設定し、[OK] をクリックします。

初めてデータをプレビューする際には、これらのパラメーターを設定する必要があります。後で変更するには、[プレビュー設定の変更] をクリックします。

パラメーター

説明

権限付与方式

データ変換ジョブがソース Logstore からデータを読み取る権限を付与するには、次のいずれかの方式を使用できます。

デフォルトロール: ジョブは、ソースログストアからデータを読み取るために、AliyunLogETLRole システムロールを偽装します。
カスタムロール: ジョブがカスタムロールを偽装して、ソースログストアからデータを読み取ります。

まず、ソース Logstore からデータを読み取る権限をカスタムロールに付与する必要があります。次に、Role ARN フィールドにカスタムロールの ARN を入力します。詳細については、「カスタムロールを使用したデータへのアクセス」をご参照ください。

高度なパラメータ設定

変換文で機密情報 (データベースのパスワードなど) が必要な場合は、キーと値のペアとして保存できます。その後、${key} のような変数を使用して、文中でその値を参照できます。

[+] をクリックして、複数のキーと値のペアを追加します。たとえば、config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj は、RDS インスタンスが配置されている VPC の ID を表すことができます。

プレビュー設定が完了すると、[変換結果] タブで変換結果を表示できます。

構文エラーや権限の誤りによってデータ変換が失敗した場合は、画面上のプロンプトに従って問題を解決してください。
変換結果が期待どおりである場合は、設定をデータ変換ジョブとして保存できます。詳細については、「データ変換ジョブの作成」をご参照ください。

例

変換文

# e_set("insert_field", "test_value")
e_table_map(
    res_rds_mysql(
        address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
        username="test_username",
        password="****",
        database="test_db",
        table="test_table",
    ),
    "ip",
    ["country", "province"],
)

生ログ

{
  "__source__": "192.0.2.0",
  "__time__": 1624523917,
  "__topic__": "topic",
  "id": "1001",
  "ip": "127.0.0.1"
}

高度なプレビュー設定：[プレビュー設定の追加] ダイアログボックスで、権限付与方式をデフォルトロールに設定します。システムは、acs:ram::<アカウント ID>:role/aliyunlogetlrole のフォーマットでロール ARN を自動的に入力します。
変換結果：生ログに country:China と province:Shanghai のフィールドが含まれるようになります。出力先は target0 です。1 件のログが正常に変換され、失敗はありませんでした。