クイックプレビュー機能を使用すると、データ変換スクリプトの構文を確認できます。 この機能は無料で高速です。 また、変換文の出力が正しいことを検証することもできます。 本トピックでは、クイックプレビューの手順と例について説明します。
前提条件
データが取り込まれていること。 詳細については、「データ取り込み」をご参照ください。
操作手順
Simple Log Service コンソールにログインします。
-
データ変換ページに移動します。
[プロジェクト] セクションで、目的のプロジェクトをクリックします。
タブで、目的の Logstore をクリックします。
-
クエリと分析ページで、データ変換 をクリックします。
-
ページの右上隅で、データの時間範囲を選択します。
時間範囲を選択した後、生ログ タブにログが表示されることを確認します。
-
編集ボックスに、データ変換文を入力できます。
構文の詳細については、「データ変換の構文」をご参照ください。
説明エディターは変換文内のコメントをサポートしています。 この機能を使用して、スクリプトを一行ずつデバッグできます。
-
データをプレビューできます。
-
ページの右上隅にある クイック をクリックします。
-
ページの下部にある テストデータ をクリックします。
-
テストデータ タブで、テストデータを入力できます。
テストデータには、ベースデータとディメンションテーブルデータが含まれます。
-
データ タブで、テストデータを設定できます。
生ログ タブで、送信先のログを見つけて テストデータに追加 をクリックします。 テストデータを手動で入力することもできます。
説明-
1 回のプレビューのテストデータサイズは 1 MB を超えることはできません。
-
複数のテストデータエントリは、空白行で区切ることができます。
-
複数行にまたがるフィールド値には、Markdown フォーマットを使用できます。
```を使用して、フィールド全体を識別できます。 -
データ タブのテストデータは、キーと値 (KV) または JSON フォーマットにすることができます。 KV フォーマットでは、コロン (:) を使用してフィールド名とその値を接続できます。
-
例 1： この例には 2 つのテストデータエントリが含まれています。 1 つ目は KV フォーマットで、`traceback` という名前の複数行フィールドが含まれています。 2 つ目は JSON フォーマットです。
time_local: 25/May/2020:01:56:22 user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18 "request:method": GET ``` traceback: Traceback (most recent call last): File "traceback_print_exc.py", line 20, in <module> produce_exception() File "/home/user/code/test.py", line 16, in produce_exception produce_exception(recursion_level-1) File "/home/user/code/test.py", line 18, in produce_exception raise RuntimeError() RuntimeError ``` { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" } -
例 2： この例は、3 つのテストデータエントリを含む完全な JSON インスタンスです。
[ { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" } ]
-
-
ディメンションテーブル タブで、テストデータを設定できます。
ディメンションテーブルは、リソース関数が使用するリソースをプレビューするために使用されます。 サンプルのディメンションテーブルデータを入力して、データプレビューをテストできます。
説明ディメンションテーブル タブでは、`res_rds_mysql` および `res_log_LogStore_pull` リソース関数のデータサンプルは CSV フォーマットである必要があります。 `res_oss_file` および `res_local` リソース関数のデータサンプルは、CSV または JSON フォーマットにすることができます。
例： この例には 2 つのテストデータエントリが含まれています。 1 つ目は CSV フォーマットで、2 つ目は JSON フォーマットです。
ip,country,province 127.0.0.1,China,Shanghai 192.168.0.0,China,Zhejiang [ { "ip": "127.0.0.1", "country": "China", "province": "Shanghai" }, { "ip": "192.168.0.0", "country": "China", "province": "Zhejiang" } ]
-
-
データのプレビュー をクリックします。
説明1 回のプレビューで返される変換結果は最大 100 件です。
プレビューが設定されると、変換結果 タブで結果を表示できます。
-
文エラーまたは不正な権限設定が原因でデータ変換が失敗した場合は、画面の指示に従って問題を解決できます。
-
変換結果が正しい場合は、結果を保存できます。 詳細については、「データ変換タスクの作成」をご参照ください。
-
-
クイックプレビューの例
-
変換文
編集ボックスに次の変換文を入力できます。
# e_set("insert_field", "test_value") e_table_map( res_rds_mysql( address="rm-uf6wjk5****.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", ), "ip", ["country", "province"], ) -
テストデータ
タブで、次の内容を入力できます。
{ "id": "1001", "ip": "127.0.0.1" } -
ディメンションテーブルデータ
タブで、次の内容を入力できます。
ip,country,province 127.0.0.1,China,Shanghai 192.168.0.0,China,Zhejiang -
プレビュー結果
