Simple Log Service:処理結果の出力設定

データセットの説明

データ変換タスクでは、Simple Log Service Processing Language (SPL) ルールで定義されたデータセットが参照され、1つ以上の指定されたターゲットに書き込まれます。 名前付きデータセットは名前で識別され、名前のないデータセットは識別子 __unnamed__ で示されます。 詳細は、「SPLデータセット」をご参照ください。

例

結果は、validと __UNNAMED__ の2つのデータセットで構成されます。

-- Output unnamed dataset __UNNAMED__
*
| where mode is null;

-- Define named dataset src, do not output
.let src = * 
| where mode is not null;

-- Define dataset valid, do not output
.let valid = $src
| where mode = 'a'
| parse-regexp content, '(\S+)\s+(\S+)\s+(\S+)' as x, y, z
| project x, y, z;

-- Output named dataset valid
$valid; 

-- Output unnamed dataset __UNNAMED__
$src
| where mode = 'b'
| parse-csv content as u, v
| project u, v;

宛先プロジェクトとログストアへの動的出力

データ変換 (新バージョン) では、SPLルールを使用して処理結果を出力するための宛先プロジェクトとログストアを動的に指定できます。 次の予約フィールドを使用できます。

• __tag __:__ sls_etl_output_project__: 動的出力の宛先プロジェクトを示します。

• __tag __:__ sls_etl_output_logstore__: 動的出力の宛先ログストアを示します。

例

• 例 1：

  結果を処理する対象プロジェクトをdst_projectフィールドの値として指定します。

  | extend "__tag __:__ sls_etl_output_project__"=dst_project

• 例 2：

  文字列連結によって結果を処理するための宛先ログストアを指定します。

  | extend "__tag __:__ sls_etl_output_logstore__"=concat('log-'、cast (ステータス: VARCHAR))

出力のハッシュキーの指定

データ変換タスク (新バージョン) は、SPLルールを使用して、処理結果をSimple Log Serviceログストア内の特定のシャードにルーティングするためのハッシュキーの動的指定をサポートしています。 シャードへのハッシュキーのルーティングの詳細については、「PutLogs」をご参照ください。

予約済みフィールド:

__tag __:__ sls_etl_output_hash_key__: 処理結果を宛先ログストアに書き込むときに使用されるハッシュキーを示します。

例

フィールドのMD5ハッシュを、宛先ログストアに書き込むためのハッシュキーとして使用します。

| extend "__tag __:__ sls_etl_output_hash_key__"=to_hex(md5(to_utf8 (フィールド)))