Simple Log Service：加工結果輸出配置

資料集說明

資料加工（新版）任務中引用SPL規則中定義的資料集，將其寫入特定的一個或多個目標，其中命名資料集通過其名稱引用，未命名資料集則通過標識符__UNNAMED__引用。Log ServiceSPL文法中資料集定義詳情請參見通用參考。

樣本

資料加工任務結果包含兩個結果集valid和__UNNAMED__。

-- 輸出非命名資料集__UNNAMED__
*
| where mode is null;

-- 定義命名資料集src，不輸出
.let src = * 
| where mode is not null;

-- 定義資料集valid，不輸出
.let valid = $src
| where mode = 'a'
| parse-regexp content, '(\S+)\s+(\S+)\s+(\S+)' as x, y, z
| project x, y, z;

-- 輸出命名資料集valid
$valid; 

-- 輸出非命名資料集__UNNAMED__
$src
| where mode = 'b'
| parse-csv content as u, v
| project u, v;

動態目標Project/LogStore輸出

資料加工（新版）支援SPL規則動態指定加工結果輸出的目標Project/LogStore，相關保留欄位定義如下：

• __tag__:__sls_etl_output_project__欄位表示動態輸出目標Project

• __tag__:__sls_etl_output_logstore__欄位表示動態輸出目標LogStore

樣本

• 樣本1：

  指定加工結果的目標Project為欄位dst_project對應的值。

  | extend "__tag__:__sls_etl_output_project__"=dst_project

• 樣本2：

  指定加工結果的目標LogStore為字串拼接結果。

  | extend "__tag__:__sls_etl_output_logstore__"=concat('log-', cast(status as VARCHAR))

指定HashKey輸出

資料加工（新版）支援SPL規則動態指定Hash將加工結果路由輸出至SLS LogStore的特定Shard，關於Hash Key路由寫入Shard詳情請參見寫入日誌。

相關保留欄位定義如下：

__tag__:__sls_etl_output_hash_key__欄位表示將加工結果寫入目標LogStore時指定的Hash Key。

樣本

指定欄位field進行MD5計算後的結果作為寫入目標LogStore的Hash Key。

| extend "__tag__:__sls_etl_output_hash_key__"=to_hex(md5(to_utf8(field))