Simple Log Service：Konfigurasi output hasil pemrosesan

Deskripsi Dataset

Dalam tugas transformasi data, dataset yang didefinisikan oleh aturan Simple Log Service Processing Language (SPL) dirujuk dan ditulis ke satu atau lebih target yang ditentukan. Dataset bernama diidentifikasi oleh nama mereka, sedangkan dataset tanpa nama ditandai dengan pengenal __UNNAMED__. Untuk informasi lebih lanjut, lihat Dataset SPL.

Contoh

Hasil terdiri dari dua dataset: valid dan __UNNAMED__.

-- Output dataset tanpa nama __UNNAMED__
*
| where mode is null;

-- Definisikan dataset bernama src, jangan output
.let src = * 
| where mode is not null;

-- Definisikan dataset valid, jangan output
.let valid = $src
| where mode = 'a'
| parse-regexp content, '(\S+)\s+(\S+)\s+(\S+)' as x, y, z
| project x, y, z;

-- Output dataset bernama valid
$valid; 

-- Output dataset tanpa nama __UNNAMED__
$src
| where mode = 'b'
| parse-csv content as u, v
| project u, v;

Output dinamis ke proyek tujuan dan logstore

Transformasi data (versi baru) memungkinkan spesifikasi dinamis proyek tujuan dan logstore untuk mengeluarkan hasil pemrosesan menggunakan aturan SPL. Bidang cadangan berikut tersedia:

• __tag__:__sls_etl_output_project__: menunjukkan proyek tujuan untuk output dinamis.

• __tag__:__sls_etl_output_logstore__: menunjukkan logstore tujuan untuk output dinamis.

Contoh

• Contoh 1:

  Tetapkan proyek tujuan untuk hasil pemrosesan sebagai nilai dari bidang dst_project:

  | extend "__tag__:__sls_etl_output_project__"=dst_project

• Contoh 2:

  Tetapkan logstore tujuan untuk hasil pemrosesan melalui penggabungan string:

  | extend "__tag__:__sls_etl_output_logstore__"=concat('log-', cast(status as VARCHAR))

Tentukan kunci hash untuk output

Tugas transformasi data (versi baru) mendukung spesifikasi dinamis kunci hash untuk merutekan hasil pemrosesan ke shard tertentu dalam logstore Simple Log Service menggunakan aturan SPL. Untuk informasi lebih lanjut tentang perutean kunci hash ke shard, lihat PutLogs.

Bidang cadangan:

__tag__:__sls_etl_output_hash_key__: menunjukkan kunci hash yang digunakan saat menulis hasil pemrosesan ke logstore tujuan.

Contoh

Gunakan hash MD5 dari field sebagai kunci hash untuk menulis ke logstore tujuan:

| extend "__tag__:__sls_etl_output_hash_key__"=to_hex(md5(to_utf8(field)))