Simple Log Service:Bagaimana cara mengekspor log ke destinasi penyimpanan yang berbeda?

Informasi latar belakang

Anda ingin mengekspor log ke destinasi penyimpanan yang berbeda, dengan bidang dalam log yang bervariasi sesuai destinasi. Dalam contoh ini, bidang dalam log mentah adalah f1, f2, f3, f4, dan f5.

• Saat mengekspor ke target1, bidang f1 dan f2 dihapus, sedangkan semua bidang lainnya dipertahankan.

• Saat mengekspor ke target2, bidang f3 dan f4 dihapus, dan semua bidang lainnya dipertahankan.

Contoh konfigurasi

Log mentah

__time__ : 1591754815
f1: GET
f2: https
f3: aliyun
f4: 200
f5: standard

Sintaks transformasi

1. Gunakan fungsi e_set untuk menambahkan bidang baru bernama tag: target1, target2 ke log.

2. Gunakan fungsi e_split untuk membagi log menjadi dua log berdasarkan bidang tag: satu log berisi tag: target1 dan log lainnya berisi tag: target2.

3. Hapus bidang f1 dan f2 dari log yang berisi tag: target1, lalu ekspor bidang f3, f4, dan f5 ke target1 menggunakan fungsi e_output. Aturan transformasi berikutnya tidak dijalankan untuk log ini.

4. Hapus bidang f3 dan f4 dari log yang berisi tag: target2.

e_set("tag", "target1, target2")
e_split("tag")
e_if(e_search("tag==target1"), e_compose(e_drop_fields("f1", "f2", regex=False), e_output("target1")))
e_drop_fields("f3", "f4", regex=False)
e_output("target2")

Ekspor bidang ke target1

__time__ : 1591754815
f3: aliyun
f4: 200
f5: standard

Output ke target2

__time__ : 1591754815
f1: GET
f2: https
f5: standard

Pengaturan yang salah

Jika Anda menggunakan sintaks pemrosesan berikut, output ke target1 memenuhi persyaratan. Namun, output tersebut langsung dialirkan ke target2, sehingga menyebabkan hilangnya bidang f1 dan f2 dari log target2.

e_drop_fields("f1", "f2", regex=False)
e_coutput("target1")
e_drop_fields("f3", "f4", regex=False)
e_output("target2")