Simple Log Service:Tarik file CSV dari OSS untuk memperkaya data

Latar Belakang

OSS sangat cocok untuk menyimpan data referensi yang jarang berubah—misalnya, pemetaan akun ke nickname, tabel IP ke wilayah, atau deskripsi kode kesalahan. Jika data log Anda di Log Service tidak lengkap, Anda dapat memperkayanya dengan menarik data referensi dari objek CSV di OSS.

Fitur transformasi data menggunakan tiga fungsi secara bersamaan:

• res_oss_file — mengambil konten mentah dari objek OSS

• tab_parse_csv — mengurai konten tersebut menjadi tabel terstruktur

• e_table_map — mencocokkan field dalam log dengan tabel dan menambahkan field yang sesuai ke log

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Membuat AccessKey untuk mengakses bucket OSS Anda. Untuk informasi selengkapnya, lihat Create an AccessKey.

  Buat dua AccessKey: satu dengan izin read-only untuk mengambil objek dari OSS, dan satu lagi dengan izin write-only untuk mengunggah objek ke OSS. Untuk informasi lebih lanjut tentang otorisasi, lihat RAM policy overview.

• Mengunggah objek CSV yang berisi data referensi Anda ke bucket OSS. Untuk informasi selengkapnya, lihat Upload objects.

  Gunakan AccessKey dengan izin write-only untuk pengunggahan tersebut.

Perkaya data log dengan file CSV dari OSS

Contoh berikut menunjukkan cara mencocokkan field account dalam Logstore dengan objek CSV di OSS dan menambahkan field nickname yang sesuai ke setiap entri log.

• Log mentah dalam Logstore

  account :  Sf24asc4ladDS

• Data dalam objek CSV di bucket OSS

  Id	Account	Nickname
  1	Sf24asc4ladDS	Doflamingo
  2	Sf24asc4ladSA	Kaido
  3	Sf24asc4ladCD	Roger

• Aturan transformasi

  Aturan ini mencocokkan field account dalam Logstore dengan kolom account dalam objek CSV. Pencocokan hanya berhasil jika nilai account-nya identik. Saat ditemukan kecocokan, field nickname beserta nilainya akan ditambahkan ke log.

  e_table_map(tab_parse_csv(res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com',
                                          ak_id=res_local("AK_ID"),
                                          ak_key=res_local("AK_KEY"), 
                                          bucket='test',
                                          file='account.csv',change_detect_interval=30)),
              "account","nickname")

  Dalam e_table_map, argumen string pertama ("account") menentukan field yang digunakan untuk mencocokkan baris dalam tabel CSV, sedangkan argumen kedua ("nickname") menentukan field yang diambil dari baris yang cocok dan ditambahkan ke log.

  Tabel berikut menjelaskan parameter utama dari res_oss_file. Untuk semua parameter, lihat Resource functions.

  Parameter	Deskripsi
  endpoint	Titik akhir untuk mengakses OSS. Untuk informasi selengkapnya, lihat res_oss_file.
  ak_id	ID AccessKey dengan izin read-only untuk OSS. Atur nilainya ke res_local("AK_ID") untuk mengambil nilai dari Advanced Parameter Settings alih-alih menyematkan kredensial dalam aturan. Untuk mengonfigurasi Advanced Parameter Settings, lihat Create a data transformation job. Di bagian Advanced options, tambahkan dua pasangan kunci-nilai: AK_ID diatur ke ID AccessKey Anda dan AK_KEY diatur ke Rahasia AccessKey Anda.
  ak_key	Rahasia AccessKey dengan izin read-only untuk OSS. Atur nilainya ke res_local("AK_KEY") untuk mengambilnya dari Advanced Parameter Settings.
  bucket	Bucket OSS tempat objek CSV disimpan.
  file	Jalur objek OSS target, misalnya test/data.txt. Jalur tidak boleh diawali dengan garis miring (/).
  change_detect_interval	Frekuensi Log Service memeriksa apakah objek OSS telah berubah, dalam satuan detik. Nilai default-nya adalah 0, yang menonaktifkan pemeriksaan berkala—objek hanya diambil sekali saat pekerjaan transformasi data dimulai. Tetapkan nilai bukan nol untuk mengaktifkan pemeriksaan berkala; Log Service akan mengambil ulang objek tersebut setiap kali perubahan terdeteksi.

• Hasil

  account :  Sf24asc4ladDS
  nickname: Doflamingo