Topik ini menjelaskan cara menggunakan fungsi sumber daya untuk menarik data dari Object Storage Service (OSS) dan memanfaatkan fungsi pemetaan untuk memetakan bidang data ke bidang data di Log Service, sehingga memungkinkan Anda memperkaya data log di Log Service.
Prasyarat
- Pasangan AccessKey telah dibuat untuk mengakses Bucket OSS. Untuk informasi lebih lanjut, lihat Buat Pasangan AccessKey.
Disarankan untuk membuat pasangan AccessKey dengan izin baca-saja pada Bucket OSS dan pasangan AccessKey dengan izin tulis-saja pada OSS. Dengan cara ini, Anda dapat menggunakan pasangan AccessKey pertama untuk membaca data dari Bucket OSS dan pasangan AccessKey kedua untuk menulis data ke Bucket OSS. Untuk informasi lebih lanjut, lihat Kebijakan RAM.
- File nilai yang dipisahkan koma (CSV) telah diunggah ke Bucket OSS. Untuk informasi lebih lanjut, lihat Unggah Objek.
Disarankan untuk menggunakan pasangan AccessKey dengan izin tulis-saja pada Bucket OSS saat mengunggah file.
Informasi latar belakang
OSS menyediakan layanan penyimpanan cloud yang aman, hemat biaya, dan sangat andal untuk sejumlah besar data. Disarankan untuk menyimpan data yang jarang diperbarui di Bucket OSS karena Anda hanya dikenakan biaya untuk penyimpanan data. Jika data log Anda tersebar dan tidak lengkap, Anda dapat memperkayanya menggunakan OSS. Fitur transformasi data dari Log Service menyediakan berbagai fungsi untuk mentransformasi data. Anda dapat menggunakan fungsi res_oss_file untuk menarik data dari OSS dan fungsi tab_parse_csv untuk membuat tabel. Kemudian, Anda dapat menggunakan fungsi e_table_map untuk mencocokkan bidang tertentu, mengembalikan bidang dan nilai bidang yang ditentukan, serta menghasilkan entri log baru.Contoh
- Entri Log Mentah
account : Sf24asc4ladDS - Data CSV di OSS
id account nickname 1 Sf24asc4ladDS Doflamingo 2 Sf24asc4ladSA Kaido 3 Sf24asc4ladCD Roger - Aturan Transformasi Log Service memetakan bidang account di Logstore yang ditentukan ke bidang account di file CSV yang ditentukan. Jika nilai bidang account di Bucket OSS dan Logstore yang ditentukan sama, kedua bidang tersebut cocok dan bidang nickname serta nilai bidang di file CSV digabungkan dengan bidang di Logstore yang ditentukan.
e_table_map(tab_parse_csv(res_oss_file(endpoint='http://oss-cn-hangzhou.aliyuncs.com', ak_id=res_local("AK_ID"), ak_key=res_local("AK_KEY"), bucket='test', file='account.csv',change_detect_interval=30)), "account","nickname")Tabel berikut menjelaskan bidang dalam fungsi res_oss_file.Bidang Deskripsi endpoint Titik akhir OSS. Untuk informasi lebih lanjut, lihat Wilayah dan titik akhir. ak_id ID AccessKey yang memiliki izin baca pada OSS. Untuk alasan keamanan, kami merekomendasikan agar Anda menetapkan nilainya menjadi res_local("AK_ID"). Nilai ini menunjukkan bahwa ID AccessKey diperoleh dari bidang Pengaturan Parameter Lanjutan yang Anda tetapkan di Log Service. Untuk informasi tentang cara menetapkan bidang Pengaturan Parameter Lanjutan, lihat Buat pekerjaan transformasi data.
ak_key Rahasia AccessKey yang memiliki izin baca pada OSS. Untuk alasan keamanan, kami merekomendasikan agar Anda menetapkan nilainya menjadi res_local("AK_KEY"). Nilai ini menunjukkan bahwa Rahasia AccessKey diperoleh dari bidang Pengaturan Parameter Lanjutan yang Anda tetapkan di Log Service.
bucket Bucket OSS yang digunakan untuk menyimpan file CSV. file Nama file CSV yang diunggah. - Hasil
account : Sf24asc4ladDS nickname: Doflamingo