Simple Log Service memungkinkan Anda menggunakan Function Compute untuk mentransformasi data streaming. Anda dapat mengonfigurasi tugas ekstrak-transform-load (ETL) guna mendeteksi pembaruan data dan memanggil fungsi. Data tambahan dalam Logstore kemudian dikonsumsi dan ditransformasikan.
Skenario
Anda dapat menggunakan pemicu Simple Log Service untuk mengintegrasikan Function Compute dan Simple Log Service dalam skenario berikut:
Pembersihan dan pemrosesan data
Simple Log Service memungkinkan Anda dengan cepat mengumpulkan, memproses, menanyakan, dan menganalisis log.
Pengiriman data
Simple Log Service memungkinkan Anda mengirimkan data ke tujuan yang ditentukan serta membangun pipa data antara layanan data besar di cloud.
Prapemrosesan bidang dan pengiriman
Pembuatan penyimpanan kolom dan pengiriman
Pemrosesan kustom dan penyimpanan hasil
Fungsi ETL
Jenis fungsi
Fungsi template
Untuk informasi lebih lanjut, lihat aliyun-log-fc-functions.
Fungsi yang ditentukan pengguna
Format fungsi terkait dengan implementasi fungsi. Untuk informasi lebih lanjut, lihat Buat fungsi kustom.
Mekanisme pemicu
Tugas ETL sesuai dengan pemicu Simple Log Service dan digunakan untuk memanggil fungsi. Setelah Anda membuat tugas ETL untuk Logstore di Simple Log Service, timer dimulai untuk memantau data dari shard Logstore berdasarkan konfigurasi tugas. Jika data ditulis ke Logstore, rekaman data triple dalam format
<shard_id,begin_cursor,end_cursor>dibuat sebagai acara fungsi. Lalu, fungsi ETL terkait dipanggil.CatatanJika tidak ada data baru yang ditulis ke Logstore dan sistem penyimpanan diperbarui, informasi cursor berubah. Fungsi ETL dipanggil untuk setiap shard tetapi tidak ada data yang ditransformasikan. Dalam hal ini, Anda dapat menggunakan informasi cursor untuk mendapatkan data dari shard. Jika tidak ada data yang diperoleh, fungsi ETL dipanggil tetapi tidak ada data yang ditransformasikan. Anda dapat mengabaikan pemanggilan fungsi tersebut. Untuk informasi lebih lanjut, lihat Buat fungsi kustom.
Tugas ETL memanggil fungsi berdasarkan mekanisme waktu. Sebagai contoh, jika Anda mengatur interval pemanggilan dalam tugas ETL menjadi 60 detik untuk Logstore, dan data terus-menerus ditulis ke Shard 0, fungsi ETL dipanggil setiap 60 detik untuk mentransformasi data yang berada dalam rentang cursor 60 detik terakhir.