Simple Log Service:Ikhtisar transformasi data (versi baru)

Cara kerja

Transformasi data (versi baru) memproses data log secara real-time melalui Pekerjaan konsumsi yang dihosting dan aturan SPL. Sintaksis SPL. Ikhtisar konsumsi standar.

Mekanisme penjadwalan

Penjadwal menjalankan satu atau beberapa instans per Pekerjaan untuk memproses data secara konkuren. Setiap instans mengonsumsi data dari satu atau beberapa shard Logstore sumber. Jumlah instans menyesuaikan berdasarkan penggunaan sumber daya dan progres pemrosesan guna mendukung skalabilitas elastis. Konkurensi maksimum per Pekerjaan sama dengan jumlah shard Logstore sumber.

Instans yang berjalan

Berdasarkan aturan SPL dan konfigurasi Logstore tujuan Pekerjaan, setiap instans mengonsumsi data log sumber dari shard yang dialokasikan, lalu mendistribusikan dan menulis hasilnya ke Logstore tujuan. Instans secara otomatis menyimpan checkpoint shard sehingga Pekerjaan yang dijalankan ulang akan melanjutkan dari checkpoint terakhir.

Hentikan dan lanjutkan Pekerjaan

• Henti otomatis: Pekerjaan dengan waktu akhir yang dikonfigurasi akan berhenti setelah memproses semua log sebelum waktu tersebut. Tanpa waktu akhir, Pekerjaan berjalan terus-menerus. ETL.

• Pemrosesan yang dapat dilanjutkan: Setelah berhenti secara tak terduga, Pekerjaan yang dijalankan ulang akan melanjutkan dari checkpoint shard terakhir yang disimpan secara default, memastikan konsistensi data.

Lihat status Pekerjaan yang sedang berjalan

SLS mendukung Pemantauan untuk Pekerjaan transformasi data. Amati dan pantau Pekerjaan transformasi data (versi baru).

Skenario

Transformasi data mendukung skenario berikut:

• Normalisasi data dan ekstraksi informasi: Ekstrak bidang dari log yang diformat secara tidak konsisten dan normalisasi formatnya untuk menghasilkan data terstruktur guna pemrosesan aliran dan analisis gudang data.

• Penerusan dan distribusi data:

  • Kumpulkan berbagai tipe log ke dalam satu Logstore, lalu distribusikan ke Logstore hilir berdasarkan karakteristik (modul sumber, komponen bisnis) untuk isolasi data dan komputasi spesifik skenario.

  • Untuk penerapan multi-Wilayah, agregasikan log dari setiap Wilayah ke Wilayah pusat dengan akselerasi cross-region untuk manajemen terpusat.

• Pembersihan dan penyaringan data: Hapus entri tidak valid atau bidang yang tidak digunakan, lalu tulis informasi kunci yang telah disaring ke Logstore hilir untuk analisis fokus.

• Penyamaran data: Sembunyikan data sensitif seperti kata sandi, nomor telepon, dan alamat.

Fitur

• SPL menyediakan bahasa terpadu untuk pengumpulan data, kueri, dan pemrosesan, sehingga mengurangi kebutuhan mempelajari banyak sintaksis.

• Debugging baris per baris dan petunjuk kode memberikan pengalaman pengkodean SPL seperti IDE.

• Pemrosesan real-time dengan visibilitas data dalam hitungan detik, skalabilitas elastis, dan throughput tinggi.

• Instruksi pemrosesan data bawaan dan fungsi SQL untuk analisis log.

• Data deret waktu observabilitas real-time, Dasbor, dan aturan Pemantauan kustom berdasarkan metrik waktu proses.

• Sepenuhnya dikelola dan bebas maintenance, dengan integrasi ekosistem big data Alibaba Cloud dan open-source.

Penagihan

• Logstore pay-by-ingested-data: Transformasi data (versi baru) gratis. Trafik keluar saat menarik atau menulis data melalui Titik akhir publik SLS dikenai biaya berdasarkan volume data terkompresi. Item yang dikenai biaya pada mode pay-by-ingested-data.

• Logstore pay-by-feature: Anda dikenai biaya atas sumber daya komputasi dan jaringan yang dikonsumsi oleh transformasi data (versi baru). Item yang dikenai biaya pada mode pay-by-feature.