Simple Log Service menyediakan layanan transformasi data (versi baru) yang sepenuhnya dikelola, skalabel, dan memiliki ketersediaan tinggi. Gunakan layanan ini untuk skenario pemrosesan data seperti standarisasi data, ekstraksi informasi, pembersihan data, penyaringan data, dan distribusi data ke beberapa Logstore tujuan.
Cara kerjanya
Fitur transformasi data (versi baru) dalam Simple Log Service memproses data log secara real-time. Cara kerjanya adalah dengan mengelola pekerjaan konsumsi data real-time menggunakan aturan Bahasa Proses Terstruktur (SPL). Untuk informasi lebih lanjut tentang aturan SPL, lihat sintaks SPL. Untuk informasi lebih lanjut tentang skenario konsumsi real-time SPL, lihat Ikhtisar Konsumsi Real-Time.
Fitur transformasi data didasarkan pada API konsumsi real-time dari Simple Log Service dan tidak bergantung pada konfigurasi indeks Logstore sumber.
Mekanisme penjadwalan
Untuk setiap pekerjaan transformasi, penjadwal layanan memulai satu atau lebih instans untuk memproses data secara bersamaan. Setiap instans bertindak sebagai konsumen dan mengonsumsi data dari satu atau lebih shard Logstore sumber. Penjadwal menyesuaikan jumlah instans berdasarkan penggunaan sumber daya dan kemajuan pemrosesan untuk mencapai skalabilitas elastis. Konkurensi maksimum untuk satu pekerjaan adalah jumlah shard di Logstore sumber.
Instans yang sedang berjalan
Berdasarkan aturan SPL dan konfigurasi Logstore tujuan pekerjaan, setiap instans yang sedang berjalan mengonsumsi data log sumber dari shard yang ditugaskan menggunakan aturan SPL. Instans tersebut kemudian mendistribusikan dan menulis hasil yang diproses ke Logstore tujuan yang sesuai. Saat instans sedang berjalan, ia secara otomatis menyimpan titik pemeriksaan konsumsi untuk setiap shard. Ini memastikan bahwa jika pekerjaan berhenti dan dimulai ulang, konsumsi dilanjutkan dari titik pemeriksaan yang disimpan.
Hentikan dan lanjutkan pekerjaan
Penghentian otomatis: Jika waktu akhir dikonfigurasikan, pekerjaan akan berhenti secara otomatis setelah memproses semua log yang dibuat sebelum waktu tersebut. Jika tidak ada waktu akhir yang dikonfigurasikan, pekerjaan akan terus berjalan. Untuk informasi lebih lanjut, lihat ETL.
Pemrosesan yang dapat dilanjutkan: Saat pekerjaan dimulai ulang setelah berhenti tak terduga, pekerjaan tersebut melanjutkan pemrosesan dari titik pemeriksaan shard terakhir yang disimpan secara default. Ini memastikan konsistensi data.
Lihat status pekerjaan
Anda dapat memantau status pekerjaan transformasi data. Untuk informasi lebih lanjut, lihat Pantau Pekerjaan Transformasi Data (Versi Baru).
Skenario
Fitur transformasi data digunakan untuk skenario seperti standarisasi data, penerusan data, penyamaran data, dan penyaringan data. Skenario-skenario ini dijelaskan di bawah ini.
Standarisasi data dan ekstraksi informasi: Ekstrak bidang dan ubah format data dari log dengan format yang tidak konsisten. Ini menghasilkan data terstruktur untuk mendukung pemrosesan aliran hilir dan analisis gudang data.
Penerusan dan distribusi data:
Kumpulkan log dari berbagai jenis ke dalam satu Logstore. Kemudian, distribusikan log ke Logstore hilir yang berbeda berdasarkan karakteristiknya, seperti modul layanan sumber atau komponen bisnis. Ini membantu mencapai isolasi data dan komputasi spesifik skenario.
Jika layanan Anda diterapkan di beberapa wilayah, kumpulkan log di setiap wilayah. Kemudian, agregasikan log dari wilayah yang berbeda ke wilayah pusat. Anda dapat menggunakan layanan akselerasi untuk agregasi lintas wilayah. Ini memungkinkan manajemen log global terpusat.
Pembersihan dan penyaringan data: Bersihkan entri log yang tidak valid atau hapus bidang log yang tidak digunakan. Filter informasi kunci dan tulis ke Logstore hilir untuk analisis fokus.
Penyamaran data: Samarkan informasi sensitif dalam data, seperti kata sandi, nomor telepon, dan alamat.
Manfaat
Simple Log Service menggunakan sintaks SPL seragam untuk pengumpulan data, kueri, dan konsumsi. Ini menghilangkan kebutuhan untuk mempelajari sintaks yang berbeda untuk operasi yang berbeda.
Saat Anda menulis skrip SPL untuk transformasi data (versi baru), Anda dapat menggunakan debugging baris demi baris dan petunjuk kode. Ini memberikan pengalaman coding yang mirip dengan Integrated Development Environment (IDE).
Nikmati pemrosesan real-time, visibilitas data dalam hitungan detik, daya komputasi yang dapat diskalakan, skalabilitas elastis berdasarkan penggunaan, dan throughput tinggi.
Gunakan instruksi pemrosesan data siap pakai dan fungsi SQL yang dirancang untuk skenario analisis log.
Lihat metrik observabilitas real-time dan Dasbor. Anda juga dapat membuat aturan pemantauan kustom berdasarkan metrik operasional.
Manfaatkan layanan yang sepenuhnya dikelola tanpa O&M yang terintegrasi dengan produk big data Alibaba Cloud dan ekosistem open source.
Penagihan
Jika Logstore menggunakan metode penagihan bayar-per-data-yang-diingest, layanan transformasi data (versi baru) itu sendiri tidak dikenakan biaya. Namun, Anda akan dikenakan biaya untuk Lalu lintas internet yang dihasilkan saat Anda menarik data dari atau menulis data ke Simple Log Service melalui Internet. Lalu lintas dihitung berdasarkan ukuran data terkompresi. Untuk informasi lebih lanjut, lihat Item yang Dapat Ditagih untuk Mode Bayar-per-Data-yang-Diingest.
Jika Logstore menggunakan metode penagihan bayar-per-fitur, Anda akan dikenakan biaya untuk sumber daya komputasi dan jaringan yang dikonsumsi oleh layanan transformasi data (versi baru). Untuk informasi lebih lanjut, lihat Item yang Dapat Ditagih untuk Model Penagihan Bayar-per-Fitur.