Transformasi data adalah fitur yang sepenuhnya dikelola dengan ketersediaan tinggi dan skalabilitas di Simple Log Service. Fitur ini memungkinkan Anda menstandarkan, memperkaya, mentransfer, menyembunyikan, dan menyaring data.
Proses Transformasi
Layanan transformasi data memproses data dalam tiga langkah berikut:
Grup konsumen membaca data dari Logstore sumber.
Simple Log Service mentransformasi setiap entri data sesuai aturan transformasi.
Simple Log Service menulis data yang telah ditransformasi ke Logstore tujuan.
Setelah proses selesai, hasil dapat dilihat di Logstore tujuan.
Fitur
Simple Log Service menyediakan fitur transformasi data untuk menstrukturkan, memperkaya, mendistribusikan, mendesensitisasi, dan menyaring data. Rinciannya sebagai berikut:
Standardisasi Data: Simple Log Service dapat mengekstrak bidang dari log dalam format berbeda dan mengonversi format log untuk mendapatkan data terstruktur guna pemrosesan aliran dan komputasi di gudang data.
Pengayaan Data: Simple Log Service dapat menggabungkan bidang log dan tabel dimensi untuk menghubungkan log dengan informasi dimensi. Misalnya, penggabungan bidang log pesanan dengan tabel informasi pengguna untuk memfasilitasi analisis data.
Transfer Data: Simple Log Service dapat mentransfer log dari wilayah luar daratan Tiongkok ke wilayah pusat menggunakan fitur akselerasi global, sehingga memungkinkan pengelolaan log global secara terpusat.
Penyembunyian Data: Simple Log Service dapat menyembunyikan informasi sensitif seperti kata sandi, nomor ponsel, dan alamat.
Penyaringan Data: Simple Log Service dapat menyaring log untuk mendapatkan log layanan utama, yang mempermudah analisis lebih lanjut.
Skenario
Standardisasi Data: Data log dibaca dari Logstore sumber, ditransformasi, lalu ditulis ke Logstore tujuan.
Transfer Data: Data log dibaca dari Logstore sumber, ditransformasi, lalu ditulis ke beberapa Logstore tujuan.
Agregasi Data Multi-sumber: Data log dibaca dari beberapa Logstore sumber, ditransformasi, lalu ditulis ke Logstore tujuan.
Sintaksis Transformasi
Bahasa domain-spesifik (DSL) Simple Log Service (SLS) menyediakan lebih dari 200 fungsi bawaan dan 400 pola ekspresi reguler. Untuk informasi selengkapnya, lihat Ikhtisar sintaks.
Manfaat
Memungkinkan Anda menggunakan DSL Simple Log Service untuk mengatur fungsi sesuai kebutuhan. Fungsi yang dikonfigurasi tersebut dapat digunakan untuk menyaring, menstandarkan, memperkaya, mentransfer, dan menyembunyikan data.
Memproses data secara waktu nyata dan memungkinkan Anda melihat data dalam hitungan detik. Fitur ini menyesuaikan kapasitas komputasi berdasarkan volume data serta menyediakan throughput tinggi.
Cocok untuk skenario analisis log dengan fungsi siap pakai.
Menyediakan dasbor waktu nyata, log pengecualian, dan peringatan.
Menawarkan layanan yang sepenuhnya dikelola dan bebas pemeliharaan, serta dapat diintegrasikan dengan layanan data besar Alibaba Cloud dan ekosistem sumber terbuka.
Tagihan
Jika Logstore Anda menggunakan mode penagihan berdasarkan data yang di-ingest, tidak ada biaya tambahan untuk transformasi data. Namun, jika data ditarik melalui Titik akhir Simple Log Service publik, Anda akan dikenakan biaya untuk lalu lintas baca melalui Internet. Lalu lintas dihitung berdasarkan ukuran data setelah kompresi. Untuk informasi lebih lanjut, lihat Item yang Dapat Ditagih untuk Mode Penagihan Berdasarkan Data yang Di-ingest.
Jika Logstore Anda menggunakan mode penagihan berdasarkan fitur, Anda akan dikenakan biaya untuk transformasi data berdasarkan sumber daya mesin dan jaringan yang digunakan. Untuk informasi lebih lanjut, lihat Item yang Dapat Ditagih untuk Mode Penagihan Berdasarkan Fitur.
Anda dapat menonaktifkan fitur pengindeksan untuk Logstore sumber dan mempersingkat periode retensi data Logstore untuk mengurangi biaya. Untuk informasi lebih lanjut, lihat Panduan Performa dan Panduan Optimasi Biaya.