Ingest processor memproses log sebelum ditulis ke Logstore. Anda dapat menggunakannya untuk menyaring data, mengekstraksi bidang, memperluas bidang, dan menyembunyikan data.
Cara kerja
Saat Anda mengumpulkan data log menggunakan Logtail, Simple Log Service SDK, atau web tracking, data tersebut terlebih dahulu diproses oleh ingest processor sebelum ditulis ke Logstore. Pemrosesan ini dilakukan di dalam Simple Log Service dan tidak mengonsumsi resource client.
Ingest processor, log kueri dan analisis, serta transformasi data semuanya mendukung sintaks SPL.
Skenario
Ekstraksi bidang: Ekstrak bidang baru dari log mentah menggunakan metode penguraian seperti ekspresi reguler, format Key-Value, dan JSON.
Perluasan bidang: Tambahkan bidang baru ke log mentah.
Penghapusan bidang: Hapus bidang tertentu dari log mentah.
Penyembunyian data: Sembunyikan informasi sensitif dalam log mentah.
Penyaringan data: Buang data tertentu dari log mentah.
Batasan
Batasan | Deskripsi |
Jumlah ingest processor | Setiap Proyek mendukung maksimal 100 ingest processor. |
Panjang pernyataan SPL dalam konfigurasi ingest processor | Setiap pernyataan SPL dapat memiliki panjang hingga 4.000 karakter. |
Batasan instruksi SPL dalam ingest processor | Hanya instruksi pemrosesan baris yang didukung. Instruksi seperti agregasi dan penilaian logika tidak didukung. |
Jumlah ingest processor yang dikaitkan dengan setiap Logstore |
|
Waktu berlaku setelah ingest processor diperbarui atau dihapus | Perubahan pada konfigurasi ingest processor atau asosiasi antara Logstore dan ingest processor berlaku dalam waktu satu menit. |
Penagihan
Ingest processor ditagih berdasarkan jumlah resource komputasi yang dikonsumsi selama pemrosesan data. Unit penagihan adalah Observability Capacity Unit (OCU).
Observability Capacity Unit (OCU) adalah unit penagihan baru dari Alibaba Cloud-native Observability. Penggunaan OCU dihitung secara otomatis berdasarkan konsumsi resource per jam.
Penagihan untuk fitur komputasi-teroptimalkan SLS secara bertahap beralih ke model berbasis OCU, yang menagih berdasarkan resource komputasi aktual yang dikonsumsi. Dalam skenario CPU, satu OCU setara dengan sekitar 0,5 core CPU, 2 GB memori, dan 3.000 IOPS. Untuk menghitung total jumlah OCU, SLS menentukan tiga nilai OCU terpisah berdasarkan core CPU, memori, dan IOPS yang dikonsumsi. Nilai tertinggi dari ketiganya digunakan sebagai nilai OCU akhir untuk penagihan.
Misalnya, sebuah pekerjaan komputasi mengonsumsi 1 core CPU, 2 GB memori, dan 3.000 IOPS. Dalam kasus ini, pekerjaan tersebut mengonsumsi 2 OCU. Dalam siklus penagihan 1 jam, ingest processor mengonsumsi sekitar 1/3 OCU untuk memproses 1 GB data. Versi baru transformasi data mengonsumsi sekitar 1/3 OCU untuk memproses 1 GB data. Konsumsi berbasis aturan mengonsumsi sekitar 0,3 OCU untuk memproses 1 GB data.
Untuk informasi penagihan mengenai OCU, lihat Item yang dapat ditagih pada model pay-by-ingested-data dan Item yang dapat ditagih pada model penagihan pay-by-feature.