Jika Anda perlu memproses data log sebelum ditulis ke Logstore—misalnya untuk penyaringan data, ekstraksi field, ekstensi field, atau penyamaran data—Anda dapat menggunakan ingest processor.
Cara kerja
-
Saat Anda mengumpulkan data log menggunakan Logtail, Simple Log Service SDK, atau web tracking, data tersebut terlebih dahulu melewati ingest processor sebelum ditulis ke Logstore. Pemrosesan data dilakukan di dalam Simple Log Service dan tidak mengonsumsi sumber daya sisi klien.
-
Ingest processor, log kueri dan analisis, serta transformasi data semuanya mendukung sintaks SPL.
Kasus penggunaan
-
Ekstraksi field: Ekstrak field baru dari field log mentah menggunakan metode penguraian seperti ekspresi reguler, key-value, atau JSON.
-
Ekstensi field: Tambahkan field baru ke log mentah.
-
Penghapusan field: Hapus field tertentu dari log mentah.
-
Penyamaran data: Sembunyikan informasi sensitif dalam log mentah.
-
Penyaringan data: Buang entri log yang tidak diinginkan.
Batasan
|
Batas |
Deskripsi |
|
Jumlah ingest processor |
Anda dapat membuat hingga 100 ingest processor di setiap Project. |
|
Panjang pernyataan SPL dalam konfigurasi ingest processor |
Setiap pernyataan SPL tidak boleh melebihi 4.000 karakter. |
|
Batasan perintah SPL dalam ingest processor |
Hanya perintah pemrosesan tingkat baris yang didukung. Perintah agregasi dan logika kondisional tidak didukung. |
|
Jumlah ingest processor yang dikaitkan dengan Logstore |
|
|
Waktu penerapan perubahan |
Perubahan konfigurasi ingest processor, penghapusan ingest processor, atau modifikasi asosiasi Logstore berlaku dalam waktu satu menit. |
Penagihan
Ingest processor ditagih dalam satuan OCU berdasarkan sumber daya komputasi yang dikonsumsi selama pemrosesan data.
Observability Capacity Unit (OCU) adalah satuan penagihan baru untuk Observability native Alibaba Cloud. Penggunaan OCU dihitung secara otomatis berdasarkan konsumsi sumber daya per jam.
Penagihan untuk fitur komputasi-teroptimalkan SLS secara bertahap beralih ke model berbasis OCU, yang menagih berdasarkan sumber daya komputasi aktual yang dikonsumsi. Dalam skenario CPU, satu OCU setara dengan sekitar 0,5 core CPU, 2 GB memori, dan 3.000 operasi input/output per detik (IOPS). Untuk menghitung jumlah total OCU, SLS menentukan tiga nilai OCU terpisah berdasarkan core CPU, memori, dan IOPS yang dikonsumsi. Nilai tertinggi dari ketiganya digunakan sebagai nilai OCU akhir untuk penagihan.
Sebagai contoh, jika suatu pekerjaan komputasi mengonsumsi 1 core CPU, 2 GB memori, dan 3.000 IOPS, pekerjaan tersebut mengonsumsi 2 OCU. Dalam siklus penagihan 1 jam, Ingest Processor mengonsumsi sekitar 1/3 OCU untuk memproses 1 GB data. Versi baru transformasi data mengonsumsi sekitar 1/3 OCU untuk memproses 1 GB data. Konsumsi berbasis aturan mengonsumsi sekitar 0,3 OCU untuk memproses 1 GB data.
Untuk informasi lebih lanjut tentang penagihan OCU, lihat Item yang dapat ditagih pada mode bayar-per-data-yang-diingest dan Item yang dapat ditagih pada model penagihan bayar-per-fitur.