Prosesor ingest memungkinkan Anda memproses log sebelum ditulis ke logstore. Anda dapat menggunakan prosesor ingest untuk menyaring data, mengekstrak field, memperluas field, dan menutupi data.
Cara kerja
Saat mengumpulkan data log menggunakan Logtail, Simple Log Service SDK, atau pelacakan web, data tersebut pertama kali diproses oleh prosesor ingest sebelum ditulis ke logstore. Pemrosesan data dilakukan di dalam Simple Log Service dan tidak mengonsumsi sumber daya klien.
Prosesor ingest, log query and analysis, dan transformasi data semuanya mendukung SPL syntax.
Skenario
Ekstraksi field: Ekstrak field baru dari log mentah menggunakan metode penguraian seperti ekspresi reguler, format Key-Value, dan JSON.
Perluasan field: Tambahkan field baru ke log mentah.
Penghapusan field: Hapus field tertentu dari log mentah.
Penyembunyian data: Sembunyikan informasi sensitif dalam log mentah.
Penyaringan data: Buang data tertentu dari log mentah.
Batasan
Untuk batasan kuota seperti jumlah prosesor ingest dan panjang pernyataan SPL, lihat Prosesor ingest.
Penagihan
Prosesor ingest ditagih berdasarkan jumlah sumber daya komputasi yang dikonsumsi selama pemrosesan data. Unit penagihan adalah OCUs.
Observability Capacity Units (OCUs) adalah unit penagihan baru yang digunakan pada Platform Observabilitas Cloud Native Alibaba Cloud. Jumlah OCUs dihitung secara otomatis berdasarkan penggunaan sumber daya per jam.
Alibaba Cloud berencana untuk secara bertahap menerapkan penagihan berdasarkan penggunaan pada kemampuan komputasi-intensif Simple Log Service. Unit penagihan adalah OCUs, yang mengukur penggunaan aktual sumber daya komputasi. Satu OCU dapat digunakan untuk mengimbangi biaya 0,5 core CPU, 2 GB memori, atau 3.000 IOPS. Selama perhitungan biaya, sistem menghitung jumlah OCUs berdasarkan jumlah core yang dikonsumsi, ukuran memori yang dikonsumsi, dan konsumsi IOPS. Kemudian, sistem menggunakan angka terbesar untuk penagihan.
Sebagai contoh, pekerjaan komputasi mengonsumsi 1 core, 2 GB memori, dan 3.000 IOPS. Dalam contoh ini, 2 OCUs dikonsumsi. Dalam siklus penagihan 1 jam, sekitar sepertiga dari OCUs dikonsumsi ketika prosesor ingest memproses 1 GB data. Kemudian, sekitar sepertiga dari OCUs dikonsumsi ketika versi baru transformasi data memproses 1 GB data. Sekitar 0,3 OCUs dikonsumsi ketika konsumsi data berbasis aturan memproses 1 GB data.
Untuk informasi penagihan tentang OCUs, lihat Item-item tagihan bayar-per-data-ingested dan Item-item tagihan bayar-per-fitur.