Simple Log Service:Konsumsi berbasis aturan

Cara kerja

Konsumsi berbasis aturan menggunakan SPL sisi server untuk memproses dan membersihkan data log semi-terstruktur, mencakup penyaringan baris, pemangkasan kolom, ekstraksi berbasis ekspresi reguler, serta ekstraksi bidang JSON. Proses ini mengirimkan data terstruktur yang telah dibersihkan ke klien Anda. Untuk informasi lebih lanjut tentang sintaks SPL, lihat Sintaks SPL.

Kasus penggunaan

Konsumsi berbasis aturan ideal untuk skenario komputasi aliran dan komputasi real-time yang memerlukan pra-pemrosesan data, seperti penyaringan baris, pemangkasan kolom, atau ekstraksi data menggunakan ekspresi reguler atau jalur JSON sebelum mengonsumsi data log. Fitur ini menyediakan konsumsi data dengan latensi rendah, biasanya dalam hitungan detik, serta memungkinkan konfigurasi periode retensi data secara kustom.

Manfaat

• Mengurangi biaya traffic saat mengonsumsi data melalui internet.

  • Hal ini mencegah transmisi volume besar data yang tidak diperlukan, sehingga mengurangi biaya network traffic.

• Menghemat sumber daya CPU lokal dan mempercepat pemrosesan.

  • Sebagai contoh, Anda dapat memindahkan perhitungan data kompleks ke Simple Log Service alih-alih menjalankannya di mesin lokal Anda. Hal ini membebaskan sumber daya lokal dan mempercepat alur kerja secara keseluruhan.

Penagihan

• Jika Logstore Anda menggunakan mode penagihan pay-by-ingested-data, konsumsi berbasis aturan tidak dikenai biaya. Namun, Anda akan dikenai biaya untuk traffic baca internet jika menarik data dari titik akhir publik Simple Log Service. Traffic dihitung berdasarkan ukuran data terkompresi. Untuk informasi lebih lanjut, lihat Item yang dikenai biaya pada mode pay-by-ingested-data.

• Jika Logstore Anda menggunakan mode penagihan pay-by-feature, Anda akan dikenai biaya untuk komputasi sisi server. Anda juga mungkin dikenai biaya traffic internet jika menggunakan titik akhir publik Simple Log Service. Untuk informasi lebih lanjut, lihat Item yang dikenai biaya pada mode pay-by-feature.

Konsumen

Tabel berikut menjelaskan konsumen yang didukung oleh konsumsi berbasis aturan.

Catatan penggunaan

• Konsumsi berbasis aturan memerlukan komputasi sisi server yang kompleks. Bergantung pada kompleksitas kueri SPL dan karakteristik data Anda, Anda mungkin mengalami sedikit peningkatan latensi baca sisi server—misalnya, 10 ms hingga 100 ms untuk data sebesar 5 MB. Namun, latensi end-to-end secara keseluruhan, mulai dari penarikan data hingga penyelesaian komputasi lokal, biasanya berkurang.

• Jika terjadi kesalahan sintaks SPL atau bidang sumber yang diperlukan tidak tersedia, konsumsi berbasis aturan mungkin mengembalikan data yang tidak lengkap atau gagal. Untuk informasi lebih lanjut, lihat Penanganan error.

• Panjang maksimum pernyataan SPL adalah 4 KB.

• Batas baca untuk shard sama baik untuk konsumsi berbasis aturan maupun konsumsi reguler. Untuk konsumsi berbasis aturan, traffic baca dihitung berdasarkan ukuran data mentah sebelum pemrosesan SPL. Untuk informasi lebih lanjut tentang batasan tersebut, lihat Baca dan tulis data.

FAQ

• Bagaimana cara mengatasi error ShardReadQuotaExceed selama konsumsi berbasis aturan?

  • Untuk mengatasi error ini:

    • Konfigurasikan klien konsumen Anda untuk menunggu dan mencoba ulang saat error ini terjadi.

    • Pisahkan shard secara manual. Hal ini mengurangi kecepatan baca per shard untuk data baru.

• Bagaimana traffic dikendalikan untuk konsumsi berbasis aturan?

  • Kebijakan throttling untuk konsumsi berbasis aturan sama dengan konsumsi reguler. Untuk informasi lebih lanjut, lihat Baca dan tulis data. Traffic untuk konsumsi berbasis aturan dihitung berdasarkan ukuran data mentah sebelum pemrosesan SPL.

    • Sebagai contoh, asumsikan ukuran data mentah terkompresi adalah 100 MB. Setelah Anda menyaring data menggunakan pernyataan SPL * | where method = 'POST', data terkompresi yang dikembalikan ke klien adalah 20 MB. Namun, traffic baca tetap dihitung berdasarkan 100 MB awal.

• Setelah mengaktifkan konsumsi berbasis aturan, mengapa traffic keluar rendah pada grafik 'Traffic/min' di halaman Pemantauan Proyek?

  • Traffic keluar pada grafik Traffic/min merepresentasikan ukuran data setelah pemrosesan SPL, bukan ukuran data mentah. Jika pernyataan SPL Anda mencakup operasi yang mengurangi volume data, seperti penyaringan baris atau pemangkasan kolom, nilai traffic keluar mungkin lebih rendah daripada traffic masuk.