Simple Log Service menyediakan fitur konsumsi real-time yang memungkinkan Anda mengonsumsi data secara real-time menggunakan SDK. Topik ini menjelaskan konsep, manfaat, kasus penggunaan, aturan penagihan, serta konsumen untuk fitur tersebut.
Konsumsi real-time
Konsumsi real-time memungkinkan konsumen—seperti perangkat lunak pihak ketiga, aplikasi dalam berbagai bahasa pemrograman, layanan cloud, dan framework komputasi stream—untuk mengonsumsi data dari Simple Log Service secara real-time melalui SDK. Fitur ini menyediakan akses baca sekuensial ke seluruh set data, mirip dengan message broker seperti Kafka. Anda juga dapat menggunakan pernyataan SPL untuk memproses data selama konsumsi, dan Simple Log Service akan mengembalikan hasilnya. Untuk informasi lebih lanjut, lihat Mengonsumsi log berdasarkan aturan.
Baik konsumsi real-time maupun kueri dan analisis membaca data. Untuk informasi lebih lanjut mengenai perbedaannya, lihat Perbedaan antara konsumsi log dan kueri.
Kasus penggunaan
Konsumsi real-time ideal untuk skenario seperti komputasi stream dan analitik real-time. Fitur ini menyediakan konsumsi data dengan latensi rendah, biasanya dalam hitungan detik. Anda juga dapat mengonfigurasi periode retensi data secara kustom.
Manfaat
Konsumsi real-time memberikan manfaat berikut:
-
Data terpusat
Simple Log Service mengonsentrasikan data dari berbagai mesin, sehingga Anda dapat mengonsumsi data yang telah dikumpulkan secara real-time menggunakan SDK.
-
Manajemen terkategorisasi
Anda dapat memanfaatkan fitur kategorisasi data dari Simple Log Service agar aplikasi dan layanan cloud yang berbeda dapat mengonsumsi jenis data yang berbeda dari proyek yang berbeda secara real-time.
Penagihan
-
Jika Logstore Anda menggunakan mode penagihan pay-by-ingested-data, Simple Log Service tidak membebankan biaya untuk konsumsi real-time. Namun, jika Anda menarik data dari titik akhir publik Simple Log Service, Anda akan dikenai biaya atas traffic baca melalui Internet berdasarkan ukuran data terkompresi. Untuk informasi lebih lanjut, lihat Item yang dapat ditagih untuk mode penagihan pay-by-ingested-data. Untuk mengetahui cara melihat mode penagihan Logstore, lihat Mengelola Logstore.
-
Jika Logstore Anda menggunakan mode penagihan pay-by-feature, konsumsi real-time mencakup beberapa item yang dapat ditagih, termasuk traffic baca/tulis dan permintaan. Untuk informasi lebih lanjut, lihat Item yang dapat ditagih untuk mode penagihan pay-by-feature.
Konsumen
Tabel berikut menjelaskan konsumen yang didukung oleh Simple Log Service untuk konsumsi real-time.
|
Type |
Consumer |
Description |
|
Third-party software |
Flume |
Gunakan Flume untuk mengonsumsi data dari Simple Log Service secara real-time. Untuk informasi lebih lanjut, lihat Mengonsumsi data menggunakan Flume. |
|
Logstash |
Gunakan Logstash untuk mengonsumsi data dari Simple Log Service secara real-time. Untuk informasi lebih lanjut, lihat Mengonsumsi data menggunakan Logstash. |
|
|
QRadar |
Sistem security information and event management (SIEM), seperti QRadar, dapat mengonsumsi data dari Simple Log Service secara real-time melalui HTTPS atau Syslog. Untuk informasi lebih lanjut, lihat Mengirim log ke sistem SIEM dan Mengirim log ke sistem SIEM melalui Syslog. |
|
|
Applications in various programming languages |
Applications (SLS consumption protocol) |
Aplikasi yang dikembangkan dalam bahasa seperti Java, Python, dan Go dapat mengonsumsi data dari Simple Log Service sebagai consumer atau consumer group. Untuk informasi lebih lanjut, lihat Mengonsumsi data menggunakan API dan Mengonsumsi data menggunakan consumer group. |
|
Stream computing frameworks |
Flink |
Gunakan framework komputasi stream Flink untuk mengonsumsi data dari Simple Log Service secara real-time. Untuk informasi lebih lanjut, lihat Mengonsumsi data menggunakan Flink. |
|
Spark |
Gunakan framework komputasi stream Spark untuk mengonsumsi data dari Simple Log Service secara real-time. Untuk informasi lebih lanjut, lihat Mengonsumsi data menggunakan Spark Streaming. |
|
|
Cloud services |
Function Compute |
Gunakan Function Compute untuk mengonsumsi data dari Simple Log Service secara real-time. Untuk informasi lebih lanjut, lihat Mengonsumsi data log menggunakan Function Compute. |
|
Blink |
Gunakan Realtime Compute for Apache Flink untuk mengonsumsi data dari Simple Log Service secara real-time. Untuk informasi lebih lanjut, lihat Mengonsumsi data menggunakan Realtime Compute for Apache Flink. |