Simple Log Service menyediakan fitur konsumsi real-time yang memungkinkan Anda menggunakan software development kits (SDKs) untuk mengonsumsi data secara real time. Topik ini menjelaskan konsep, manfaat, skenario, aturan penagihan, dan konsumen dari fitur tersebut.
Konsumsi real-time
Konsumsi real-time memungkinkan perangkat lunak pihak ketiga, aplikasi multi-bahasa, produk cloud, dan framework pemrosesan aliran untuk menggunakan SDK guna mengonsumsi data dari Simple Log Service secara real time. Fitur ini membaca dan menulis data lengkap secara berurutan, mirip dengan middleware Kafka. Anda dapat menggunakan pernyataan Structured Process Language (SPL) untuk pemrosesan data, dan hasilnya dikembalikan oleh sisi server. Untuk informasi selengkapnya, lihat Mengonsumsi log berdasarkan aturan.
Baik konsumsi real-time maupun kueri dan analisis digunakan untuk membaca data. Untuk informasi lebih lanjut mengenai perbedaan di antara keduanya, lihat Perbedaan antara konsumsi log dan kueri.
Skenario
Konsumsi real-time cocok untuk skenario seperti pemrosesan aliran dan komputasi real-time. Fitur ini menawarkan latensi rendah, dan data biasanya diproses dalam hitungan detik. Anda dapat menyesuaikan periode retensi data.
Manfaat
Konsumsi real-time menawarkan manfaat berikut:
Penyimpanan Data Terpusat
Simple Log Service memusatkan data dari berbagai mesin. Anda cukup menggunakan SDK untuk mengonsumsi data yang telah dikumpulkan secara real time.
Klasifikasi Data
Anda dapat menggunakan fitur klasifikasi data dari Simple Log Service. Hal ini memungkinkan berbagai aplikasi dan produk untuk mengonsumsi jenis data yang berbeda dari Proyek yang berbeda secara real time.
Aturan penagihan
Jika Logstore menggunakan mode penagihan pay-by-ingested-data, Anda tidak dikenai biaya untuk konsumsi real-time. Namun, jika Anda menarik data dari public endpoint Simple Log Service, Anda akan dikenai biaya untuk outbound internet traffic. Trafik dihitung berdasarkan volume data terkompresi. Untuk informasi selengkapnya, lihat Item yang dapat ditagih dalam mode pay-by-ingested-data. Untuk melihat mode penagihan Logstore, lihat Manage a Logstore.
Jika Logstore menggunakan mode penagihan pay-by-feature, konsumsi real-time dikenai biaya untuk beberapa item yang dapat ditagih, termasuk trafik baca dan tulis serta permintaan. Untuk informasi selengkapnya, lihat Item yang dapat ditagih dalam mode pay-by-feature.
Target konsumsi
Tabel berikut menjelaskan konsumen yang didukung untuk konsumsi real-time di Simple Log Service.
Type | Objective | Deskripsi |
Third-party software | Flume | Anda dapat menggunakan Flume untuk mengonsumsi data dari Simple Log Service secara real time. Untuk informasi selengkapnya, lihat Consume data using Flume. |
Logstash | Anda dapat menggunakan Logstash untuk mengonsumsi data dari Simple Log Service secara real time. Untuk informasi selengkapnya, lihat Consume data using Logstash. | |
QRadar | Sistem Security information and event management (SIEM), seperti QRadar, dapat mengonsumsi data dari Simple Log Service secara real time melalui protokol HTTPS atau Syslog. Untuk informasi selengkapnya, lihat Deliver logs to a SIEM system dan Deliver logs to a SIEM system over Syslog. | |
Multi-language applications | Multi-language applications | Aplikasi yang dikembangkan dalam bahasa seperti Java, Python, dan Go dapat mengonsumsi data dari Simple Log Service sebagai consumers atau consumer groups. Untuk informasi selengkapnya, lihat Consume data using an API dan Consume logs using a consumer group. |
Stream processing | Flink | Anda dapat menggunakan framework stream processing Flink untuk mengonsumsi data dari Simple Log Service secara real time. Untuk informasi selengkapnya, lihat Consume data using Flink. |
Spark | Anda dapat menggunakan framework stream processing Spark untuk mengonsumsi data dari Simple Log Service secara real time. Untuk informasi selengkapnya, lihat Consume data using Spark Streaming. | |
Cloud products | Function Compute | Anda dapat menggunakan Function Compute untuk mengonsumsi data dari Simple Log Service secara real time. Untuk informasi selengkapnya, lihat Consume log data using Function Compute. |
Blink | Anda dapat menggunakan komputasi real-time untuk mengonsumsi data dari Simple Log Service secara real time. Untuk informasi selengkapnya, lihat Consume data using Realtime Compute for Apache Flink. |