SLS menyediakan fitur konsumsi log dan kueri log. Keduanya membaca data log, tetapi berbeda dalam latensi, biaya, dan kasus penggunaan.
Konsumsi log
Bekerja seperti Kafka: membaca/menulis data secara sekuensial (FIFO) pada seluruh data.
-
Setiap Logstore memiliki satu atau beberapa shard. Data ditulis ke shard secara acak.
-
Log dibaca dalam batch dari shard tertentu sesuai urutan penulisan.
-
Tentukan posisi awal (kursor) berdasarkan waktu penerimaan log untuk memulai pembacaan batch dari sebuah shard.
Kueri log (LogSearch)
Melakukan kueri dan analisis terhadap volume log yang besar. Mendukung kueri kondisional dan statistik berbasis SQL.
-
Memfilter data dengan kondisi kueri.
-
Menggabungkan kondisi menggunakan operator AND, NOT, dan OR serta mengumpulkan statistik berbasis SQL dari hasilnya.
-
Kueri mencakup semua shard.
Perbedaan
|
Fitur |
Kueri log |
Konsumsi log |
|
Pencarian kata kunci |
Didukung |
Tidak didukung |
|
Membaca jumlah data kecil |
Cepat |
Cepat |
|
Membaca seluruh data |
Lambat (100 ms per 100 log). Tidak disarankan. |
Cepat (10 ms per 1 MB). Disarankan. |
|
Membedakan pembacaan berdasarkan topik |
Perbedaan |
Tidak didukung. Shard adalah satu-satunya pengenal. |
|
Membedakan pembacaan berdasarkan shard |
Tidak. Kueri mencakup semua shard. |
Wajib. Tentukan shard target untuk setiap pembacaan. |
|
Biaya |
Tinggi |
Rendah |
|
Skenario |
Monitoring, troubleshooting, dan analisis. |
Pemrosesan data lengkap: pemrosesan aliran dan pemrosesan batch. |