LoongCollector adalah collector data generasi berikutnya untuk Simple Log Service (SLS) yang menggabungkan performa, stabilitas, dan programmabilitas untuk membangun pipeline observabilitas. Berbeda dengan collector log tradisional yang hanya mendukung satu skenario, LoongCollector mengumpulkan, memproses, merutekan, dan mengirimkan logs, metrics, traces, events, serta profiles melalui satu agen terpadu.
Skema pengumpulan
LoongCollector mendukung metode pengumpulan data berikut:
-
Kumpulkan log teks dari host: Kumpulkan log dari file pada host.
-
Kumpulkan log kontainer dari kluster Kubernetes: Kumpulkan log dari kontainer dalam kluster Anda.
-
Kumpulkan data HTTP: Kumpulkan isi body dari permintaan HTTP.
-
Kumpulkan hasil kueri SQL: Kumpulkan hasil dari kueri SQL tertentu.
Semua skenario yang didukung tercantum dalam Pengumpulan data log.
Keunggulan utama
Integrasi pengumpulan on-device
Satu agen LoongCollector menangani logs, metrics, traces, events, dan profiles secara end-to-end. Di lingkungan Kubernetes, agen ini menggunakan Container Runtime Interface (CRI) API untuk secara otomatis menyambungkan label metadata seperti Namespace, Pod, dan Container ke data yang dikumpulkan tanpa perlu mengubah konfigurasi kontainer.
Pipeline programmable yang fleksibel
LoongCollector menggabungkan Structured Process Language (SPL) dengan mesin plugin multi-bahasa menjadi sistem pipeline yang sepenuhnya programmable.
Pilih plugin native untuk efisiensi eksekusi dan lengkapi dengan plugin extended, atau gunakan mesin SPL untuk cakupan operator yang komprehensif atas data kompleks.
|
Programmable Engine |
Klasifikasi |
Fitur |
|
Plugin native |
Implementasi C++. Performa tinggi, overhead sumber daya rendah, dan cakupan operator yang relatif lengkap. |
|
|
Plugin extended |
Implementasi Go. Performa tinggi, overhead sumber daya rendah, dan cakupan operator yang relatif lengkap. |
|
|
Mesin SPL |
Implementasi C++. Performa tinggi, overhead sumber daya rendah, model kolom dengan eksekusi vektorisasi, lebih dari 100 operator, serta desain pipeline untuk pemrosesan data kompleks. |
Performa tinggi dan keandalan
LoongCollector memberikan pengumpulan data observabilitas yang stabil dan efisien untuk sistem terdistribusi berskala besar.
-
Performa tinggi: Proses inti bebas lock, arsitektur berbasis event, dan throughput single-thread mencapai ratusan MB/detik pada skenario inti.
-
Keandalan tinggi: Penjadwalan fair berbasis time-slice, kontrol backpressure berbasis queue-watermark, isolasi data pipeline multi-tenant, dan streaming data zero-copy.
-
Siap produksi pada skala besar: Edisi komersial telah diterapkan pada puluhan juta instans di Alibaba Group, Ant Group, dan pelanggan cloud publik, serta telah teruji dalam promosi penjualan online dan skenario ekstrem.