Aplikasi, kontainer, dan komponen infrastruktur di dalam kluster terus-menerus menghasilkan volume besar data log yang tersebar, sehingga menyulitkan pengumpulan dan manajemennya. Container Service for Kubernetes (ACK) terintegrasi dengan Simple Log Service (SLS) untuk menyediakan solusi yang menyederhanakan proses manajemen log.
Untuk informasi lebih lanjut tentang fitur dan istilah SLS, lihat Apa itu Simple Log Service dan Glosarium.
Pengenalan komponen pengumpulan log
Komponen pengumpulan log terintegrasi secara mendalam dengan SLS dan menggunakan penemuan otomatis untuk menyederhanakan manajemen log kontainer. Komponen ini mendukung berbagai format, seperti log teks, binary logging, dan data HTTP. Data log dapat disimpan langsung di SLS untuk penyimpanan persisten. Anda dapat memanfaatkan fitur analisis dan kueri real-time dari SLS untuk dengan cepat mengidentifikasi dan menemukan masalah, sehingga meningkatkan efisiensi troubleshooting serta mengurangi biaya O&M. Berikut adalah komponen pengumpulan log yang didukung.
LoongCollector (sebelumnya Logtail): Logtail adalah agen pengumpulan log yang disediakan oleh Simple Log Service. Anda dapat menggunakan Logtail untuk mengumpulkan log dari server seperti instance Elastic Compute Service (ECS) Alibaba Cloud, pusat data (IDC) yang dikelola sendiri, atau server dari penyedia cloud lainnya. Logtail mengumpulkan log dari file tanpa memerlukan modifikasi kode aplikasi, sehingga aplikasi Anda tetap berjalan tanpa gangguan. LoongCollector merupakan agen pengumpulan generasi berikutnya dari Simple Log Service. Sebagai peningkatan dari Logtail, agen ini kompatibel mundur dan menawarkan kinerja yang lebih baik.
Pengumpulan data berbasis Logtail: Logtail adalah agen pengumpulan log yang disediakan oleh Simple Log Service. Anda dapat menggunakan Logtail untuk mengumpulkan log dari berbagai sumber data, seperti instance Elastic Compute Service (ECS) Alibaba Cloud, server di pusat data, dan server dari penyedia layanan cloud pihak ketiga. Logtail mendukung pengumpulan log non-intrusif berdasarkan file log. Anda tidak perlu memodifikasi kode aplikasi, dan pengumpulan log tidak memengaruhi operasional aplikasi Anda.
Prinsip pengumpulan log
Bagian ini menjelaskan dua metode pengumpulan log beserta prosedurnya.
Prosedur pengumpulan
Di dalam kluster ACK, Anda dapat men-deploy komponen pengumpulan log untuk mengirimkan berbagai jenis data log ke SLS guna penyimpanan dan analisis secara aman. Metode ini menyederhanakan konfigurasi dan manajemen serta meningkatkan efisiensi. Prosedur dasarnya adalah sebagai berikut:
Seluruh prosedur mencakup:
Deploy komponen pengumpulan log.
Saat Anda menginstal komponen pengumpulan log untuk kluster Anda, Anda membuat CRD AliyunLogConfig dan men-deploy resource berdasarkan komponen pengumpulan log tersebut. Hal ini mengaitkan AliyunLogConfig di kluster ACK dengan konfigurasi pengumpulan SLS.
Komponen LoongCollector: loongcollector-ds (DaemonSet), loongcollector-operator (Deployment), alibaba-log-configuration (ConfigMap)
Komponen Logtail: logtail-ds (DaemonSet), alibaba-log-controller (Deployment), alibaba-log-configuration (ConfigMap)
Konfigurasikan pengumpulan data. Buat konfigurasi pengumpulan. Komponen pengumpulan log bekerja berdasarkan konfigurasi ini.
Anda dapat mengonfigurasi pengumpulan log melalui Konsol, konfigurasi CRD, atau variabel lingkungan. Untuk informasi lebih lanjut, lihat Kumpulkan log kontainer dari kluster ACK, Kumpulkan stdout dan stderr dari kontainer Kubernetes dalam mode DaemonSet (versi lama), dan Kumpulkan log teks dari kontainer Kubernetes dalam mode Sidecar.
Kirimkan log ke SLS. Komponen pengumpulan log mengunggah data log ke SLS secara real-time.
Metode pengumpulan
Di dalam kluster Kubernetes, terdapat dua metode pengumpulan log: Sidecar dan DaemonSet. Metode-metode ini memiliki prosedur berbeda dan cocok untuk skenario yang berbeda.
DaemonSet: Komponen pengumpulan log dideploy di namespace
kube-systemdan dijalankan sebagai DaemonSet. Pod pengumpulan log pada setiap node mengumpulkan data dari semua pod di node tersebut, termasuk output standar dan file. Untuk informasi lebih lanjut, lihat Kumpulkan log kontainer dari kluster ACK.Sidecar
Setiap pod aplikasi menjalankan kontainer pengumpulan log yang berbagi volume log dengan kontainer utama. Untuk informasi lebih lanjut, lihat Kumpulkan log teks dari kontainer Kubernetes dalam mode Sidecar.
Klasifikasi | Metode DaemonSet | Metode Sidecar |
Skenario | Cocok untuk kluster dengan log yang terklasifikasi jelas dan fungsi yang relatif sederhana.
| Cocok untuk kluster hibrida berskala besar. Metode ini berguna ketika Anda memerlukan konfigurasi pengumpulan log yang berbeda untuk setiap pod. Namun, metode ini dapat menghasilkan volume log yang besar per pod dan mengonsumsi resource signifikan. |
Penggunaan resource | Satu pod pengumpulan log dijalankan di setiap node. | Satu kontainer pengumpulan log dijalankan di setiap pod. |
Deployment dan O&M | Anda hanya perlu memelihara DaemonSet. | Kontainer pengumpulan log harus dideploy untuk setiap pod yang memerlukan pengumpulan log. |
Tipe log yang dikumpulkan | Output standar dan log teks. | Log teks. |
Tipe log yang didukung
Di dalam kluster ACK, Anda dapat mengumpulkan data log dari berbagai sumber dan mengirimkannya secara aman ke SLS untuk penyimpanan dan analisis.
Tipe log | Deskripsi | Referensi |
Log aplikasi (kontainer) | Anda dapat dengan cepat mengumpulkan log kontainer dari kluster ACK, termasuk output standar kontainer dan file teks dari dalam kontainer. |
|
Log komponen lapisan kontrol | Anda dapat mengumpulkan log dari komponen lapisan kontrol, seperti API Server, kube-scheduler, kube-controller-manager, cloud-controller-manager, Controlplane-Events, dan ALB Ingress Controller. Log yang dikumpulkan dikirim ke Logstore tertentu. Hal ini memfasilitasi manajemen dan analisis terpusat atas status operasional komponen lapisan kontrol. Ini juga membantu Anda dengan cepat melakukan troubleshooting, memantau kesehatan komponen, serta memverifikasi efek dari konfigurasi parameter kustom. Setiap Logstore SLS berkorespondensi dengan satu komponen lapisan kontrol Kubernetes. | Kumpulkan log komponen lapisan kontrol kluster ACK yang dikelola |
Log komponen jaringan |
| |
Log komponen bidang data | Anda dapat mengumpulkan log untuk plugin, seperti plugin penyimpanan, jaringan Terway, jaringan Flannel, dan Auto Scaling. |
Batasan
Batasan | Deskripsi |
Versi kluster |
|
| |
Penggunaan aktual bergantung pada laju pengumpulan, jumlah direktori dan file yang dipantau, serta tingkat kemacetan pengiriman. Pastikan penggunaan aktual kurang dari 80% dari batas. Untuk informasi lebih lanjut tentang batasan, lihat Batasan Logtail. |
Penagihan
Biaya yang timbul saat Anda menggunakan SLS di kluster ACK merupakan jumlah dari biaya manajemen kluster dan biaya SLS.
Biaya manajemen kluster: Biaya ini dikenakan oleh ACK. Hanya Kluster ACK Pro yang dikenai biaya ini. Kluster ACK Basic dan Kluster khusus ACK tidak dikenai biaya. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.
Biaya SLS: Biaya ini ditagih berdasarkan skema pay-as-you-go dan dikenakan oleh SLS. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.
FAQ
Bagaimana cara menyalin log dari satu proyek ke proyek lain?
Untuk menyalin log akses dari logstore-a di project-a ke logstore-b yang baru dibuat di project-b untuk kueri dan analisis terpadu di project-b, lihat Replikasi data Logstore.
Apa yang harus saya lakukan jika status pengumpulan log abnormal?
Jika status pengumpulan abnormal saat Anda menggunakan Logtail untuk mengumpulkan log dari kontainer, seperti kontainer standar atau Kubernetes, Anda dapat mengikuti petunjuk dalam Cara melakukan troubleshooting pengumpulan log kontainer yang abnormal untuk mengatasi masalah, memeriksa status operasional, dan melakukan operasi O&M lainnya.
FAQ tentang kehilangan log, penghapusan log, dan pengurangan biaya penyimpanan log
Untuk informasi tentang cara mengubah periode retensi log dan cara menonaktifkan pengumpulan log, lihat Masalah terkait Logstore.
Masalah terkait Logtail
Untuk informasi tentang latensi pengumpulan log Logtail, cara mengumpulkan log historis, dan berapa lama perubahan konfigurasi Logtail berlaku, lihat Masalah dasar Logtail.