Simple Log Service:Diagnosis dan pantau status waktu proses LoongCollector

Prasyarat

• Collector telah dikonfigurasikan untuk mengumpulkan log. Kumpulkan log teks dari host.

• Aktifkan log penting untuk proyek tujuan

  Aktifkan log layanan yang diperlukan. Aktifkan log layanan.

  1. Masuk ke Konsol Simple Log Service. Di daftar proyek, klik proyek tujuan. Pada halaman detail proyek, klik tab Service Log, lalu klik Enable Service Logs.

  2. Pada panel Enable Detailed Logs, pilih Important Logs dan Job Operational Logs, lalu klik OK.

     • Proyek bernama log-service-{user-id}-{region} dibuat secara otomatis di Wilayah tujuan.

     • Ingesti, penyimpanan, kueri, dan analisis log penting serta log operasional pekerjaan tidak dikenai biaya. Transformasi data dan pengiriman data ditagih berdasarkan skema bayar sesuai penggunaan.

Diagnosis masalah waktu proses

Tersedia dua mode diagnostik:

• Advanced Diagnostics (Direkomendasikan): Menampilkan dasbor pengecualian dengan pengecualian terkait collector dan mendukung kueri dalam rentang waktu lebih panjang.

• Basic Diagnostics: Menampilkan pengecualian pengumpulan dari satu jam terakhir.

Kasus Penggunaan

• Status collector tidak normal: kegagalan heartbeat, proses tidak aktif, atau kesalahan sertifikat SSL.

• Kegagalan pengumpulan log: log tidak terkumpul, latensi tinggi, atau kesalahan penguraian seperti ketidaksesuaian regex.

• Kesalahan konfigurasi: jalur file salah, IP kelompok mesin tidak cocok, atau masalah izin cross-account.

• Hambatan kinerja: laju pengumpulan mendekati atau melebihi batas default (20 MB/detik), menyebabkan log terbuang.

• Masalah pengumpulan log kontainer: restart Pod yang sering atau rotasi log cepat menyebabkan pengumpulan tidak lengkap.

• Masalah plugin dan pengumpulan kustom: kegagalan plugin kustom (misalnya, penguraian Grok) atau kesalahan pengumpulan dari sumber data HTTP.

• Masalah keandalan data: kehilangan log akibat LoongCollector tidak aktif atau rotasi log terlalu cepat.

• Parameter konfigurasi pengumpulan perlu diubah: parameter penguraian seperti kondisi pencocokan multi-baris tidak dapat diedit langsung di daftar konfigurasi pengumpulan. Buka alur modifikasi untuk konfigurasi tersebut dan ubah pada langkah penguraian log.

• Mengumpulkan beberapa jalur dalam satu konfigurasi: satu konfigurasi pengumpulan hanya mendukung satu jalur log dan pola nama file. Beberapa jalur berbeda dalam satu konfigurasi tidak didukung. Buat konfigurasi pengumpulan terpisah untuk setiap jalur dan terapkan konfigurasi tersebut ke kelompok mesin yang sama.

• Validasi badan permintaan gagal saat membuat konfigurasi pengumpulan melalui API atau Terraform: jika permintaan pembuatan mengembalikan kesalahan validasi badan permintaan seperti PostBodyInvalid, periksa apakah semua bidang dalam inputDetail tersedia dan bertipe benar. Khususnya, localStorage harus berupa Nilai Boolean (true atau false).

• Koeksistensi dengan perangkat lunak pengumpulan log lain: troubleshooting penggunaan port, konflik proses, atau duplikasi pengumpulan saat LoongCollector berjalan bersama perangkat lunak pengumpulan lain seperti Filebeat pada server yang sama.

• Tidak jelas metode pengumpulan mana yang menghasilkan log: saat asal log di LogStore tidak diketahui, tentukan apakah log tersebut dikumpulkan oleh LoongCollector/Logtail atau ditulis langsung oleh aplikasi melalui SDK. Periksa apakah konfigurasi pengumpulan yang sesuai ada di server dan apakah kode aplikasi berisi logika penulisan SDK.

• Tipe data target berada di luar cakupan pengumpulan yang didukung: pastikan objek target, seperti metrik kinerja aplikasi atau metrik aplikasi .NET, merupakan tipe pengumpulan yang didukung oleh LoongCollector, sehingga target yang tidak didukung tidak disalahartikan sebagai kegagalan pengumpulan.

• Log stdin atau stdout kontainer tidak terkumpul: kasus troubleshooting saat log stdin dan stdout kontainer di kluster ACK tidak terkumpul.

• Backlog memori atau pembatasan kecepatan saat menulis langsung melalui SDK: saat aplikasi menulis log langsung melalui Java SDK atau Producer dan memori terus meningkat, data menumpuk, atau penulisan dibatasi kecepatannya, lakukan troubleshooting bersama kuota penulisan LogStore dan laju pembuatan log di sisi aplikasi.

Prosedur

1. Masuk ke Konsol Simple Log Service. Di daftar proyek, klik proyek tujuan.

2. Klik Log Storage. Di daftar LogStore, arahkan kursor ke LogStore target dan klik ikon .

3. Klik Advanced Diagnostics atau Basic Diagnostics untuk melihat informasi diagnostik.

4. Lihat hasil diagnostik.

   Diagnostik dasar

   Panel Log Collection Error mencantumkan semua kesalahan pengumpulan LoongCollector untuk LogStore tersebut. Klik kode kesalahan untuk melihat detailnya. Kesalahan pengumpulan data umum.

   Diagnostik lanjutan

   Halaman LoongCollector/Logtail Exception Monitoring menampilkan data deret waktu seperti Active Collection Agent Count dan Complete Error Information. Untuk detail dasbor, lihat Lihat laporan data. Untuk kode kesalahan, lihat Kesalahan pengumpulan data umum.

5. Setelah menyelesaikan masalah, periksa adanya kesalahan baru. Kesalahan historis tetap terlihat hingga masa berlakunya habis — abaikan kesalahan tersebut dan pastikan tidak ada kesalahan baru yang muncul. LoongCollector melaporkan kesalahan setiap 10 menit.

   Untuk melihat log lengkap yang terbuang akibat kegagalan penguraian, periksa log waktu proses LoongCollector:

   Untuk host: file /usr/local/ilogtail/loongcollector.LOG di server.

   Untuk kontainer: file /usr/local/ilogtail/loongcollector.LOG di dalam kontainer.

Pantau status waktu proses

SLS menyediakan kebijakan peringatan bawaan untuk memantau collector secara real time:

• Pantau heartbeat collector

  Kueri LogStore internal-diagnostic_log untuk log dengan __topic__:logtail_status guna menghitung jumlah mesin dengan heartbeat normal. Konfigurasikan aturan peringatan yang dipicu saat jumlah heartbeat turun di bawah nilai yang diharapkan, untuk mengidentifikasi mesin yang mati atau mengalami masalah jaringan.

• Siapkan peringatan untuk pengecualian pengumpulan

  Jalankan kueri __topic__: logtail_alarm untuk menganalisis pengecualian dalam 15 menit terakhir, seperti file tidak dapat dibaca, izin tidak mencukupi, dan kegagalan penguraian. Hal ini membantu Anda mengidentifikasi dan memperbaiki masalah konfigurasi guna mencegah kehilangan log.

• Terima peringatan untuk hambatan kinerja

  Gunakan dasbor pemantauan pengecualian Logtail untuk melihat jumlah LoongCollector aktif, riwayat restart, dan pesan kesalahan. Pantau status waktu proses dan penggunaan sumber daya (CPU, memori) untuk mengidentifikasi hambatan kinerja atau restart tidak normal.

• Pantau pengumpulan log terpusat

  Gunakan dasbor pemantauan pengumpulan file LoongCollector untuk melacak jumlah file yang dikumpulkan, latensi rata-rata, dan laju kegagalan penguraian. Kelola status pengumpulan log secara terpusat dalam skenario multi-akun atau multi-Wilayah.

Prosedur

1. Konfigurasikan kebijakan aksi untuk menentukan cara pengiriman notifikasi saat status peringatan berubah.

   1. Masuk ke Konsol Simple Log Service.

   2. Di daftar proyek, klik proyek tempat Anda mengaktifkan log penting.

   3. Di panel navigasi kiri, klik Alerts. Pada halaman Alert Center, pilih Notification Management > Action Policy.

   4. Di daftar kebijakan aksi, temukan kebijakan aksi sls.app.logtail.builtin dan klik Modify di kolom Actions.

   5. Pada kotak dialog Edit Action Policy, pilih dan konfigurasikan saluran notifikasi sesuai kebutuhan Anda. Saluran notifikasi. Lalu, klik Confirm.

2. Buat aturan peringatan yang dipicu saat status waktu proses LoongCollector memenuhi ambang batas tertentu.

   1. Pada halaman Alert Center, klik tab Alert Rules, lalu klik ikon di samping Create Alert.

   2. Klik Create from Template. Di panel Create from Template, klik Logtail Fault Monitor di bawah All Templates, lalu klik kartu target.

   3. Di panel Create Alert, tinjau konfigurasi. Aturan peringatan bawaan mencakup parameter yang telah ditetapkan. Klik OK. Buat aturan peringatan.