Simple Log Service:Diagnosis dan Pemantauan LoongCollector

Prasyarat

• Anda telah mengumpulkan log menggunakan LoongCollector. Untuk informasi selengkapnya, lihat Mengumpulkan log teks secara berkelanjutan dari host.

• Aktifkan log penting untuk Project tujuan

  Bagian ini menjelaskan cara mengaktifkan fitur tersebut. Untuk informasi selengkapnya tentang service log, lihat Aktifkan service log.

  1. Masuk ke Konsol Simple Log Service. Di daftar Project, klik Project tujuan. Pada halaman detail Project tersebut, buka tab Service Log, lalu klik Enable Service Logs.

  2. Pada panel Enable Service Log, pilih Important Log dan Job Operational Log, lalu klik OK.

     • Operasi ini secara otomatis membuat Project bernama log-service-{user-ID}-{region} di Wilayah tujuan.

     • Ingesti, penyimpanan, kueri, dan analisis log penting serta job operational log tidak dikenai biaya. Anda hanya dikenai biaya berdasarkan skema pay-as-you-go untuk operasi seperti transformasi data dan pengiriman data.

Diagnostik waktu proses

Fitur diagnostik tersedia dalam dua edisi: Advanced Diagnostics dan Basic Diagnostics.

• Advanced Diagnostics (Direkomendasikan): Menyediakan dasbor diagnostik yang menampilkan pengecualian terkait LoongCollector secara jelas dan memungkinkan Anda melakukan kueri informasi pengecualian dalam periode yang lebih panjang.

• Basic Diagnostics: Menyediakan informasi tentang pengecualian pengumpulan yang terjadi dalam satu jam terakhir.

Skenario

• Status LoongCollector tidak normal: kegagalan heartbeat, proses aktif tidak berjalan, atau pengecualian sertifikat SSL.

• Pengecualian pengumpulan log: Log tidak terkumpul, latensi pengumpulan tinggi, atau kegagalan parsing seperti kesalahan pencocokan ekspresi reguler.

• Kesalahan konfigurasi: Jalur file salah, alamat IP kelompok mesin tidak cocok, atau masalah izin cross-account.

• Hambatan kinerja: Laju pengumpulan mendekati atau melebihi batas default, misalnya 20 MB/s, sehingga menyebabkan log terbuang.

• Masalah pengumpulan log kontainer: Pod sering restart atau rotasi log terlalu cepat sehingga menyebabkan pengumpulan tidak lengkap.

• Masalah plugin dan pengumpulan kustom: Kegagalan pada plugin kustom, seperti plugin parsing Grok, atau kegagalan pengumpulan sumber data HTTP.

• Masalah keandalan data: Kehilangan log yang terjadi saat LoongCollector tidak berjalan atau rotasi log terlalu cepat.

Prosedur

1. Masuk ke Konsol Simple Log Service. Di daftar Project, klik Project tujuan.

2. Klik Log Storage. Di daftar Logstore, arahkan pointer ke Logstore tujuan, lalu klik ikon .

3. Klik Advanced Diagnostics atau Basic Diagnostics untuk melihat informasi diagnostik.

4. Lihat informasi diagnostik.

   Basic diagnostics

   Panel Log Collection Errors menampilkan daftar semua kesalahan pengumpulan LoongCollector untuk Logstore tersebut. Anda dapat mengklik kode kesalahan untuk melihat detailnya. Untuk informasi selengkapnya, lihat Kesalahan pengumpulan data umum di Simple Log Service.

   Advanced diagnostics

   Pada halaman LoongCollector/Logtail Exception Monitoring, lihat informasi seperti Active Clients dan All Error Information. Untuk informasi selengkapnya tentang dasbor Collection Exception Monitoring, lihat Lihat laporan data. Untuk informasi selengkapnya tentang kode kesalahan, lihat Kesalahan pengumpulan data umum di Simple Log Service.

5. Setelah menyelesaikan masalah, periksa apakah ada kesalahan baru. Kesalahan historis tetap muncul hingga masa berlakunya habis dan dapat diabaikan. Pastikan tidak ada kesalahan baru setelah perbaikan dilakukan. LoongCollector melaporkan kesalahan setiap 10 menit.

   Untuk melihat log lengkap yang terbuang akibat kegagalan parsing, Anda dapat memeriksa log operasional LoongCollector. Jalurnya sebagai berikut:

   Skenario Host: Di file /usr/local/ilogtail/loongcollector.LOG pada server.

   Skenario Kontainer: Di file /usr/local/ilogtail/loongcollector.LOG dalam kontainer.

Pemantauan waktu proses

Simple Log Service menyediakan kebijakan peringatan bawaan untuk memantau LoongCollector secara real time. Anda dapat mengonfigurasi kebijakan ini untuk tujuan pemantauan berikut:

• Memantau LoongCollector terhadap anomali heartbeat

  Lakukan kueri log di Logstore internal-diagnostic_log dengan kondisi pencarian __topic__:logtail_status untuk menghitung jumlah mesin yang memiliki heartbeat LoongCollector normal. Kemudian, konfigurasikan Aturan Peringatan untuk memicu peringatan jika jumlah heartbeat turun di bawah nilai yang diharapkan. Hal ini membantu Anda menangani masalah pada mesin yang mati atau mengalami gangguan jaringan.

• Buat peringatan untuk pengecualian pengumpulan LoongCollector

  Jalankan kueri __topic__: logtail_alarm untuk menganalisis jumlah pengecualian berbagai jenis yang terjadi dalam 15 menit terakhir. Pengecualian tersebut dapat mencakup file yang tidak dapat dibaca, izin tidak mencukupi, dan kegagalan parsing. Hal ini membantu Anda segera mengidentifikasi dan menyelesaikan masalah konfigurasi guna mencegah kehilangan log.

• Terima peringatan dini untuk hambatan kinerja

  Gunakan dasbor Logtail Exception Monitoring untuk memantau status waktu proses dan penggunaan resource Logtail, seperti CPU dan memori. Dasbor ini menampilkan jumlah LoongCollector aktif, daftar restart, dan informasi kesalahan lengkap. Hal ini membantu Anda mengidentifikasi hambatan kinerja atau restart tidak normal.

• Pantau pengumpulan log terpusat

  Gunakan dasbor LoongCollector File Collection Monitoring untuk mengelola status pengumpulan log secara terpusat di beberapa akun atau Wilayah. Dasbor ini menampilkan metrik seperti jumlah file yang dikumpulkan, latensi rata-rata, dan laju kegagalan parsing. Hal ini membantu memastikan kelangsungan pengumpulan.

Prosedur

1. Konfigurasikan Action Policy untuk menentukan cara pengiriman notifikasi saat status peringatan berubah.

   1. Masuk ke Konsol Simple Log Service.

   2. Di daftar Project, temukan Project tempat Anda mengaktifkan log penting dan klik nama Project tersebut.

   3. Di panel navigasi kiri, klik Alerts. Pada halaman Alert Center, pilih Alert Management > Action Policy.

   4. Di daftar action policy, temukan Action Policy sls.app.logtail.builtin, lalu klik Modify di kolom Actions.

   5. Pada dialog Edit Action Policy, pilih dan konfigurasikan saluran notifikasi sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Metode notifikasi. Lalu, klik OK.

2. Buat Alert Rule untuk menentukan kondisi pemicu peringatan saat status waktu proses LoongCollector mencapai ambang batas tertentu.

   1. Pada halaman Alert Center, klik Alert Rules, lalu klik ikon di samping Create Alert Rule.

   2. Klik Create from Template. Pada panel Create from Template, di bawah All Templates, klik Logtail Error Monitoring. Lalu, pada panel yang muncul di sebelah kanan, klik kartu aturan yang ingin Anda buat.

   3. Pada panel Create Alert Rule, tinjau konfigurasi. Aturan pemantauan peringatan bawaan telah memiliki parameter yang telah ditetapkan. Klik OK. Untuk informasi selengkapnya tentang parameter konfigurasi, lihat Buat aturan peringatan.