Simple Log Service:Troubleshoot container log collection issues

FAQ: Mengapa tidak ada heartbeat setelah deploy Docker/LoongCollector?

Jika LoongCollector atau Logtail tidak menampilkan heartbeat atau gagal mendaftar ke kelompok mesin setelah deployment Docker, penyebab utamanya biasanya adalah konfigurasi identifier pengguna (AliUID) yang tidak tersedia.

Solusi:

1. Di mesin host, buat direktori /etc/ilogtail/users/.

   mkdir -p /etc/ilogtail/users/

2. Di direktori /etc/ilogtail/users/, buat file kosong dengan nama sesuai ID akun Alibaba Cloud Anda.

   touch /etc/ilogtail/users/<your-alibaba-cloud-account-id>

3. Saat menjalankan kontainer LoongCollector atau Logtail, mount direktori tersebut sebagai read-only dengan menambahkan flag berikut:

   -v /etc/ilogtail/users:/etc/ilogtail/users:ro

4. Restart kontainer LoongCollector atau Logtail.

Verifikasi: Login ke Konsol SLS, buka Resources > Machine Groups, lalu buka kelompok mesin target. Pada halaman Machine Group Configurations, pastikan status heartbeat kelompok mesin telah berubah menjadi OK.

FAQ: Mengapa kelompok mesin hanya menampilkan satu server padahal beberapa server Docker Swarm melaporkan IP yang sama?

Penyebab: Di kluster Docker Swarm, beberapa server dapat melaporkan alamat IP internal yang sama melalui jaringan kontainer. Jika server-server tersebut juga menggunakan nilai variabel lingkungan ALIYUN_LOGTAIL_USER_DEFINED_ID yang sama, sistem tidak dapat membedakannya, sehingga Machine Groups hanya menampilkan satu entri.

Solusi 1: Atur variabel lingkungan ALIYUN_LOGTAIL_USER_DEFINED_ID yang unik untuk kontainer Logtail di setiap server.

Gunakan nilai berbeda di setiap server dan pastikan nilainya sesuai dengan konfigurasi Machine Groups yang sesuai. Contohnya:

-e ALIYUN_LOGTAIL_USER_DEFINED_ID=<unique-id-for-this-server>

Solusi 2: Atur variabel lingkungan ALIYUN_LOGTAIL_WORKING_IP untuk menentukan alamat IP unik secara manual untuk setiap server.

Gunakan nilai yang secara unik mengidentifikasi setiap host, seperti alamat IP publik host atau alamat IP jaringan internal yang unik di seluruh server:

-e ALIYUN_LOGTAIL_WORKING_IP=<unique-ip-for-this-server>

Kelompok mesin tidak mencakup semua node kontainer

Gejala: Heartbeat kelompok mesin normal, tetapi pengumpulan log dari beberapa kontainer berhenti.

Masalah ini dapat terjadi ketika kontainer berjalan di server yang tidak termasuk dalam Machine Groups.

Langkah troubleshooting:

1. Di semua server terkait, jalankan perintah berikut untuk mengidentifikasi node tempat kontainer sebenarnya berjalan:

   docker ps -a | grep <container-name>

2. Jika kontainer berjalan di server yang belum ditambahkan ke kelompok mesin, tambahkan alamat IP server tersebut ke Machine Groups di Konsol SLS.

FAQ: Mengapa saya tidak dapat menemukan Pod di pratinjau metadata kontainer, atau mengapa log tidak dapat dikumpulkan dari emptyDir?

Penyebab: Logtail yang berjalan dalam mode DaemonSet tidak dapat langsung mengakses penyimpanan sementara emptyDir di dalam kontainer. Hal ini mencegah Logtail membaca file log dan mengekstraksi metadata kontainer, sehingga Pod tidak muncul di pratinjau metadata kontainer Preview.

Solusi 1 (Direkomendasikan): Arahkan output log aplikasi ke standard output (stdout/stderr).

1. Modifikasi aplikasi Anda agar menulis log ke stdout atau stderr, bukan ke file.

2. Di Konsol SLS, konfigurasikan path pengumpulan untuk menggunakan path log Kubernetes standar:

   /logtail_host/var/log/pods/<namespace>_<pod-name>-<uid>/<container-name>/*.log

Solusi 2: Jika aplikasi Anda harus menulis log ke file, ubah mount volume log dari emptyDir ke hostPath atau PVC.

1. Dalam spesifikasi Pod Anda, ganti volume emptyDir dengan definisi hostPath atau PVC agar log disimpan di path yang dapat diakses dari host.

2. Sesuaikan path pengumpulan SLS agar mengarah ke path mount aktual di host, misalnya:

   /logtail_host/var/log/your-app/*.log

FAQ: Bagaimana cara menangani kegagalan pembuatan file atau error permission saat mengumpulkan log kontainer?

Gejala: Pesan error menunjukkan bahwa Logtail perlu membuat file kosong tertentu di dalam kontainer, tetapi pembuatan file gagal atau dilaporkan error permission.

Solusi:

1. Buat secara manual file kosong yang disebutkan dalam pesan error di dalam kontainer.

2. Atur permission file menjadi -rw-r--r-- (644):

   chmod 644 <file-path>

3. Restart kontainer.

Alternatif: Jika masalah tetap berlanjut setelah langkah-langkah di atas, mount direktori log kontainer ke mesin host dan konfigurasikan SLS untuk mengumpulkan log dari path host yang sesuai. Pendekatan ini lebih stabil dibandingkan pengumpulan file di dalam kontainer.

FAQ: Bagaimana cara menangani error "parse cri docker line error: invalid CRI log, timestamp not found"?

Penyebab: Penguraian log gagal. Error ini umumnya disebabkan oleh konfigurasi log multiline yang salah.

Solusi:

1. Periksa dan sesuaikan ekspresi reguler awal baris, atau nonaktifkan mode multiline:

   • Dalam konfigurasi YAML: Beri komentar pada bagian konfigurasi multiline.

   • Di Konsol SLS: Buka konfigurasi Logtail dan nonaktifkan mode multiline.

2. Verifikasi bahwa K8s Namespace Regex dan bidang format lainnya sudah benar. Jika Anda perlu menentukan beberapa namespace, pastikan dipisahkan dengan delimiter yang benar.

3. Setelah memodifikasi konfigurasi YAML, terapkan kembali agar perubahan berlaku:

   kubectl apply -f <your-config-file>.yaml

Login ke kontainer Logtail

• Docker Standar

  1. Di host, jalankan perintah berikut untuk menemukan kontainer Logtail.

     docker ps | grep logtail

     Output-nya mirip seperti berikut:

     223****6e        registry.cn-hangzhou.aliyuncs.com/log-service/logtail                             "/usr/local/ilogta..."   8 days ago          Up 8 days                               logtail-iba

  2. Jalankan perintah berikut untuk memulai shell bash di kontainer Logtail.

     docker exec -it 223****6e  bash

     Ganti 223****6e dengan ID kontainer aktual.

• Kubernetes

  1. Jalankan perintah berikut untuk menemukan pod Logtail.

     kubectl get po -n kube-system | grep logtail

     Output-nya mirip seperti berikut:

     logtail-ds-****d                                             1/1       Running    0          8d
     logtail-ds-****8                                             1/1       Running    0          8d

  2. Jalankan perintah berikut untuk login ke pod tersebut.

     kubectl exec -it -n kube-system logtail-ds-****d -- bash

     Ganti logtail-ds-****d dengan ID pod aktual.

Lihat log waktu proses Logtail

Logtail menyimpan log-nya di direktori /usr/local/ilogtail/ di kontainer Logtail. File log-nya adalah ilogtail.LOG dan logtail_plugin.LOG.

1. Login ke kontainer Logtail. Untuk informasi lebih lanjut, lihat Log on to a Logtail container.

2. Masuk ke direktori /usr/local/ilogtail/.

   cd /usr/local/ilogtail

3. Lihat file ilogtail.LOG dan logtail_plugin.LOG.

   cat ilogtail.LOG
   cat logtail_plugin.LOG

Versi Logtail, alamat IP, dan waktu startup

1. Di host, jalankan perintah berikut untuk melihat versi, alamat IP, dan waktu startup Logtail.

   Informasi tersebut disimpan di file /usr/local/ilogtail/app_info.json di kontainer Logtail.

   kubectl exec logtail-ds-****k -n kube-system cat /usr/local/ilogtail/app_info.json

   Output-nya mirip seperti berikut:

   {
      "UUID" : "",
      "hostname" : "logtail-****k",
      "instance_id" : "0EB****_172.20.4.2_1517810940",
      "ip" : "172.20.4.2",
      "logtail_version" : "0.16.2",
      "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
      "update_time" : "2018-02-05 06:09:01"
   }

Dapatkan informasi troubleshooting untuk log Pod di kluster ACK

Jika pengumpulan log untuk Pod di kluster ACK tidak normal, Anda dapat menggunakan langkah-langkah berikut untuk mendapatkan informasi dasar yang diperlukan untuk troubleshooting mandiri atau untuk diberikan kepada dukungan teknis.

Langkah 1: Temukan nama Pod Logtail atau LoongCollector.

kubectl get pods -n kube-system | grep loongcollector

Langkah 2: Dapatkan alamat IP instans Logtail atau LoongCollector dari file app_info.json.

kubectl exec <pod-name> -n kube-system cat /usr/local/ilogtail/app_info.json

Bidang ip dalam output JSON yang dikembalikan adalah alamat IP instans Logtail.

Saat meminta dukungan, berikan informasi berikut untuk membantu troubleshooting:

• Nama Project SLS

• Nama konfigurasi pengumpulan Logtail

• Nama Pod target

• Nama kontainer target