Simple Log Service:Kumpulkan log teks pod Kubernetes (mode sidecar)

1. Modifikasi konfigurasi YAML pod

1. Definisikan volume bersama

   Di spec.template.spec.volumes, tambahkan tiga volume bersama pada level yang sama dengan containers:

   volumes:
     # Direktori log bersama (ditulis oleh kontainer aplikasi, dibaca oleh sidecar)
     - name: ${shared_volume_name} # <-- Nama harus sesuai dengan nama di volumeMounts
       emptyDir: {}
     # Direktori sinyal untuk komunikasi antar-kontainer (untuk mulai/berhenti mulus)
     - name: tasksite
       emptyDir:
         medium: Memory  # Gunakan memori sebagai media untuk performa lebih baik
         sizeLimit: "50Mi"
     # Konfigurasi zona waktu host bersama: Menyinkronkan zona waktu untuk semua kontainer dalam pod
     - name: tz-config # <-- Nama harus sesuai dengan nama di volumeMounts
       hostPath:
         path: /usr/share/zoneinfo/Asia/Shanghai  # Ubah zona waktu sesuai kebutuhan
   

2. Konfigurasikan pemasangan kontainer aplikasi

   Di bagian volumeMounts kontainer aplikasi Anda, seperti your-business-app-container, tambahkan pemasangan volume berikut:

   Pastikan kontainer aplikasi menulis log ke direktori ${shared_volume_path} agar LoongCollector dapat mengumpulkannya.

   volumeMounts:
     # Pasang volume log bersama ke direktori output log aplikasi
     - name: ${shared_volume_name}
       mountPath: ${shared_volume_path}  # Contoh: /var/log/app
     # Pasang direktori komunikasi
     - name: tasksite
       mountPath: /tasksite  # Direktori bersama untuk komunikasi dengan kontainer LoongCollector
     # Pasang file zona waktu
     - name: tz-config
       mountPath: /etc/localtime
       readOnly: true
   

3. Suntikkan kontainer sidecar LoongCollector

   Di array spec.template.spec.containers, tambahkan definisi kontainer sidecar berikut:

   - name: loongcollector
     image: aliyun-observability-release-registry.cn-shenzhen.cr.aliyuncs.com/loongcollector/loongcollector:v3.1.1.0-20fa5eb-aliyun
     command: ["/bin/bash", "-c"]
     args:
       - |
         echo "[$(date)] LoongCollector: Starting initialization"
         # Mulai layanan LoongCollector
         /etc/init.d/loongcollectord start
         # Tunggu konfigurasi diunduh dan layanan siap
         sleep 15
         # Verifikasi status layanan
         if /etc/init.d/loongcollectord status; then
           echo "[$(date)] LoongCollector: Service started successfully"
           touch /tasksite/cornerstone
         else
           echo "[$(date)] LoongCollector: Failed to start service"
           exit 1
         fi
         # Tunggu kontainer aplikasi selesai (melalui sinyal file tombstone)
         echo "[$(date)] LoongCollector: Waiting for application container to complete"
         until [[ -f /tasksite/tombstone ]]; do
           sleep 2
         done
         # Beri waktu untuk mengunggah log tersisa
         echo "[$(date)] LoongCollector: Business completed, waiting for log transmission"
         sleep 30
         # Hentikan layanan
         echo "[$(date)] LoongCollector: Stopping service"
         /etc/init.d/loongcollectord stop
         echo "[$(date)] LoongCollector: Shutdown complete"
     # health check
     livenessProbe:
       exec:
         command: ["/etc/init.d/loongcollectord", "status"]
       initialDelaySeconds: 30
       periodSeconds: 10
       timeoutSeconds: 5
       failureThreshold: 3
     # konfigurasi resource
     resources:
       requests:
         cpu: "100m"
         memory: "128Mi"
       limits:
         cpu: "2000m"
         memory: "2048Mi"
     # konfigurasi variabel lingkungan
     env:
       - name: ALIYUN_LOGTAIL_USER_ID
         value: "${your_aliyun_user_id}"
       - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
         value: "${your_machine_group_user_defined_id}"
       - name: ALIYUN_LOGTAIL_CONFIG
         value: "/etc/ilogtail/conf/${your_region_config}/ilogtail_config.json"
       # Aktifkan mode full drain untuk memastikan semua log dikirim sebelum pod dihentikan
       - name: enable_full_drain_mode
         value: "true"  
       # Tambahkan informasi lingkungan pod sebagai tag log
       - name: ALIYUN_LOG_ENV_TAGS
         value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
       # Secara otomatis suntikkan metadata pod dan node sebagai tag log
       - name: "_pod_name_"
         valueFrom:
           fieldRef:
             fieldPath: metadata.name
       - name: "_pod_ip_"
         valueFrom:
           fieldRef:
             fieldPath: status.podIP
       - name: "_namespace_"
         valueFrom:
           fieldRef:
             fieldPath: metadata.namespace
       - name: "_node_name_"
         valueFrom:
           fieldRef:
             fieldPath: spec.nodeName
       - name: "_node_ip_"
         valueFrom:
           fieldRef:
             fieldPath: status.hostIP
     # Pemasangan volume (dibagi dengan kontainer aplikasi)
     volumeMounts:
       # Pemasangan read-only untuk direktori log aplikasi
       - name: ${shared_volume_name} # <-- Nama direktori log bersama
         mountPath: ${dir_containing_your_files} # <-- Jalur ke direktori bersama di sidecar
         readOnly: true
       # Pasang direktori komunikasi
       - name: tasksite
         mountPath: /tasksite
       # Pasang zona waktu
       - name: tz-config
         mountPath: /etc/localtime
         readOnly: true
   

2. Sesuaikan logika siklus hidup kontainer aplikasi

Bergantung pada jenis workload, modifikasi kontainer aplikasi untuk mendukung keluar terkoordinasi dengan sidecar:

# 1. Tunggu LoongCollector siap
echo "[$(date)] Application: Waiting for LoongCollector to be ready..."
until [[ -f /tasksite/cornerstone ]]; do
  sleep 1
done
echo "[$(date)] Application: LoongCollector is ready, starting application logic"
# 2. Jalankan logika aplikasi inti (pastikan log ditulis ke direktori bersama)
echo "Hello, World!" >> /app/logs/business.log
# 3. Simpan kode keluar
retcode=$?
echo "[$(date)] Application: Task completed with exit code: $retcode"
# 4. Beri tahu LoongCollector bahwa tugas aplikasi selesai
touch /tasksite/tombstone
echo "[$(date)] Application: Tombstone created, exiting"
exit $retcode

# Definisikan fungsi penanganan sinyal
_term_handler() {
    echo "[$(date)] [nginx-demo] Caught SIGTERM, starting graceful shutdown..."
    # Kirim sinyal QUIT ke Nginx untuk berhenti mulus
    if [ -n "$NGINX_PID" ]; then
        kill -QUIT "$NGINX_PID" 2>/dev/null || true
        echo "[$(date)] [nginx-demo] Sent SIGQUIT to Nginx PID: $NGINX_PID"
        # Tunggu Nginx berhenti secara mulus
        wait "$NGINX_PID"
        EXIT_CODE=$?
        echo "[$(date)] [nginx-demo] Nginx stopped with exit code: $EXIT_CODE"
    fi
    # Beri tahu LoongCollector bahwa kontainer aplikasi telah berhenti
    echo "[$(date)] [nginx-demo] Writing tombstone file"
    touch /tasksite/tombstone
    exit $EXIT_CODE
}
# Daftarkan penanganan sinyal
trap _term_handler SIGTERM SIGINT SIGQUIT
# Tunggu LoongCollector siap
echo "[$(date)] [nginx-demo]: Waiting for LoongCollector to be ready..."
until [[ -f /tasksite/cornerstone ]]; do 
    sleep 1
done
echo "[$(date)] [nginx-demo]: LoongCollector is ready, starting application logic"
# Mulai Nginx
echo "[$(date)] [nginx-demo] Starting Nginx..."
nginx -g 'daemon off;' &
NGINX_PID=$!
echo "[$(date)] [nginx-demo] Nginx started with PID: $NGINX_PID"
# Tunggu proses Nginx
wait $NGINX_PID
EXIT_CODE=$?
# Juga beri tahu LoongCollector jika keluar bukan karena sinyal
if [ ! -f /tasksite/tombstone ]; then
    echo "[$(date)] [nginx-demo] Unexpected exit, writing tombstone"
    touch /tasksite/tombstone
fi
exit $EXIT_CODE

3. Atur periode tenggang terminasi

Di spec.template.spec, atur periode tenggang terminasi yang cukup lama agar LoongCollector dapat mengunggah semua log tersisa.

spec:
  # ... Konfigurasi spec lain yang sudah ada ...
  template:
    spec:
      terminationGracePeriodSeconds: 600  # Periode berhenti mulus 10 menit

4. Variabel

5. Terapkan konfigurasi dan verifikasi

1. Jalankan perintah berikut untuk menerapkan perubahan:

   kubectl apply -f <YOUR-YAML>

2. Periksa status pod untuk memastikan kontainer LoongCollector berhasil disuntikkan:

   kubectl describe pod <YOUR-POD-NAME>

   Jika Anda melihat dua kontainer (kontainer aplikasi dan loongcollector) dan statusnya Berjalan, penyuntikan berhasil.

Global Configurations:

• Configuration Name: Nama kustom untuk konfigurasi pengumpulan. Nama ini harus unik dalam project dan tidak dapat diubah setelah dibuat. Konvensi penamaan:

  • Hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_).

  • Harus dimulai dan diakhiri dengan huruf kecil atau angka.

Input Configurations:

• Type: Pilih Text Log Collection.

• Logtail Deployment Mode: Pilih Sidecar.

• File Path Type:

  • Path in Container: Kumpulkan file log dari dalam kontainer.

  • Host Path: Kumpulkan log layanan lokal dari host.

• File Path: Jalur untuk pengumpulan log.

  • Linux: Jalur harus dimulai dengan garis miring (/). Contoh, /data/mylogs/**/*.log menentukan semua file yang memiliki ekstensi .log di direktori /data/mylogs dan subdirektorinya.

  • Windows: Jalur harus dimulai dengan huruf drive, seperti C:\Program Files\Intel\**\*.Log.

• Maximum Directory Monitoring Depth: Menentukan kedalaman direktori maksimum untuk karakter wildcard ** di File Path. Nilai default 0 hanya memantau direktori saat ini.

Konfigurasikan aturan pemrosesan log untuk mengubah log mentah yang tidak terstruktur menjadi data terstruktur yang dapat dicari. Hal ini meningkatkan efisiensi kueri dan analisis log. Pertama, tambahkan contoh log:

Di bagian Processor Configurations halaman Logtail Configuration, klik Add Sample Log dan masukkan konten log yang akan dikumpulkan. Sistem mengidentifikasi format log berdasarkan contoh dan membantu menghasilkan ekspresi reguler dan aturan penguraian, yang menyederhanakan konfigurasi.

Skenario 2: Log terstruktur

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

Langkah konfigurasi: Di area Processor Configurations halaman Logtail Configurations:

1. Tambahkan plugin penguraian: Klik Add Processor, dan konfigurasikan plugin seperti plugin penguraian ekspresi reguler, delimiter, atau JSON berdasarkan format log Anda. Misalnya, untuk mengumpulkan log NGINX, pilih Native Processor > Data Parsing (NGINX Mode).

2. NGINX Log Configuration: Salin seluruh definisi log_format dari file konfigurasi server Nginx Anda (nginx.conf) dan tempelkan ke kotak teks ini.

   Contoh:

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   Penting

   Definisi format harus persis sesuai dengan log_format di server Anda. Jika tidak, penguraian akan gagal.

3. Deskripsi parameter konfigurasi umum: Parameter berikut umum untuk banyak plugin penguraian dan memiliki fungsi yang konsisten.

   • Original Field: Menentukan field sumber yang akan diurai. Default ke content, yaitu seluruh entri log yang dikumpulkan.

   • Retain Original Field if Parsing Fails: Direkomendasikan. Jika plugin gagal mengurai log, opsi ini mempertahankan konten log mentah di field aslinya.

   • Retain Original Field if Parsing Succeeds: Jika dipilih, opsi ini mempertahankan konten log mentah bahkan setelah penguraian berhasil.

Secara default, semua log dikirim ke Logstore saat ini dengan kompresi lz4. Untuk mendistribusikan log ke beberapa Logstore, konfigurasikan tujuan output tambahan.

Gunakan ekspresi reguler untuk mengekstrak field dari log menjadi pasangan kunci-nilai untuk kueri dan analisis independen.

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

Prosedur: Di bagian Processor Configurations halaman Logtail Configurations, klik Add Processor dan pilih Native Processor > Data Parsing (Regex Mode).

• Regular Expression: Ekspresi reguler untuk mencocokkan konten log. Anda dapat menghasilkannya secara otomatis atau memasukkannya secara manual.

  • Hasilkan otomatis:

    • Klik Generate.

    • Di kotak Log Sample, pilih konten log yang akan diekstrak.

    • Klik Generate Regular Expression.

      Misalnya, jika Anda menempelkan log dalam format Apache Combined ke kotak Log Sample, log tersebut akan berisi field seperti IP klien, timestamp, metode dan jalur permintaan, kode status, Referer, dan User-Agent.

  • Masukan manual: Manually Enter Regular Expression berdasarkan format log.

  Setelah memasukkan ekspresi, klik Validate untuk menguji apakah ekspresi tersebut mengurai konten log dengan benar.

• Extracted Field: Atur nama field (kunci) untuk setiap bagian konten log yang diekstrak (nilai).

• Untuk informasi tentang parameter lain, lihat deskripsi parameter umum di Kasus penggunaan 2: Log terstruktur.

Gunakan penguraian delimiter untuk membagi konten log menjadi pasangan kunci-nilai. Mendukung delimiter karakter tunggal dan multi-karakter.

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations halaman Logtail Configurations, klik Add Processor dan pilih Native Processor > Data Parsing (Delimiter Mode).

• Delimiter: Karakter yang digunakan untuk membagi konten log.

  Contoh: Untuk file CSV, pilih Custom dan masukkan koma (,).

• Quote: Ketika nilai field berisi delimiter, Anda harus menentukan karakter quote untuk membungkus field guna mencegah pembagian salah.

• Extracted Field: Tetapkan nama field (kunci) untuk setiap kolom secara berurutan. Nama field harus memenuhi aturan berikut:

  • Hanya boleh berisi huruf, angka, dan garis bawah (_).

  • Harus dimulai dengan huruf atau garis bawah (_).

  • Panjang maksimal 128 byte.

• Untuk informasi tentang parameter lain, lihat deskripsi parameter umum di Kasus penggunaan 2: Log terstruktur.

Mengurai log yang diformat sebagai objek JSON menjadi pasangan kunci-nilai.

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations halaman Logtail Configurations, klik Add Processor dan pilih Native Processor > Data Parsing (JSON Mode).

• Original Field: Nilai default adalah content. Field ini berisi log mentah yang akan diurai.

• Untuk informasi tentang parameter lain, lihat deskripsi parameter umum di Kasus penggunaan 2: Log terstruktur.

Memperluas field yang berisi objek JSON bersarang menjadi beberapa pasangan kunci-nilai.

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Prosedur: Di bagian Processor Configurations halaman Logtail Configurations, klik Add Processor dan pilih Extended Processor > Expand JSON Field.

• Original Field: Nama field asli yang akan diperluas, misalnya content.

• JSON Expansion Depth: Tingkat ekspansi objek JSON. Nilai 0 (default) memperluas sepenuhnya objek, 1 hanya memperluas tingkat saat ini, dan seterusnya.

• Character to Concatenate Expanded Keys: Karakter yang digunakan untuk menggabungkan nama field selama ekspansi JSON. Default adalah garis bawah (_).

• Name Prefix of Expanded Keys: Awalan yang ditambahkan ke nama field setelah ekspansi JSON.

• Expand Array: Aktifkan sakelar ini untuk memperluas array menjadi pasangan kunci-nilai dengan indeks.

  Contoh: {"k":["a","b"]} diperluas menjadi  k[0]: "a", k[1]: "b".

  Untuk mengganti nama field yang diperluas (misalnya, dari prefix_s_key_k1 menjadi new_field_name), tambahkan prosesor Rename Fields untuk menyelesaikan pemetaan.

• Untuk informasi tentang parameter lain, lihat deskripsi parameter umum di Kasus penggunaan 2: Log terstruktur.

Struktur konten log berdasarkan definisi dalam file konfigurasi log Apache Anda, menguraikannya menjadi beberapa pasangan kunci-nilai.

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Prosedur: Di bagian Processor Configurations halaman Logtail Configurations, klik Add Processor dan pilih Native Processor > Data Parsing (Apache Mode).

• Log Format: combined

• APACHE LogFormat Configuration: Sistem secara otomatis mengisi field ini berdasarkan Log Format yang dipilih.

  Penting

  Pastikan konten yang diisi otomatis persis sesuai dengan definisi LogFormat dalam file konfigurasi Apache server Anda (biasanya /etc/apache2/apache2.conf).

• Untuk informasi tentang parameter lain, lihat deskripsi parameter umum di Kasus penggunaan 2: Log terstruktur.