Container Service for Kubernetes:Kumpulkan log kontainer kluster melalui konsol

1. Konfigurasi global dan input

Sebelum memulai, pastikan Anda telah memilih templat pengumpulan data dan menerapkannya ke kelompok mesin. Pada langkah ini, Anda menentukan nama konfigurasi pengumpulan, sumber log, dan cakupannya.

Lihat log yang dikumpulkan

1. Konfirmasi bahwa log baru sedang ditulis ke file log: LoongCollector hanya mengumpulkan log inkremental. Jalankan perintah tail -f /path/to/your/log/file dan picu operasi layanan untuk menghasilkan log baru.

2. Kueri log: Buka halaman kueri dan analisis Logstore target dan klik Search & Analyze. Rentang waktu default adalah 15 menit terakhir. Periksa log baru. Secara default, setiap log teks kontainer yang dikumpulkan mencakup bidang berikut:

   Nama bidang	Deskripsi
   __tag__:__hostname__	Nama host kontainer.
   __tag__:__path__	Jalur file log di dalam kontainer.
   __tag__:_container_ip_	Alamat IP kontainer.
   __tag__:_image_name_	Nama image yang digunakan oleh kontainer.
   __tag__:_pod_name_	Nama Pod.
   __tag__:_namespace_	Namespace Pod.
   __tag__:_pod_uid_	Pengenal unik (UID) Pod.

Penyelesaian masalah umum

Kelola konfigurasi distribusi multi-tujuan

Karena konfigurasi distribusi multi-tujuan dikaitkan dengan beberapa Logstore, konfigurasi tersebut harus dikelola di halaman manajemen tingkat Project:

1. Masuk ke Konsol Simple Log Service dan klik nama Project target.

2. Di halaman Project, klik Resource Group > Configurations di panel navigasi sebelah kiri.

   Catatan

   Halaman ini mengelola secara terpusat semua konfigurasi pengumpulan di Project, termasuk konfigurasi yang tersisa dari Logstore yang secara tidak sengaja dihapus.

Transfer log kluster ACK ke akun lain

Anda dapat mengirim log kontainer ke Project Simple Log Service di akun Alibaba Cloud lain dengan menginstal komponen LoongCollector (Logtail) secara manual di kluster ACK dan mengonfigurasikannya dengan ID Akun Alibaba Cloud atau kredensial akses (AccessKey) akun target.

Skenario: Untuk mengumpulkan data log dari kluster ACK ke Project Simple Log Service di akun Alibaba Cloud yang berbeda karena alasan seperti struktur organisasi, isolasi izin, atau pemantauan terpusat, instal LoongCollector (Logtail) secara manual untuk mengaktifkan pengumpulan lintas akun.

Prosedur: Ikuti langkah-langkah berikut untuk menginstal LoongCollector secara manual. Untuk informasi lebih lanjut, lihat Instal dan konfigurasikan Logtail.

1. Hubungkan ke kluster Kubernetes Anda dan jalankan perintah yang sesuai dengan wilayah kluster Anda:

   Wilayah Tiongkok Daratan

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   Wilayah di luar Tiongkok

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. Berpindah ke direktori loongcollector-custom-k8s-package dan ubah file konfigurasi ./loongcollector/values.yaml.

   # ===================== Informasi wajib =====================
   # Project tempat log dari kluster ini dikumpulkan. Contoh: k8s-log-custom-sd89ehdq
   projectName: ""
   # Wilayah tempat Project berada. Contoh: cn-shanghai
   region: ""
   # ID Akun Alibaba Cloud yang memiliki Project. Sertakan ID dalam tanda kutip (""). Contoh: "123456789"
   aliUid: ""
   # Jenis jaringan. Nilai yang valid: Internet dan Intranet. Nilai default: Internet.
   net: Internet
   # ID AccessKey dan rahasia AccessKey dari Akun Alibaba Cloud atau Pengguna RAM. Kebijakan AliyunLogFullAccess diperlukan.
   accessKeyID: ""
   accessKeySecret: ""
   # ID kluster kustom. ID hanya boleh berisi huruf besar, huruf kecil, angka, dan tanda hubung (-).
   clusterID: ""

3. Di direktori loongcollector-custom-k8s-package, jalankan perintah berikut untuk menginstal LoongCollector dan dependensinya:

   bash k8s-custom-install.sh install

4. Setelah instalasi selesai, periksa status komponen.

   Jika pod gagal dimulai, verifikasi konfigurasi di file values.yaml dan pastikan image yang diperlukan telah ditarik.

   # Periksa status pod
   kubectl get po -n kube-system | grep loongcollector-ds

   Simple Log Service juga secara otomatis membuat sumber daya berikut, yang dapat Anda lihat di Konsol Simple Log Service.

   Tipe	Parameter	Deskripsi
   Project	Nilai projectName yang didefinisikan di file values.yaml	Unit manajemen sumber daya yang mengisolasi log dari layanan berbeda. Untuk membuat Project guna manajemen sumber daya log yang lebih fleksibel, lihat Buat Project.
   machine group	k8s-group-${cluster_id}	Sekumpulan node pengumpulan log.

   Penting

   Komponen LoongCollector tidak membuat logstore bernama config-operation-log. Jika logstore ini sudah ada, LoongCollector tidak akan menulis log baru ke dalamnya.

Konfigurasi ganda untuk satu sumber

Secara default, Simple Log Service hanya menggunakan satu konfigurasi pengumpulan per sumber log untuk mencegah duplikasi data:

• Setiap file log teks hanya dapat dicocokkan dengan satu konfigurasi pengumpulan Logtail.

• Untuk output standar kontainer (stdout):

  • Jika Anda menggunakan templat output standar baru, hanya satu konfigurasi pengumpulan yang dapat mengumpulkan dari stdout secara default.

  • Templat output standar lama mendukung pengumpulan ganda secara default tanpa konfigurasi tambahan.

1. Masuk ke Konsol Simple Log Service dan buka Project target.

2. Di panel navigasi sebelah kiri, klik Logstores dan temukan Logstore target.

3. Klik ikon di sebelah nama Logstore untuk memperluas detailnya.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target dan klik Manage Logtail Configuration di kolom Actions.

5. Di halaman konfigurasi, klik Edit dan gulir ke bagian Input Configurations.

   • Untuk log file teks, aktifkan Allow File to Be Collected for Multiple Times.

   • Untuk output standar kontainer, aktifkan Allow Collection by Different Logtail Configurations.

Error dependensi saat uninstallasi

Gejala: Saat mencoba meng-uninstall komponen pengumpulan log loongcollector (logtail-ds) di Container Service for Kubernetes (ACK), sistem melaporkan error berikut:

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun

Penyebab: Error ini terjadi karena fitur pengumpulan log plugin jaringan terway-eniip membuat dependensi pada komponen loongcollector (logtail-ds). Oleh karena itu, ACK mencegah uninstallasi hingga dependensi ini dihapus.

Solusi: Ikuti langkah-langkah berikut untuk menghapus dependensi sebelum meng-uninstall komponen:

1. Masuk ke Konsol ACK.

2. Di daftar kluster, klik nama kluster target.

3. Di panel navigasi sebelah kiri, klik Add-ons.

4. Di halaman Add-ons, temukan komponen terway-eniip dan klik Disable Logging.

5. Di kotak dialog konfirmasi yang muncul, klik OK.

6. Setelah konfigurasi diterapkan, coba uninstall komponen loongcollector (logtail-ds) lagi.

Entri log terakhir tertunda atau terpotong

Analisis: Pemotongan log sering terjadi ketika baris terakhir dalam file log tidak memiliki karakter line feed, atau ketika entri log multi-baris (seperti stack exception) tidak lengkap. Hal ini terjadi karena collector tidak dapat menentukan apakah entri log sudah lengkap, yang dapat menyebabkan segmen terakhir terpisah secara prematur atau dilaporkan setelah penundaan. Mekanisme penanganan bervariasi tergantung versi LoongCollector (Logtail):

• Versi sebelum 1.8:
  Jika baris terakhir log tidak memiliki line feed (atau carriage return), atau jika log multi-baris tidak lengkap, collector menunggu operasi penulisan berikutnya untuk memicu output. Hal ini dapat menyebabkan entri log terakhir ditahan untuk periode yang lama hingga log baru ditulis.
  
  
  
  

• Versi 1.8 dan lebih baru:
  Versi ini memperkenalkan mekanisme flush timeout untuk mencegah log ditahan tanpa batas. Saat collector mendeteksi baris log yang tidak lengkap, timer dimulai. Setelah periode timeout berakhir, buffer saat ini secara otomatis dikirimkan, memastikan log akhirnya dikumpulkan.
  
  
  
  

  • Timeout default: 60 detik (memastikan integritas log dalam sebagian besar skenario).

  • Anda dapat menyesuaikan nilai ini sesuai kebutuhan, tetapi jangan mengaturnya ke 0. Mengatur nilai ke 0 dapat menyebabkan pemotongan log atau kehilangan data parsial.

Solusi:

Anda dapat memperpanjang periode timeout untuk memastikan log ditulis sepenuhnya sebelum dikumpulkan:

1. Masuk ke Konsol Simple Log Service dan buka Project target.

2. Di panel navigasi sebelah kiri, klik Logstores dan temukan Logstore target.

3. Klik ikon di sebelah nama Logstore untuk memperluas detailnya.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target dan klik Manage Logtail Configuration di kolom Actions.

5. Di halaman konfigurasi, klik Edit.

   • Buka Input Configurations > Other Input Configurations > Advanced Parameters dan tambahkan konfigurasi JSON berikut untuk menyesuaikan periode timeout.

     {
       "FlushTimeoutSecs": 1
     }

     • Nilai default: Ditentukan oleh parameter startup default_reader_flush_timeout, yang biasanya beberapa detik.

     • Unit: Detik.

     • Nilai yang direkomendasikan: ≥1. Jangan mengatur nilai ini ke 0, karena dapat menyebabkan pemotongan log atau kehilangan data parsial.

6. Setelah menyelesaikan konfigurasi, klik OK.

Failover titik akhir jaringan

Jika LoongCollector (Logtail) mendeteksi anomali komunikasi di jaringan internal, seperti kegagalan jaringan atau timeout koneksi, secara otomatis beralih ke titik akhir jaringan publik untuk transmisi data. Hal ini memastikan pengumpulan log yang berkelanjutan dan andal, mencegah penumpukan log atau kehilangan data.

• LoongCollector: Secara otomatis beralih kembali ke jaringan internal begitu konektivitas dipulihkan.

• Logtail: Tidak secara otomatis beralih kembali. Anda harus me-restart komponen secara manual untuk melanjutkan komunikasi melalui jaringan internal.

Di bagian Processor Configurations pada halaman Logtail Configuration, tambahkan prosesor untuk menyusun log mentah. Untuk menambahkan plugin pemrosesan ke konfigurasi yang sudah ada:

1. Di panel navigasi sebelah kiri, pilih Logstores dan temukan logstore target.

2. Klik ikon di depan namanya untuk memperluas logstore.

3. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target dan klik Manage Logtail Configuration di kolom Actions.

4. Di halaman konfigurasi Logtail, klik Edit.

Bagian ini hanya memperkenalkan plugin pemrosesan yang umum digunakan yang mencakup kasus penggunaan pemrosesan log umum. Untuk fitur lainnya, lihat Prosesor ekstensi.

Penguraian data (mode delimiter)

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Penguraian data (mode JSON)

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Perluas bidang JSON

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Penguraian array JSON

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Penguraian data (mode Apache)

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Penyamaran data

Sembunyikan data sensitif dalam log Anda.

Contoh:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Prosedur: Di halaman Logtail Configuration, di bagian Processor Configurations, klik Add Processor, lalu pilih Native Processor > Data Masking:

• Original Field: Bidang yang berisi konten yang akan disembunyikan.

• Data Masking Method:

  • const: Mengganti konten sensitif dengan string yang ditentukan.

  • md5: Mengganti konten sensitif dengan nilai hash MD5-nya.

• Replacement String: Jika Anda mengatur Data Masking Method ke const, Anda harus memasukkan string untuk mengganti konten sensitif.

• Content Expression that Precedes Replaced Content: Ekspresi reguler yang mencocokkan konten tepat sebelum data sensitif. Ekspresi ini menggunakan sintaks RE2.

• Content Expression to Match Replaced Content: Ekspresi reguler yang mencocokkan konten sensitif. Ekspresi ini menggunakan sintaks RE2.

1. Perbedaan sintaks grup bernama

Go menggunakan sintaks (?P<name>...) untuk grup bernama dan tidak mendukung sintaks (?<name>...) yang digunakan di PCRE.

• Benar: (?P<year>\d{4})

• Salah: (?<year>\d{4})

2. Fitur ekspresi reguler yang tidak didukung

RE2 tidak mendukung fitur ekspresi reguler umum berikut yang kompleks. Hindari penggunaannya:

• Assertion: (?=...), (?!...), (?<=...), atau (?<!...)

• Ekspresi kondisional: (?(condition)true|false)

• Pencocokan rekursif: (?R) atau (?0)

• Referensi subprogram: (?&name) atau (?P>name)

• Grup atomik: (?>...)

3. Rekomendasi

Untuk men-debug ekspresi reguler Anda, gunakan alat seperti Regex101. Untuk memastikan kompatibilitas, pilih mode Golang (RE2) untuk validasi. Plugin akan gagal mengurai atau menemukan kecocokan dengan ekspresi yang menggunakan sintaks yang tidak didukung.