Container Service for Kubernetes:Kumpulkan log kontainer (stdout/stderr atau file) dari kluster Kubernetes menggunakan konsol

1. Konfigurasi global dan input

Sebelum mengonfigurasi, pastikan Anda telah memilih templat ingesti data dan mengikat machine group. Langkah ini mendefinisikan nama konfigurasi pengumpulan, sumber log, dan cakupan pengumpulan.

Lihat log yang dilaporkan

1. Konfirmasi bahwa konten baru ditambahkan ke file log: LoongCollector hanya mengumpulkan log inkremental. Jalankan perintah tail -f /path/to/your/log/file dan picu operasi bisnis untuk memastikan log baru sedang ditulis.

2. Kueri log: Buka halaman kueri dan analisis LogStore tujuan. Klik Search & Analyze. Rentang waktu default adalah 15 menit terakhir. Periksa apakah log baru diingesti. Secara default, setiap log teks kontainer yang dikumpulkan berisi bidang berikut:

   Nama bidang	Deskripsi
   __tag__:__hostname__	Nama host kontainer.
   __tag__:__path__	Jalur file log di dalam kontainer.
   __tag__:_container_ip_	Alamat IP kontainer.
   __tag__:_image_name_	Nama image yang digunakan kontainer.
   __tag__:_pod_name_	Nama pod.
   __tag__:_namespace_	Namespace tempat pod berada.
   __tag__:_pod_uid_	Pengenal unik (UID) pod.

Memecahkan masalah umum

Kelola Konfigurasi Distribusi Multi-Tujuan

Karena konfigurasi distribusi multi-tujuan dikaitkan dengan beberapa Logstore, kelola konfigurasi ini di halaman manajemen tingkat Proyek:

1. Login ke Konsol Simple Log Service. Kemudian, klik nama Proyek target.

2. Di halaman Proyek target, klik Resource Group > Configurations di panel navigasi kiri.

   Catatan

   Halaman ini mengelola secara terpusat semua konfigurasi pengumpulan di bawah Proyek, termasuk yang tetap ada karena Logstore dihapus secara tidak sengaja.

Transfer Log Kluster ACK ke Proyek di Akun Alibaba Cloud Lain

Instal secara manual komponen Simple Log Service LoongCollector (Logtail) di kluster ACK. Kemudian, konfigurasikan ID akun root atau kredensial akses (AccessKey) akun tujuan. Ini mengirim log kontainer ke Proyek Simple Log Service di akun Alibaba Cloud lain.

Skenario: Saat Anda perlu mengumpulkan data log dari kluster ACK ke Proyek Simple Log Service independen di akun Alibaba Cloud lain karena struktur organisasi, isolasi izin, atau persyaratan pemantauan terpadu, instal LoongCollector (Logtail) secara manual untuk konfigurasi cross-account.

Prosedur: Prosedur ini menggunakan instalasi manual LoongCollector sebagai contoh. Untuk informasi tentang cara menginstal Logtail, lihat Instalasi dan Konfigurasi Logtail.

1. Hubungkan ke kluster Kubernetes Anda dan jalankan perintah yang sesuai berdasarkan wilayah:

   Wilayah di Tiongkok

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   Wilayah di luar Tiongkok

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. Masuk ke direktori loongcollector-custom-k8s-package dan modifikasi file konfigurasi ./loongcollector/values.yaml.

   # ===================== Required fields =====================
   # Project name for this cluster, for example, k8s-log-custom-sd89ehdq
   projectName: ""
   # Region of the project, for example, cn-shanghai for Shanghai
   region: ""
   # Alibaba Cloud account ID of the project owner. Enclose it in quotes, for example, "123456789"
   aliUid: ""
   # Network type. Valid values: Internet (public network) and Intranet (private network). Default value: Internet.
   net: Internet
   # AccessKey ID and AccessKey secret of the Alibaba Cloud account or RAM user. The account must have the AliyunLogFullAccess system policy.
   accessKeyID: ""
   accessKeySecret: ""
   # Custom cluster ID. Only letters, digits, and hyphens (-) are allowed.
   clusterID: ""

3. Di direktori loongcollector-custom-k8s-package, jalankan perintah berikut untuk menginstal LoongCollector dan dependensinya:

   bash k8s-custom-install.sh install

4. Setelah instalasi, periksa status komponen.

   Jika pod gagal dimulai, verifikasi bahwa konfigurasi values.yaml benar dan image terkait berhasil ditarik.

   # Periksa status pod
   kubectl get po -n kube-system | grep loongcollector-ds

   Simple Log Service juga secara otomatis membuat resource berikut. Anda dapat melihatnya di Konsol Simple Log Service.

   Jenis resource	Nama resource	Tujuan
   Project	Nilai projectName dalam file values.yaml	Unit manajemen resource yang mengisolasi log dari bisnis berbeda. Untuk membuat proyek Anda sendiri guna manajemen resource log yang lebih fleksibel, lihat Buat proyek.
   Machine group	k8s-group-${cluster_id}	Kumpulan node pengumpulan log.
   Logstore	config-operation-log Penting Jangan hapus Logstore ini.	Menyimpan log dari komponen loongcollector-operator. Menggunakan metode penagihan yang sama dengan Logstore standar. Untuk detailnya, lihat Item penagihan untuk metode pengukuran pay-by-ingested-data. Kami menyarankan agar Anda tidak membuat konfigurasi pengumpulan di Logstore ini.

Izinkan Beberapa Konfigurasi Pengumpulan untuk Mengumpulkan File Log atau Standard Output Kontainer yang Sama

Secara default, untuk mencegah duplikasi data, Simple Log Service membatasi setiap sumber log hanya dikumpulkan oleh satu konfigurasi pengumpulan:

• File log teks hanya dapat cocok dengan satu konfigurasi pengumpulan Logtail.

• Standard output (stdout) kontainer:

  • Jika Anda menggunakan templat standard output baru, hanya satu konfigurasi pengumpulan standard output yang dapat mengumpulkannya secara default.

  • Jika Anda menggunakan templat standard output lama, tidak diperlukan konfigurasi tambahan. Mendukung pengumpulan beberapa salinan secara default.

1. Login ke Konsol Simple Log Service. Buka Proyek target.

2. Di panel navigasi kiri, pilih Logstore. Temukan Logstore target.

3. Klik sebelum namanya untuk memperluas Logstore.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target. Kemudian, klik Manage Logtail Configuration di kolom Actions.

5. Di halaman Logtail Configuration, klik Edit. Gulir ke bawah ke bagian Input Configurations:

   • Untuk mengumpulkan log file teks, aktifkan Allow File to Be Collected for Multiple Times.

   • Untuk mengumpulkan standard output kontainer, aktifkan Allow Collection by Different Logtail Configurations.

Dependency Error Saat Menguninstal Komponen loongcollector (logtail-ds) di ACK

Deskripsi Masalah: Saat Anda mencoba menghapus komponen pengumpulan log loongcollector (logtail-ds) di Container Service for Kubernetes (ACK), sistem melaporkan error: The dependencies of this component are not met.

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

Penyebab: Plugin jaringan terway-eniip mengaktifkan fitur pengumpulan log. Plugin ini bergantung pada komponen loongcollector (logtail-ds). Oleh karena itu, ACK tidak mengizinkan Anda menguninstal loongcollector (logtail-ds) secara langsung sebelum menghapus dependensi ini.

Solusi: Ikuti langkah-langkah berikut untuk menghapus dependensi dan kemudian menguninstal komponen:

1. Login ke Konsol Container Service for Kubernetes.

2. Di daftar kluster, klik nama kluster target. Buka halaman detail kluster.

3. Di panel navigasi kiri, klik Add-ons.

4. Di daftar komponen, cari dan temukan komponen terway-eniip. Klik Disable Logging.

5. Di kotak dialog yang muncul, klik OK.

6. Setelah konfigurasi berlaku, coba uninstal komponen loongcollector (logtail-ds) lagi.

Mengapa Segmen Log Terakhir Dilaporkan dengan Penundaan Panjang dan Kadang Terpotong?

Analisis Penyebab: Pemotongan log biasanya terjadi ketika file log tidak memiliki line feed di akhir atau ketika log multi-baris (seperti stack exception) belum ditulis sepenuhnya. Karena collector data tidak dapat menentukan apakah log telah berakhir, segmen konten terakhir mungkin dipotong lebih awal atau dilaporkan dengan penundaan. Versi LoongCollector (Logtail) yang berbeda memiliki mekanisme pemrosesan berbeda:

• Versi sebelum 1.8:
  Jika baris log terakhir tidak memiliki line feed (carriage return) atau segmen log multi-baris tidak lengkap, collector data menunggu tulisan berikutnya untuk memicu output. Hal ini dapat menyebabkan entri log terakhir tetap tidak terkirim untuk waktu yang lama hingga log baru ditulis.
  
  
  
  

• Versi 1.8 dan lebih baru:
  Mekanisme refresh timeout diperkenalkan untuk mencegah log macet. Saat baris log yang tidak lengkap terdeteksi, sistem memulai timer. Setelah timeout, sistem secara otomatis mengirimkan konten saat ini untuk memastikan log akhirnya dikumpulkan.
  
  
  
  

  • Timeout default: 60 detik (memastikan kelengkapan dalam sebagian besar skenario)

  • Sesuaikan nilai ini sesuai kebutuhan. Namun, jangan atur ke 0. Jika tidak, log mungkin terpotong atau beberapa konten hilang.

Solusi:

Anda dapat memperpanjang waktu tunggu untuk memastikan log lengkap ditulis sebelum dikumpulkan:

1. Login ke Konsol Simple Log Service. Buka Proyek target.

2. Di panel navigasi kiri, pilih Logstore. Temukan Logstore target.

3. Klik sebelum namanya untuk memperluas Logstore.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target. Kemudian, klik Manage Logtail Configuration di kolom Actions.

5. Di halaman Logtail Configuration, klik Edit:

   • Pilih Input Configurations > Other Input Configurations > Advanced Parameters. Tambahkan konfigurasi JSON berikut untuk menyesuaikan timeout:

     {
       "FlushTimeoutSecs": 1
     }

     • Nilai default: Ditentukan oleh parameter startup default_reader_flush_timeout (biasanya beberapa detik).

     • Unit: detik.

     • Nilai yang disarankan: ≥1 detik. Jangan atur ke 0. Jika tidak, log mungkin terpotong atau beberapa konten hilang.

6. Setelah konfigurasi selesai, klik OK.

Mengapa LoongCollector (Logtail) Beralih dari Nama Domain Jaringan Pribadi ke Jaringan Publik Selama Runtime? Dapatkah Ia Secara Otomatis Beralih Kembali?

Selama runtime LoongCollector (Logtail), jika sistem mendeteksi komunikasi nama domain jaringan pribadi tidak normal (seperti jaringan tidak tersedia atau timeout koneksi), sistem secara otomatis beralih ke nama domain jaringan publik untuk mengirim data. Hal ini memastikan kelangsungan dan keandalan pengumpulan log serta mencegah akumulasi atau kehilangan log.

• LoongCollector: Setelah jaringan pribadi pulih, sistem secara otomatis beralih kembali ke jaringan pribadi.

• Logtail: Tidak secara otomatis beralih kembali. Anda harus me-restart secara manual untuk memulihkan komunikasi jaringan pribadi.

Di bagian Processor Configurations halaman Logtail Configuration, tambahkan processor untuk menterstrukturkan log mentah. Untuk menambahkan plugin pemrosesan ke konfigurasi pengumpulan yang sudah ada, ikuti langkah-langkah berikut:

1. Di panel navigasi kiri, pilih Logstore dan temukan logstore target.

2. Klik ikon sebelum namanya untuk memperluas logstore.

3. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target dan klik Manage Logtail Configuration di kolom Actions.

4. Di halaman konfigurasi Logtail, klik Edit.

Bagian ini hanya memperkenalkan plugin pemrosesan yang umum digunakan yang mencakup kasus penggunaan pemrosesan log umum. Untuk fitur lainnya, lihat Extended processors.

Parsing Delimiter

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Parsing JSON Standar

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Parsing JSON Bersarang

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Parsing Array JSON

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Penguraian Log Apache

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Masking Data

Mask data sensitif dalam log.

Contoh:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Langkah konfigurasi: Di area Logtail Configuration pada halaman Processor Configurations, klik Add Processor, dan pilih Native Processor > Data Masking:

• Original Field: Bidang sumber yang menyimpan konten log sebelum parsing.

• Data Masking Method:

  • const: Mengganti konten sensitif dengan string yang dimodifikasi.

  • md5: Mengganti konten sensitif dengan hash MD5-nya.

• Replacement String: Saat Anda memilih Data Masking Method sebagai const, masukkan string untuk mengganti konten sensitif.

• Content Expression that Precedes Replaced Content: Digunakan untuk menemukan konten sensitif. Konfigurasikan menggunakan sintaks RE2.

• Content Expression to Match Replaced Content: Ekspresi untuk konten sensitif. Konfigurasikan menggunakan sintaks RE2.

1. Perbedaan sintaks grup bernama

Go menggunakan sintaks (?P<name>...) untuk mendefinisikan grup bernama. Tidak mendukung sintaks (?<name>...) yang digunakan di PCRE.

• Contoh benar: (?P<year>\d{4})

• Contoh salah: (?<year>\d{4})

2. Fitur ekspresi reguler yang tidak didukung

Fitur ekspresi reguler umum tetapi kompleks berikut tidak tersedia di RE2. Hindari penggunaannya:

• Assertion: (?=...), (?!...), (?<=...), （?<!...)

• Ekspresi kondisional: (?(condition)true|false)

• Pencocokan rekursif: (?R), (?0)

• Referensi subrutin: (?&name), (?P>name)

• Grup atomik: (?>...)

3. Rekomendasi penggunaan

Saat men-debug ekspresi reguler menggunakan alat seperti Regex101, pilih mode Golang (RE2) untuk validasi guna memastikan kompatibilitas. Jika sintaks yang tidak didukung di atas digunakan, plugin tidak dapat mengurai atau mencocokkan dengan benar.