Simple Log Service：Kumpulkan log kontainer (keluaran standar dan file) dari kluster menggunakan konsol

1. Konfigurasi global dan input

Sebelum memulai, pastikan Anda telah memilih templat impor data dan menerapkannya ke kelompok mesin. Pada langkah ini, Anda menentukan nama konfigurasi pengumpulan, sumber log, dan cakupan pengumpulan.

Lihat log yang dilaporkan

1. Konfirmasi bahwa file log memiliki konten baru: LoongCollector hanya mengumpulkan log inkremental. Anda dapat menjalankan perintah tail -f /path/to/your/log/file dan memicu operasi layanan untuk memastikan log baru sedang ditulis.

2. Kueri log: Buka halaman kueri dan analisis Logstore target lalu klik Search & Analysis. Rentang waktu default adalah 15 menit terakhir. Periksa apakah log baru masuk. Setiap log teks kontainer yang dikumpulkan berisi informasi bidang default berikut:

   Bidang	Deskripsi
   __tag__:__hostname__	Nama host kontainer.
   __tag__:__path__	Jalur file log di dalam kontainer.
   __tag__:_container_ip_	Alamat IP kontainer.
   __tag__:_image_name_	Nama citra yang digunakan oleh kontainer.
   __tag__:_pod_name_	Nama pod.
   __tag__:_namespace_	Namespace tempat pod berada.
   __tag__:_pod_uid_	Pengidentifikasi unik (UID) pod.

Masalah pemecahan masalah umum

Bagaimana cara mengirim log kluster ACK ke proyek di akun Alibaba Cloud lain?

Anda dapat menginstal komponen Simple Log Service LoongCollector (Logtail) secara manual di kluster ACK dan mengonfigurasinya dengan ID akun Alibaba Cloud atau kredensial akses (AccessKey) akun target. Hal ini memungkinkan Anda mengirim log kontainer ke proyek Simple Log Service yang dimiliki oleh akun Alibaba Cloud lain.

Skenario: Anda ingin mengumpulkan data log dari kluster ACK dan mengirimkannya ke proyek Simple Log Service yang dimiliki oleh akun Alibaba Cloud berbeda karena alasan seperti struktur organisasi, isolasi izin, atau pemantauan terpadu. Anda dapat menginstal LoongCollector (Logtail) secara manual untuk konfigurasi lintas akun.

Prosedur: Prosedur berikut menjelaskan cara menginstal LoongCollector secara manual. Untuk informasi tentang cara menginstal Logtail, lihat Instal dan konfigurasikan Logtail.

1. Sambungkan ke kluster Kubernetes lalu jalankan perintah sesuai wilayah kluster Anda:

   Wilayah Tiongkok

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   Wilayah di luar Tiongkok

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. Buka direktori loongcollector-custom-k8s-package lalu modifikasi file konfigurasi ./loongcollector/values.yaml.

   # ===================== Informasi Wajib =====================
   # Nama proyek tempat log dari kluster ini akan dikumpulkan, contohnya k8s-log-custom-sd89ehdq
   projectName: ""
   # Wilayah proyek, contohnya Shanghai: cn-shanghai
   region: ""
   # UID akun Alibaba Cloud pemilik proyek. Sertakan dalam tanda kutip, contohnya "123456789"
   aliUid: ""
   # Jaringan yang digunakan. Parameter opsional: Internet, Intranet. Default adalah Internet.
   net: Internet
   # ID AccessKey dan rahasia AccessKey akun Alibaba Cloud atau pengguna RAM. Akun harus memiliki izin kebijakan sistem AliyunLogFullAccess.
   accessKeyID: ""
   accessKeySecret: ""
   # ID kluster kustom. Nama hanya boleh berisi huruf besar, huruf kecil, angka, dan tanda hubung (-).
   clusterID: ""

3. Di direktori loongcollector-custom-k8s-package, jalankan perintah berikut untuk menginstal LoongCollector dan komponen dependennya:

   bash k8s-custom-install.sh install

4. Setelah instalasi selesai, periksa status berjalan komponen.

   Jika pod gagal dimulai, periksa apakah konfigurasi `values.yaml` sudah benar dan apakah citra terkait berhasil ditarik.

   # Periksa status pod
   kubectl get po -n kube-system | grep loongcollector-ds

   Simple Log Service juga secara otomatis membuat sumber daya berikut. Anda dapat masuk ke konsol Simple Log Service untuk melihatnya.

   Jenis sumber daya	Nama sumber daya	Fungsi
   Proyek	Nilai projectName yang didefinisikan dalam file values.yaml	Unit manajemen sumber daya yang mengisolasi log layanan berbeda. Untuk membuat Proyek guna manajemen sumber daya log yang lebih fleksibel, lihat Buat Proyek.
   Kelompok mesin	k8s-group-${cluster_id}	Kumpulan node pengumpulan log.
   Logstore	config-operation-log Penting Jangan menghapus Logstore ini.	Menyimpan log komponen loongcollector-operator. Metode penagihannya sama dengan Logstore biasa. Untuk informasi lebih lanjut, lihat Item yang dapat ditagih pada mode bayar berdasarkan data yang ditulis. Kami menyarankan agar Anda tidak membuat konfigurasi pengumpulan di Logstore ini.

Bagaimana cara mengumpulkan log dari file atau keluaran standar kontainer yang sama menggunakan beberapa konfigurasi pengumpulan?

Secara default, untuk mencegah duplikasi data, Simple Log Service hanya mengizinkan setiap sumber log dikumpulkan oleh satu konfigurasi pengumpulan:

• File log teks hanya dapat cocok dengan satu konfigurasi pengumpulan Logtail.

• Keluaran standar (stdout) kontainer:

  • Jika Anda menggunakan templat keluaran standar versi baru, keluaran standar hanya dapat dikumpulkan oleh satu konfigurasi pengumpulan keluaran standar secara default.

  • Jika Anda menggunakan templat keluaran standar versi lama, tidak diperlukan konfigurasi tambahan. Secara default mendukung pengumpulan ganda.

1. Masuk ke konsol Simple Log Service lalu buka proyek target.

2. Di panel navigasi kiri, pilih Logstore lalu temukan Logstore target.

3. Klik ikon di depan namanya untuk memperluas Logstore.

4. Klik Logtail Configurations. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Tindakan.

5. Di halaman konfigurasi Logtail, klik Edit lalu gulir ke bawah ke bagian Input Configurations:

   • Untuk mengumpulkan log file teks: Aktifkan Allow File To Be Collected For Multiple Times.

   • Untuk mengumpulkan keluaran standar kontainer: Aktifkan Allow Collection By Different Logtail Configurations.

Mengapa saya mendapatkan kesalahan dependensi saat mencoba meng-uninstall komponen loongcollector(logtail-ds) di ACK?

Masalah: Saat Anda mencoba menghapus komponen pengumpulan log loongcollector (logtail-ds) di Container Service for Kubernetes (ACK), sistem melaporkan kesalahan: `Dependencies of this component are not met`.

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

Penyebab: Plugin jaringan terway-eniip telah mengaktifkan fitur pengumpulan log, yang bergantung pada komponen loongcollector (logtail-ds). Oleh karena itu, ACK tidak mengizinkan Anda langsung meng-uninstall loongcollector (logtail-ds) sebelum menghapus dependensi ini.

Solusi: Ikuti langkah-langkah berikut untuk menghapus dependensi lalu meng-uninstall komponen:

1. Masuk ke konsol Container Service for Kubernetes.

2. Di daftar kluster, klik nama kluster target.

3. Di panel navigasi kiri, klik Component Management.

4. Di daftar komponen, cari dan temukan komponen terway-eniip. Klik > Disable Log.

5. Di kotak dialog yang muncul, klik Confirm.

6. Setelah konfigurasi berlaku, coba uninstall komponen loongcollector (logtail-ds) lagi.

Mengapa entri log terakhir dilaporkan setelah penundaan lama? Mengapa terkadang terpotong?

Penyebab: Log biasanya terpotong jika file log tidak memiliki jeda baris di akhir, atau jika log multiline, seperti stack exception, belum ditulis sepenuhnya. Karena pengumpul tidak dapat menentukan apakah log telah berakhir, bagian akhir konten mungkin terpisah terlalu dini atau dilaporkan dengan penundaan. Mekanisme penanganan berbeda berdasarkan versi LoongCollector (Logtail):

• Versi sebelum 1.8:
  Jika baris terakhir log tidak memiliki jeda baris (carriage return), atau jika paragraf log multiline belum selesai, pengumpul menunggu tulisan berikutnya untuk memicu output. Hal ini dapat menyebabkan entri log terakhir ditahan lama tanpa dikirim hingga log baru ditulis.
  

• Versi 1.8 dan lebih baru:
  Mekanisme refresh timeout diperkenalkan untuk mencegah log macet. Saat baris log yang tidak lengkap terdeteksi, sistem memulai timer. Setelah periode timeout berakhir, konten saat ini secara otomatis dikirimkan, yang memastikan log akhirnya dikumpulkan.
  

  • Timeout default: 60 detik. Hal ini memastikan integritas dalam sebagian besar skenario.

  • Anda dapat menyesuaikan nilai ini sesuai kebutuhan, tetapi jangan mengaturnya ke 0. Hal ini dapat menyebabkan log terpotong atau sebagian hilang.

Solusi:

Anda dapat memperpanjang waktu tunggu untuk memastikan log lengkap ditulis sebelum dikumpulkan:

1. Masuk ke konsol Simple Log Service lalu buka proyek target.

2. Di panel navigasi kiri, pilih Logstore lalu temukan Logstore target.

3. Klik ikon di depan namanya untuk memperluas Logstore.

4. Klik Logtail Configurations. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Tindakan.

5. Di halaman konfigurasi Logtail, klik Edit:

   • Pilih Input Configurations > Other Input Configurations > Advanced Parameters. Tambahkan konfigurasi JSON berikut untuk menyesuaikan periode timeout.

     {
       "FlushTimeoutSecs": 1
     }

     • Nilai default: Ditentukan oleh parameter startup default_reader_flush_timeout, yang biasanya beberapa detik.

     • Unit: Detik.

     • Nilai yang disarankan: ≥1 detik. Jangan mengaturnya ke 0. Hal ini dapat menyebabkan log terpotong atau sebagian hilang.

6. Setelah konfigurasi, klik Save.

Mengapa LoongCollector (Logtail) beralih dari domain jaringan internal ke jaringan publik selama operasi? Dapatkah beralih kembali secara otomatis?

Jika LoongCollector (Logtail) mendeteksi anomali dalam komunikasi domain jaringan internal, seperti kegagalan jaringan atau timeout koneksi, sistem secara otomatis beralih ke nama domain publik untuk transmisi data. Hal ini memastikan kelangsungan dan keandalan pengumpulan log serta mencegah akumulasi atau kehilangan log.

• LoongCollector: Secara otomatis beralih kembali ke jaringan internal setelah jaringan dipulihkan.

• Logtail: Tidak beralih kembali secara otomatis. Anda harus me-restart secara manual untuk melanjutkan komunikasi jaringan internal.

Di bagian Processing Configurations halaman Logtail Configuration, Anda dapat menambahkan plugin pemrosesan untuk menyusun log mentah. Untuk menambahkan plugin pemrosesan ke konfigurasi pengumpulan yang sudah ada, ikuti langkah-langkah berikut:

1. Di panel navigasi kiri, pilih Logstore lalu temukan Logstore target.

2. Klik ikon di depan namanya untuk memperluas Logstore.

3. Klik Logtail Configurations. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Tindakan.

4. Di halaman konfigurasi Logtail, klik Edit.

Bagian ini hanya memperkenalkan plugin pemrosesan yang umum digunakan yang mencakup skenario pemrosesan log umum. Untuk fitur lainnya, lihat Plugin pemrosesan ekstensi.

Penguraian berbasis pemisah

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Penguraian JSON standar

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Penguraian JSON bersarang

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Penguraian array JSON

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Penguraian log Apache

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Penyamaran data

Menyamarkan data sensitif dalam log.

Contoh:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Prosedur: Di halaman Logtail Configurations, di bagian Processor Configurations, klik Add Processor lalu pilih Native Processor > Data Masking:

• Raw Field: Bidang yang digunakan untuk menyimpan konten log sebelum penguraian.

• Masking Method:

  • const: Mengganti konten sensitif dengan string yang ditentukan.

  • md5: Mengganti konten sensitif dengan hash MD5-nya.

• Replacement String: Jika Anda mengatur Desensitization Method ke const, Anda harus memasukkan string untuk mengganti konten sensitif.

• Preceding Content Expression: Digunakan untuk menemukan konten sensitif, dikonfigurasi menggunakan sintaks RE2.

• Content Replacement Expression: Ekspresi untuk konten sensitif, dikonfigurasi menggunakan sintaks RE2.

1. Perbedaan sintaks grup bernama

Go menggunakan sintaks (?P<name>...) untuk mendefinisikan grup bernama dan tidak mendukung sintaks (?<name>...) dari PCRE.

• Benar: (?P<year>\d{4})

• Salah: (?<year>\d{4})

2. Fitur ekspresi reguler yang tidak didukung

Fitur ekspresi reguler umum berikut tetapi kompleks tidak didukung oleh RE2. Hindari menggunakannya:

• Assertion: (?=...), (?!...), (?<=...), atau (?<!...)

• Ekspresi kondisional: (?(condition)true|false)

• Pencocokan rekursif: (?R) atau (?0)

• Referensi subprogram: (?&name) atau (?P>name)

• Grup atomik: (?>...)

3. Rekomendasi

Gunakan alat seperti Regex101 untuk men-debug ekspresi reguler. Untuk memvalidasi kompatibilitas, pilih mode Golang (RE2). Plugin tidak dapat mengurai atau mencocokkan ekspresi yang berisi sintaks yang tidak didukung.