Simple Log Service：Kumpulkan log kontainer (standard output dan file) dari kluster menggunakan konsol

1. Konfigurasi global dan input

Sebelum memulai, pastikan Anda telah memilih templat ingesti data dan menerapkannya ke kelompok mesin. Pada langkah ini, Anda akan menentukan nama konfigurasi pengumpulan, sumber log, dan cakupan pengumpulan.

Lihat log yang dilaporkan

1. Konfirmasi bahwa file log memiliki konten baru: LoongCollector hanya mengumpulkan log inkremental. Anda dapat menjalankan perintah tail -f /path/to/your/log/file dan memicu operasi layanan untuk memastikan log baru sedang ditulis.

2. Kueri log: Buka halaman kueri dan analisis Logstore target lalu klik Search & Analyze. Rentang waktu default adalah 15 menit terakhir. Periksa apakah log baru mengalir masuk. Setiap log teks kontainer yang dikumpulkan berisi informasi bidang default berikut:

   Nama bidang	Deskripsi
   __tag__:__hostname__	Nama host kontainer.
   __tag__:__path__	Jalur file log dalam kontainer.
   __tag__:_container_ip_	Alamat IP kontainer.
   __tag__:_image_name_	Nama image yang digunakan oleh kontainer.
   __tag__:_pod_name_	Nama pod.
   __tag__:_namespace_	Namespace tempat pod berada.
   __tag__:_pod_uid_	Pengenal unik (UID) pod.

FAQ troubleshooting

Bagaimana cara mengelola konfigurasi distribusi multi-tujuan?

Karena konfigurasi distribusi multi-tujuan terkait dengan beberapa Logstore, konfigurasi ini harus dikelola di halaman manajemen tingkat proyek:

1. Login ke Konsol Simple Log Service lalu klik nama proyek target.

2. Di panel navigasi kiri proyek target, klik Resources > Configuration Management.

   Catatan

   Halaman ini menyediakan manajemen terpusat untuk semua konfigurasi pengumpulan di bawah proyek, termasuk yang tersisa setelah Logstore dihapus secara tidak sengaja.

Bagaimana cara mengirim log kluster ACK ke proyek di akun Alibaba Cloud lain?

Anda dapat menginstal komponen LoongCollector (Logtail) Simple Log Service secara manual di kluster ACK lalu mengonfigurasinya dengan ID akun Alibaba Cloud atau kredensial akses (AccessKey) akun tujuan. Hal ini memungkinkan Anda mengirim log kontainer ke proyek Simple Log Service yang dimiliki oleh akun Alibaba Cloud lain.

Skenario: Karena alasan seperti struktur organisasi, isolasi izin, atau pemantauan terpadu, Anda mungkin perlu mengumpulkan data log dari kluster ACK lalu mengirimkannya ke proyek Simple Log Service yang dimiliki oleh akun Alibaba Cloud berbeda. Anda dapat melakukannya dengan menginstal LoongCollector (Logtail) secara manual untuk konfigurasi lintas akun.

Prosedur: Bagian ini menggunakan instalasi manual LoongCollector sebagai contoh. Untuk informasi lebih lanjut tentang cara menginstal Logtail, lihat Instalasi dan konfigurasi Logtail.

1. Hubungkan ke kluster Kubernetes lalu jalankan perintah sesuai wilayah kluster Anda:

   Wilayah Tiongkok

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   Wilayah di luar Tiongkok

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. Masuk ke direktori loongcollector-custom-k8s-package lalu modifikasi file konfigurasi ./loongcollector/values.yaml.

   # ===================== Informasi Wajib =====================
   # Nama proyek tempat log dari kluster ini akan dikumpulkan, contoh: k8s-log-custom-sd89ehdq
   projectName: ""
   # Wilayah proyek, contoh Shanghai: cn-shanghai
   region: ""
   # UID akun Alibaba Cloud pemilik proyek. Sertakan dalam tanda kutip, contoh: "123456789"
   aliUid: ""
   # Jaringan yang digunakan. Parameter opsional: Internet, Intranet. Default adalah Internet.
   net: Internet
   # ID AccessKey dan rahasia AccessKey akun Alibaba Cloud atau Pengguna RAM. Akun harus memiliki izin kebijakan sistem AliyunLogFullAccess.
   accessKeyID: ""
   accessKeySecret: ""
   # ID kluster kustom. Nama hanya boleh berisi huruf besar, huruf kecil, angka, dan tanda hubung (-).
   clusterID: ""

3. Di direktori loongcollector-custom-k8s-package, jalankan perintah berikut untuk menginstal LoongCollector dan komponen dependennya:

   bash k8s-custom-install.sh install

4. Setelah instalasi selesai, periksa status berjalan komponen.

   Jika pod gagal dimulai, periksa apakah konfigurasi values.yaml sudah benar dan apakah image terkait berhasil ditarik.

   # Periksa status pod
   kubectl get po -n kube-system | grep loongcollector-ds

   Bersamaan dengan itu, Simple Log Service secara otomatis membuat resource berikut. Anda dapat login ke Konsol Simple Log Service untuk melihatnya.

   Jenis resource	Nama resource	Fungsi
   Proyek	Nilai projectName yang didefinisikan dalam file values.yaml	Unit manajemen resource yang mengisolasi log layanan berbeda. Untuk membuat proyek guna manajemen resource log yang lebih fleksibel, lihat Buat proyek.
   Kelompok mesin	k8s-group-${cluster_id}	Kumpulan node pengumpulan log.
   Logstore	config-operation-log Penting Jangan hapus Logstore ini.	Menyimpan log komponen loongcollector-operator. Metode penagihannya sama dengan Logstore biasa. Untuk informasi lebih lanjut, lihat Item yang dikenai biaya metode pengukuran pay-by-ingested-data. Jangan buat konfigurasi pengumpulan di Logstore ini.

Bagaimana cara mengumpulkan log dari file yang sama atau standard output kontainer menggunakan beberapa konfigurasi pengumpulan?

Secara default, untuk mencegah duplikasi data, Simple Log Service hanya mengizinkan setiap sumber log dikumpulkan oleh satu konfigurasi pengumpulan:

• File log teks hanya dapat cocok dengan satu konfigurasi pengumpulan Logtail.

• Standard output (stdout) kontainer:

  • Jika Anda menggunakan templat standard output versi baru, standard output hanya dapat dikumpulkan oleh satu konfigurasi pengumpulan standard output secara default.

  • Jika Anda menggunakan templat standard output versi lama, tidak diperlukan konfigurasi tambahan. Mendukung pengumpulan ganda secara default.

1. Login ke Konsol Simple Log Service lalu buka proyek target.

2. Di panel navigasi kiri, pilih Logstores lalu temukan Logstore target.

3. Klik ikon di sebelah kiri nama Logstore untuk memperluasnya.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Aksi.

5. Pada halaman konfigurasi Logtail, klik Edit lalu gulir ke bawah ke bagian Input Configurations:

   • Untuk mengumpulkan log file teks: Aktifkan Allow File To Be Collected For Multiple Times.

   • Untuk mengumpulkan standard output kontainer, aktifkan Allow Standard Output To Be Collected Multiple Times.

Mengapa saya mendapatkan error dependensi saat mencoba menguninstal komponen loongcollector(logtail-ds) di ACK?

Masalah: Saat Anda mencoba menghapus komponen pengumpulan log loongcollector (logtail-ds) di Container Service for Kubernetes (ACK), sistem melaporkan error: `The dependencies of this component are not met`.

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

Penyebab: Plugin jaringan terway-eniip telah mengaktifkan fitur pengumpulan log, yang bergantung pada komponen loongcollector (logtail-ds). Oleh karena itu, ACK tidak mengizinkan Anda menguninstal loongcollector (logtail-ds) secara langsung sebelum menghapus dependensi ini.

Solusi: Ikuti langkah-langkah berikut untuk menghapus dependensi lalu menguninstal komponen:

1. Login ke Konsol Container Service for Kubernetes.

2. Di daftar kluster, klik nama kluster target.

3. Di panel navigasi kiri, klik Component Management.

4. Di daftar komponen, cari dan temukan komponen terway-eniip, lalu klik > Disable Logging.

5. Di kotak dialog yang muncul, klik Confirm.

6. Setelah konfigurasi berlaku, coba uninstal komponen loongcollector (logtail-ds) lagi.

Mengapa entri log terakhir dilaporkan setelah penundaan lama? Mengapa kadang terpotong?

Penyebab: Log biasanya terpotong jika file log tidak memiliki line feed di akhir, atau jika log multiline, seperti stack exception, belum sepenuhnya ditulis. Karena collector tidak dapat menentukan apakah log telah berakhir, bagian akhir konten mungkin terpisah terlalu dini atau dilaporkan dengan penundaan. Mekanisme penanganan berbeda berdasarkan versi LoongCollector (Logtail):

• Versi sebelum 1.8:
  Jika baris terakhir log tidak memiliki line feed (carriage return), atau jika paragraf log multiline belum selesai, collector menunggu tulisan berikutnya untuk memicu output. Hal ini dapat menyebabkan entri log terakhir ditahan lama tanpa dikirim hingga log baru ditulis.
  
  

• Versi 1.8 dan lebih baru:
  Mekanisme refresh timeout diperkenalkan untuk mencegah log macet. Saat baris log yang tidak lengkap terdeteksi, sistem memulai timer. Setelah periode timeout berakhir, konten saat ini secara otomatis dikirimkan, yang memastikan log akhirnya dikumpulkan.
  
  

  • Timeout default: 60 detik. Ini memastikan integritas dalam sebagian besar skenario.

  • Anda dapat menyesuaikan nilai ini sesuai kebutuhan, tetapi jangan mengaturnya ke 0. Hal ini dapat menyebabkan log terpotong atau sebagian hilang.

Solusi:

Anda dapat memperpanjang waktu tunggu untuk memastikan log lengkap ditulis sebelum dikumpulkan:

1. Login ke Konsol Simple Log Service lalu buka proyek target.

2. Di panel navigasi kiri, pilih Logstores lalu temukan Logstore target.

3. Klik ikon di sebelah kiri nama Logstore untuk memperluasnya.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Aksi.

5. Pada halaman konfigurasi Logtail, klik Edit:

   • Pilih Input Configurations > Other Input Configurations > Advanced Parameters. Tambahkan konfigurasi JSON berikut untuk menyesuaikan periode timeout.

     {
       "FlushTimeoutSecs": 1
     }

     • Nilai default: Ditentukan oleh parameter startup default_reader_flush_timeout, yang biasanya beberapa detik.

     • Unit: Detik.

     • Nilai yang disarankan: ≥1 detik. Jangan mengaturnya ke 0. Hal ini dapat menyebabkan log terpotong atau sebagian hilang.

6. Setelah konfigurasi, klik Save.

Mengapa LoongCollector (Logtail) beralih dari titik akhir internal ke titik akhir publik selama operasi? Dapatkah beralih kembali secara otomatis?

Jika LoongCollector (Logtail) mendeteksi anomali dalam komunikasi titik akhir internal, seperti kegagalan jaringan atau timeout koneksi, sistem secara otomatis beralih ke titik akhir publik untuk transmisi data. Hal ini memastikan kelangsungan dan keandalan pengumpulan log serta mencegah akumulasi atau kehilangan log.

• LoongCollector: Secara otomatis beralih kembali ke jaringan internal setelah jaringan dipulihkan.

• Logtail: Tidak beralih kembali secara otomatis. Anda harus me-restart secara manual untuk melanjutkan komunikasi jaringan internal.

Di bagian Processor Configurations pada halaman Logtail Configuration, tambahkan prosesor untuk menstrukturkan log mentah. Untuk menambahkan plugin pemrosesan ke konfigurasi pengumpulan yang sudah ada, ikuti langkah-langkah berikut:

1. Di panel navigasi kiri, pilih Logstores lalu temukan logstore target.

2. Klik ikon di sebelah kiri nama logstore untuk memperluasnya.

3. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Aksi.

4. Pada halaman konfigurasi Logtail, klik Edit.

Bagian ini hanya memperkenalkan plugin pemrosesan yang umum digunakan yang mencakup kasus penggunaan pemrosesan log umum. Untuk fitur lainnya, lihat Prosesor lanjutan.

Parsing berbasis pembatas

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Parsing JSON standar

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Parsing JSON bersarang

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Parsing array JSON

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Parsing log Apache

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Penyamaran data

Anda dapat menyamarkan data sensitif dalam log.

Contoh:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor lalu pilih Native Processor > Data Masking:

• Original Field: Bidang yang digunakan untuk menyimpan konten log sebelum parsing.

• Data Masking Method:

  • const: Mengganti konten sensitif dengan string yang ditentukan.

  • md5: Mengganti konten sensitif dengan hash MD5-nya.

• Replacement String: Jika Anda mengatur Data Masking Method ke const, Anda harus memasukkan string untuk mengganti konten sensitif.

• Content Expression That Precedes Replaced Content: Digunakan untuk menemukan konten sensitif, dikonfigurasi menggunakan sintaks RE2.

• Expression For Content To Be Replaced: Ekspresi untuk konten sensitif, dikonfigurasi menggunakan sintaks RE2.

1. Perbedaan sintaks grup bernama

Go menggunakan sintaks (?P<name>...) untuk mendefinisikan grup bernama dan tidak mendukung sintaks (?<name>...) dari PCRE.

• Benar: (?P<year>\d{4})

• Salah: (?<year>\d{4})

2. Fitur ekspresi reguler yang tidak didukung

Fitur ekspresi reguler umum tetapi kompleks berikut tidak didukung oleh RE2. Hindari penggunaannya:

• Assertion: (?=...), (?!...), (?<=...), atau (?<!...)

• Ekspresi kondisional: (?(condition)true|false)

• Pencocokan rekursif: (?R) atau (?0)

• Referensi subprogram: (?&name) atau (?P>name)

• Grup atomik: (?>...)

3. Rekomendasi

Gunakan alat seperti Regex101 untuk men-debug ekspresi reguler. Untuk memvalidasi kompatibilitas, pilih mode Golang (RE2). Plugin tidak dapat mengurai atau mencocokkan ekspresi yang berisi sintaks yang tidak didukung.