Simple Log Service:Kumpulkan log kontainer (standard output dan file)

1. Konfigurasi global dan input

Pada langkah ini, tentukan nama, sumber log, dan cakupan untuk konfigurasi pengumpulan Anda.

Lihat log yang dikumpulkan

1. Konfirmasi bahwa file log memiliki konten baru: LoongCollector hanya mengumpulkan log inkremental. Jalankan tail -f /path/to/your/log/file dan picu operasi bisnis untuk memastikan log baru sedang ditulis.

2. Cari log: Buka halaman Search & Analyze Logstore target. Klik Search & Analyze. Rentang waktu default adalah 15 menit terakhir. Periksa apakah log baru telah diingest. Setiap log teks kontainer yang dikumpulkan mencakup field berikut secara default:

   Parameter	Deskripsi
   __tag__:__hostname__	Nama host kontainer.
   __tag__:__path__	Path file log di dalam kontainer.
   __tag__:_container_ip_	Alamat IP kontainer.
   __tag__:_image_name_	Nama image yang digunakan oleh kontainer.
   __tag__:_pod_name_	Nama Pod.
   __tag__:_namespace_	Namespace Pod.
   __tag__:_pod_uid_	Pengenal unik (UID) Pod.

Melihat riwayat node sebuah Pod

Jika Pod mengalami drift atau restart, Anda dapat mengkueri log event Kubernetes kluster ACK Anda di Simple Log Service untuk menemukan node tempat Pod tersebut sebelumnya berjalan.

1. Masuk ke konsol Simple Log Service dan temukan proyek k8s-log-{cluster_id} di daftar proyek.

2. Klik LogStore k8s-event untuk membuka halaman kueri dan analisis.

3. Di kotak pencarian, masukkan pernyataan kueri yang menyaring berdasarkan nama Pod, misalnya, pod_name: my-pod, lalu klik Search & Analyze.

4. Di hasil yang dikembalikan, periksa nilai field hostname. Nilai ini adalah hostname node tempat Pod berjalan.

Atasi masalah umum

Kelola konfigurasi distribusi multi-tujuan

Karena konfigurasi distribusi multi-tujuan berlaku untuk beberapa logstore, kelola dari halaman manajemen tingkat Project:

1. Masuk ke konsol Simple Log Service lalu klik nama Project target.

2. Di halaman Project, di panel navigasi sisi kiri, klik Resource Group > Configurations.

   Catatan

   Halaman ini mengelola semua konfigurasi pengumpulan dalam Project, termasuk konfigurasi untuk logstore yang tidak sengaja dihapus.

Kirim log ACK ke Project lintas akun

Anda dapat mengirim log kontainer ke Project Simple Log Service (SLS) di akun Alibaba Cloud lain dengan menginstal komponen LoongCollector (Logtail) secara manual di kluster ACK dan mengonfigurasinya dengan ID akun Alibaba Cloud target atau kredensial akses (AccessKey).

Deskripsi skenario: Jika Anda perlu mengumpulkan data log ke Project SLS akun lain untuk keperluan organisasi, izin, atau pemantauan, instal LoongCollector (Logtail) secara manual untuk mengaktifkan pengumpulan lintas akun.

Prosedur: Ikuti langkah-langkah berikut untuk menginstal LoongCollector secara manual. Untuk informasi tentang cara menginstal Logtail, lihat Instal dan konfigurasikan Logtail.

1. Hubungkan ke kluster Kubernetes dan jalankan perintah yang sesuai untuk wilayah Anda:

   Wilayah Tiongkok

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   Wilayah di luar Tiongkok

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. Masuk ke direktori loongcollector-custom-k8s-package dan modifikasi file konfigurasi ./loongcollector/values.yaml.

   # ===================== Informasi Wajib =====================
   # Nama Project tempat log dari kluster ini dikirim. Contoh: k8s-log-custom-sd89ehdq
   projectName: ""
   # Wilayah tempat Project berada. Contoh: cn-shanghai
   region: ""
   # UID Akun Alibaba Cloud yang memiliki Project. Sertakan UID dalam tanda kutip (""). Contoh: "123456789"
   aliUid: ""
   # Jenis jaringan. Nilai yang valid: Internet dan Intranet. Nilai default: Internet.
   net: Internet
   # ID AccessKey dan rahasia AccessKey dari akun Alibaba Cloud atau Pengguna RAM. Akun atau Pengguna RAM harus memiliki izin kebijakan sistem AliyunLogFullAccess.
   accessKeyID: ""
   accessKeySecret: ""
   # ID kluster kustom. ID hanya boleh berisi huruf besar, huruf kecil, angka, dan tanda hubung (-).
   clusterID: ""

3. Di direktori loongcollector-custom-k8s-package, jalankan perintah berikut untuk menginstal LoongCollector dan dependensinya:

   bash k8s-custom-install.sh install

4. Setelah instalasi selesai, verifikasi bahwa komponen berjalan.

   Jika pod gagal dimulai, verifikasi konfigurasi di file values.yaml dan pastikan image yang diperlukan telah ditarik.

   # Periksa status pod
   kubectl get po -n kube-system | grep loongcollector-ds

   Simple Log Service juga secara otomatis membuat sumber daya berikut. Anda dapat melihatnya di konsol Simple Log Service.

   Jenis sumber daya	Nama sumber daya	Deskripsi
   Project	Nilai projectName yang Anda tentukan di file values.yaml	Mengisolasi log dari layanan yang berbeda. Untuk manajemen log yang fleksibel, Buat Project.
   Kelompok mesin	k8s-group-${cluster_id}	Kumpulan node pengumpulan log. Alamat IP node Kubernetes berubah secara dinamis saat kluster diskalakan, sehingga mengidentifikasi kelompok mesin berdasarkan alamat IP dapat menyebabkan kegagalan heartbeat. Oleh karena itu, kelompok mesin dalam skenario Kubernetes menggunakan pengenal kustom. Untuk informasi lebih lanjut, lihat Panduan mengaitkan kelompok mesin dengan konfigurasi pengumpulan.

   Penting

   Komponen LoongCollector tidak membuat logstore bernama config-operation-log. Jika logstore ini sudah ada, LoongCollector tidak akan menulis log ke dalamnya.

Gunakan beberapa konfigurasi untuk sumber yang sama

Secara default, untuk mencegah duplikasi data, Simple Log Service (SLS) hanya mengizinkan satu konfigurasi pengumpulan untuk mengumpulkan log dari setiap sumber:

• File log teks hanya dapat cocok dengan satu konfigurasi pengumpulan Logtail.

• Standard output (stdout) kontainer:

  • Jika Anda menggunakan templat standard output versi baru, stdout hanya dapat dikumpulkan oleh satu konfigurasi pengumpulan standard output secara default.

  • Jika Anda menggunakan templat standard output versi lama, tidak diperlukan konfigurasi tambahan, dan pengumpulan ganda didukung secara default.

1. Masuk ke konsol Simple Log Service lalu buka Project target.

2. Di panel navigasi sisi kiri, pilih Logstore dan temukan logstore target.

3. Klik ikon di sebelah nama logstore untuk memperluasnya.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Actions.

5. Di halaman konfigurasi Logtail, klik Edit lalu gulir ke bagian Input Configurations:

   • Untuk mengumpulkan log file teks, aktifkan Allow File to Be Collected for Multiple Times.

   • Untuk mengumpulkan standard output kontainer, aktifkan Allow Collection by Different Logtail Configurations.

Error dependensi saat menguninstall loongcollector

Masalah: Saat mencoba menguninstall komponen loongcollector (logtail-ds) di Container Service for Kubernetes (ACK), Anda menerima error bahwa dependensi komponen tidak terpenuhi.

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

Penyebab: Plugin jaringan terway-eniip telah mengaktifkan pengumpulan log, yang menciptakan dependensi pada komponen loongcollector (logtail-ds). Oleh karena itu, ACK tidak mengizinkan Anda menguninstall loongcollector (logtail-ds) sampai Anda menghapus dependensi ini.

Solusi: Ikuti langkah-langkah berikut untuk menghapus dependensi lalu menguninstall komponen:

1. Masuk ke konsol ACK.

2. Di daftar kluster, klik nama kluster target untuk membuka halaman detailnya.

3. Di panel navigasi sisi kiri, klik Add-ons.

4. Di daftar add-on, cari komponen terway-eniip lalu klik Disable Logging.

5. Di kotak dialog yang muncul, klik OK.

6. Setelah konfigurasi diterapkan, coba uninstall komponen loongcollector (logtail-ds) lagi.

Entri log terakhir tertunda atau terpotong

Penyebab: Pemotongan log biasanya terjadi ketika file log tidak memiliki line feed di akhir, atau ketika entri log multiline, seperti stack exception, belum ditulis sepenuhnya. Karena collector tidak dapat menentukan apakah entri log sudah lengkap, entri log terakhir mungkin terbagi atau tertunda. Cara penanganannya tergantung pada versi LoongCollector (Logtail) Anda:

• Versi sebelum 1.8:
  Jika baris terakhir log tidak memiliki line feed (carriage return), atau jika blok log multiline tidak lengkap, collector menunggu operasi penulisan berikutnya untuk memicu output. Hal ini dapat sangat menunda entri log terakhir sampai log baru ditulis.
  
  
  
  

• Versi 1.8 dan lebih baru:
  Versi ini memperkenalkan mekanisme flush timeout untuk mencegah log macet. Ketika baris log yang tidak lengkap terdeteksi, sistem memulai timer. Setelah periode timeout berakhir, konten saat ini secara otomatis dikirimkan untuk memastikan log akhirnya dikumpulkan.
  
  
  
  

  • Timeout default: 60 detik (memastikan integritas data dalam sebagian besar skenario)

  • Anda dapat menyesuaikan nilai ini berdasarkan kebutuhan Anda. Namun, kami merekomendasikan agar Anda tidak mengaturnya ke 0 karena dapat menyebabkan pemotongan log atau kehilangan data parsial.

Solusi:

Anda dapat memperpanjang waktu tunggu untuk memastikan entri log lengkap ditulis sebelum dikumpulkan:

1. Masuk ke konsol Simple Log Service lalu buka Project target.

2. Di panel navigasi sisi kiri, pilih Logstore dan temukan logstore target.

3. Klik ikon di sebelah nama logstore untuk memperluasnya.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target lalu klik Manage Logtail Configuration di kolom Actions.

5. Di halaman konfigurasi Logtail, klik Edit.

   • Buka Input Configurations > Other Input Configurations > Advanced Parameters lalu tambahkan konfigurasi JSON berikut untuk menyesuaikan periode timeout.

     {
       "FlushTimeoutSecs": 1
     }

     • Nilai default: Ditentukan oleh parameter startup default_reader_flush_timeout, yang biasanya beberapa detik.

     • Unit: Detik.

     • Nilai yang direkomendasikan: ≥ 1 detik. Kami merekomendasikan agar Anda tidak mengaturnya ke 0 karena dapat menyebabkan pemotongan log atau kehilangan data parsial.

6. Setelah menyelesaikan konfigurasi, klik OK.

Failover dan pemulihan jaringan LoongCollector

Jika LoongCollector (Logtail) mendeteksi masalah konektivitas jaringan internal, seperti kegagalan atau timeout, sistem secara otomatis beralih ke jaringan publik. Mekanisme failover ini memastikan pengumpulan log yang andal dan mencegah penumpukan atau kehilangan data.

• LoongCollector: Secara otomatis beralih kembali ke jaringan internal setelah jaringan pulih.

• Logtail: Tidak secara otomatis beralih kembali. Anda harus me-restart-nya untuk memulihkan komunikasi jaringan internal.

Di halaman Logtail Configuration, di area Processor Configurations, Anda dapat menambahkan plugin pemrosesan untuk mengstrukturisasi log mentah. Untuk menambahkan plugin pemrosesan ke konfigurasi pengumpulan yang sudah ada, Anda dapat mengikuti langkah-langkah berikut:

1. Di panel navigasi kiri, pilih Logstore dan temukan Logstore tujuan.

2. Klik di sebelah kiri nama Logstore untuk memperluasnya.

3. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail tujuan lalu klik Manage Logtail Configuration di kolom Actions.

4. Di halaman konfigurasi Logtail, klik Edit.

Bagian ini hanya memperkenalkan plugin pemrosesan yang umum digunakan yang mencakup skenario pemrosesan log umum. Untuk fitur lainnya, lihat Plugin pemrosesan ekstensi.

Penguraian delimiter

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Penguraian JSON standar

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Penguraian JSON bersarang

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Penguraian array JSON

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Penguraian log Apache

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Penyembunyian data

Sembunyikan data sensitif dalam log Anda.

Contoh:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Prosedur: Di halaman Logtail Configuration, di bagian Processor Configurations, klik Add Processor, lalu pilih Native Processor > Data Masking:

• Original Field: Field sumber yang berisi konten yang akan disembunyikan.

• Data Masking Method:

  • const: Mengganti konten sensitif dengan string yang ditentukan.

  • md5: Mengganti konten sensitif dengan nilai hash MD5-nya.

• Replacement String: String yang digunakan untuk penyembunyian. Ini diperlukan ketika Data Masking Method diatur ke const.

• Content Expression that Precedes Replaced Content: Ekspresi reguler dalam sintaks RE2 untuk menemukan konten tepat sebelum data sensitif.

• Content Expression to Match Replaced Content: Ekspresi reguler dalam sintaks RE2 untuk mencocokkan data sensitif yang ingin Anda ganti.

1. Perbedaan sintaks grup bernama

Go menggunakan sintaks (?P<name>...) untuk mendefinisikan grup bernama dan tidak mendukung sintaks (?<name>...) dari PCRE.

• Benar: (?P<year>\d{4})

• Salah: (?<year>\d{4})

2. Fitur ekspresi reguler yang tidak didukung

Mesin RE2 tidak mendukung fitur ekspresi reguler umum berikut yang kompleks. Hindari penggunaannya:

• Assertion: (?=...), (?!...), (?<=...), dan (?<!...)

• Ekspresi kondisional: (?(condition)true|false)

• Pencocokan rekursif: (?R) dan (?0)

• Referensi subprogram: (?&name) dan (?P>name)

• Grup atomik: (?>...)

3. Rekomendasi

Gunakan alat seperti Regex101 untuk men-debug ekspresi reguler Anda. Untuk memastikan kompatibilitas, pilih mode Golang (RE2) untuk validasi. Jika Anda menggunakan sintaks yang tidak didukung, plugin tidak akan dapat menguraikan atau mencocokkan ekspresi tersebut.

Keunggulan utama standard output baru

• Kinerja yang jauh lebih baik

• Direkayasa ulang dalam C++, versi baru memberikan peningkatan kinerja 180% hingga 300% dibandingkan implementasi Go sebelumnya.

• Mendukung pemrosesan data dengan plugin native dan pemrosesan paralel multi-threading, yang sepenuhnya memanfaatkan sumber daya sistem.

• Mendukung kombinasi fleksibel plugin native dan plugin Go untuk memenuhi kebutuhan skenario kompleks.

• Keandalan yang lebih kuat

• Mendukung antrian rotasi untuk log standard output dan menyatukan mekanisme pengumpulan log dengan mekanisme pengumpulan file, yang memberikan keandalan tinggi saat log standard output berotasi dengan cepat.

• Konsumsi sumber daya yang lebih rendah

• Penggunaan CPU berkurang 20% hingga 25%.

• Penggunaan memori berkurang 20% hingga 25%.

• Konsistensi O&M yang ditingkatkan

• Parameter konfigurasi terpadu: Parameter konfigurasi plugin pengumpulan standard output baru konsisten dengan plugin pengumpulan file.

• Manajemen metadata terpadu: Penamaan field metadata kontainer dan lokasi penyimpanan tag disatukan dengan skenario pengumpulan file, sehingga sisi konsumen hanya perlu mempertahankan satu set logika pemrosesan.

Perbandingan fitur versi baru dan lama

Pemetaan field metadata kontainer

Dalam versi baru, semua field metadata disimpan di bagian tag log dalam format __tag__:<kunci> alih-alih disematkan dalam konten log.

Dampak versi baru terhadap pengguna

• Adaptasi sisi konsumen: Karena lokasi penyimpanan berubah dari konten ke tag, Anda harus menyesuaikan logika konsumsi log Anda. Misalnya, Anda harus mengakses field melalui __tag__ saat menjalankan kueri.

• Kompatibilitas SQL: SQL kueri sudah secara otomatis kompatibel dengan kedua versi, sehingga Anda tidak perlu memodifikasi pernyataan kueri Anda untuk memproses log dari versi mana pun.