Container Service for Kubernetes：Kumpulkan log teks dari klaster yang dikelola sendiri dalam mode DaemonSet

CRD - AliyunPipelineConfig (direkomendasikan)

Untuk membuat konfigurasi Logtail, Anda hanya perlu membuat Custom Resource (CR) dari CRD AliyunPipelineConfig. Setelah CR dibuat, konfigurasi Logtail mulai berlaku.

1. Masuk ke klaster Kubernetes Anda.

2. Buat file bernama example-k8s-file.yaml.

   Anda dapat menggunakan Pembuat konfigurasi Logtail untuk menghasilkan skrip YAML yang digunakan untuk membuat konfigurasi Logtail untuk skenario Anda, atau tulis skrip YAML secara manual berdasarkan contoh berikut.

   Kode berikut menyediakan contoh file YAML yang digunakan untuk mengumpulkan log teks dari file test.LOG di direktori /data/logs/app_1 dari pod yang diberi label app: ^(.*test.*)$ di namespace default dalam mode multi-baris ke logstore k8s-file yang dibuat secara otomatis di proyek k8s-log-test. Modifikasi parameter berikut dalam file YAML sesuai kebutuhan:

   1. project: Contoh: k8s-log-test.

      Masuk ke konsol Layanan Log Sederhana. Periksa nama proyek yang dihasilkan setelah Logtail diinstal. Pada umumnya, nama proyek berformat k8s-log-<YOUR_CLUSTER_ID>.

   2. IncludeK8sLabel: Label yang digunakan untuk memfilter pod. Contoh: app: ^(.*test.*)$. Dalam contoh ini, log di pod yang memiliki kunci label app dan nilai label berisi test dikumpulkan.

      Catatan

      Untuk mengumpulkan log di pod yang namanya berisi test di klaster Anda, ganti parameter IncludeK8sLabel dengan parameter K8sContainerRegex dan gunakan karakter wildcard untuk menentukan nilai untuk parameter K8sContainerRegex. Contoh: K8sContainerRegex: ^(.test.)$.

   3. FilePaths: Contoh: /data/logs/app_1/**/test.LOG. Untuk informasi lebih lanjut, lihat Pemetaan jalur file untuk kontainer.

   4. Endpoint dan Region: Contoh untuk parameter Endpoint: ap-southeast-1.log.aliyuncs.com. Contoh untuk parameter Region: ap-southeast-1.

   Nilai parameter config mencakup jenis plug-in input, output, dan pemrosesan serta metode penyaringan kontainer. Untuk informasi lebih lanjut, lihat PipelineConfig. Untuk informasi lebih lanjut tentang parameter lengkap dalam file YAML, lihat Parameter CR.

   apiVersion: telemetry.alibabacloud.com/v1alpha1
   kind: ClusterAliyunPipelineConfig
   metadata:
     # Tentukan nama sumber daya. Nama harus unik di klaster Kubernetes saat ini. Nama tersebut sama dengan nama konfigurasi Logtail yang dibuat. Jika nama sumber daya sudah ada, nama tersebut tidak berlaku.
     name: example-k8s-file
   spec:
     # Tentukan nama proyek.
     project:
       name: k8s-log-test
     logstores:
       # Buat logstore bernama k8s-file.
       - name: k8s-file
     # Buat konfigurasi Logtail.
     config:
       # Masukkan contoh log. Anda dapat membiarkan parameter ini kosong.
       sample: |
         2024-06-19 16:35:00 INFO test log
         line-1
         line-2
         end
       # Tentukan plug-in input.
       inputs:
         # Gunakan plug-in input_file untuk mengumpulkan log teks multi-baris dari kontainer.
         - Type: input_file
           # Tentukan jalur file di kontainer.
           FilePaths:
             - /data/logs/app_1/**/test.LOG
           # Aktifkan fitur penemuan kontainer.
           EnableContainerDiscovery: true
           # Tambahkan kondisi untuk memfilter kontainer. Beberapa kondisi dievaluasi menggunakan AND logis.
           CollectingContainersMeta: true
           ContainerFilters:
             # Tentukan namespace pod tempat kontainer yang diperlukan berada. Pencocokan ekspresi reguler didukung.
             K8sNamespaceRegex: default
             # Tentukan nama kontainer yang diperlukan. Pencocokan ekspresi reguler didukung.
             IncludeK8sLabel:
               app: ^(.*app.*)$
           # Aktifkan pengumpulan log multi-baris. Jika Anda ingin mengumpulkan log satu baris, hapus parameter ini.
           Multiline:
             # Tentukan mode kustom untuk mencocokkan awal baris pertama log berdasarkan ekspresi reguler.
             Mode: custom
             # Tentukan ekspresi reguler yang digunakan untuk mencocokkan awal baris pertama log.
             StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'
       # Tentukan plug-in pemrosesan.
       processors:
         # Gunakan plug-in processor_parse_regex_native untuk menganalisis log berdasarkan ekspresi reguler yang ditentukan.
         - Type: processor_parse_regex_native
           # Tentukan nama bidang asli.
           SourceKey: content
           # Tentukan ekspresi reguler yang digunakan untuk analisis. Gunakan grup penangkapan untuk mengekstrak bidang.
           Regex: (\d+-\d+-\d+\s\S+)(.*)
           # Tentukan bidang yang ingin Anda ekstrak.
           Keys: ["time", "detail"]
       # Tentukan plug-in output.
       flushers:
         # Gunakan plug-in flusher_sls untuk mengirimkan log ke logstore tertentu.
         - Type: flusher_sls
           # Pastikan logstore ada.
           Logstore: k8s-file
           # Pastikan endpoint valid.
           Endpoint: ap-southeast-1.log.aliyuncs.com
           Region: ap-southeast-1
           TelemetryType: logs

3. Jalankan perintah kubectl apply -f example.yaml. Ganti example.yaml dengan nama file YAML yang Anda buat. Lalu, Logtail mulai mengumpulkan log teks kontainer ke Layanan Log Sederhana.

CRD - AliyunLogConfig

Untuk membuat konfigurasi Logtail, Anda hanya perlu membuat CR dari CRD AliyunLogConfig. Setelah CR dibuat, konfigurasi Logtail mulai berlaku.

1. Masuk ke klaster Kubernetes Anda.

2. Buat file bernama example-k8s-file.yaml.

   Kode berikut menyediakan contoh file YAML yang digunakan untuk membuat konfigurasi Logtail bernama example-k8s-file. Anda dapat menggunakan konfigurasi Logtail untuk mengumpulkan log teks dari file test.LOG di direktori /data/logs/app_1 dari kontainer yang namanya dimulai dengan app di klaster Anda dalam mode sederhana ke logstore k8s-file yang dibuat secara otomatis di proyek k8s-log-<YOUR_CLUSTER_ID>.

   Anda dapat memodifikasi jalur file log dalam contoh berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Pemetaan jalur file untuk kontainer.

   • logPath: Jalur file log. Contoh: /data/logs/app_1.

   • filePattern: Nama file dari mana Anda ingin mengumpulkan log. Contoh: test.LOG.

   Parameter logtailConfig menentukan detail Logtail, yang mencakup jenis plug-in input, output, dan pemrosesan serta metode penyaringan kontainer. Untuk informasi lebih lanjut, lihat AliyunLogConfigDetail. Untuk informasi lebih lanjut tentang parameter lengkap dalam file YAML, lihat Parameter CR.

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # Tentukan nama sumber daya. Nama harus unik di klaster Kubernetes saat ini.
     name: example-k8s-file
     # Tentukan namespace tempat sumber daya berada.
     namespace: kube-system
   spec:
     # Tentukan nama proyek. Jika Anda biarkan parameter ini kosong, proyek bernama k8s-log-<your_cluster_id> digunakan.
     # project: k8s-log-test
     # Tentukan nama logstore. Jika logstore yang ditentukan tidak ada, Layanan Log Sederhana secara otomatis membuat logstore.
     logstore: k8s-file
     # Buat konfigurasi Logtail.
     logtailConfig:
       # Tentukan jenis sumber data. Jika Anda ingin mengumpulkan log teks, atur nilainya menjadi file.
       inputType: file
       # Tentukan nama konfigurasi Logtail. Nama harus sama dengan nama sumber daya yang ditentukan oleh metadata.name.
       configName: example-k8s-file
       inputDetail:
         # Tentukan pengaturan yang memungkinkan Logtail mengumpulkan log teks dalam mode sederhana.
         logType: common_reg_log
         # Tentukan jalur file log.
         logPath: /data/logs/app_1
         # Tentukan nama file log. Anda dapat menggunakan karakter wildcard seperti asterisk (*) dan tanda tanya (?) ketika menentukan nama file log. Contoh: log_*.log.
         filePattern: test.LOG
         # Jika Anda ingin mengumpulkan log teks dari kontainer, atur nilainya menjadi true.
         dockerFile: true
         # Aktifkan pengumpulan log multi-baris. Jika Anda ingin mengumpulkan log satu baris, hapus parameter ini.
         # Tentukan ekspresi reguler untuk mencocokkan awal baris pertama log.
         logBeginRegex: \d+-\d+-\d+.*
         # Tentukan kondisi untuk memfilter kontainer.
         advanced:
           k8s:
             K8sPodRegex: '^(app.*)$'

3. Jalankan perintah kubectl apply -f example.yaml. Ganti example.yaml dengan nama file YAML yang Anda buat. Lalu, Logtail mulai mengumpulkan log teks kontainer ke Layanan Log Sederhana.

Konsol Layanan Log Sederhana

1. Masuk ke konsol Layanan Log Sederhana.

2. Di bagian Proyek, klik proyek yang Anda gunakan untuk menginstal komponen Logtail. Contoh: k8s-log-<your_cluster_id>. Di halaman yang muncul, klik Logstore yang ingin Anda kelola lalu klik Konfigurasi Logtail. Di halaman Konfigurasi Logtail, klik Tambah Konfigurasi Logtail. Di kotak dialog Impor Data Cepat, temukan kartu Kubernetes - File dan klik Integrasikan Sekarang.

3. Di langkah Machine Group Configurations dari wizard Impor Data, atur parameter Skenario ke Klaster Kubernetes dan parameter Metode Penyebaran ke ACK Daemonset, pilih grup mesin k8s-group-${your_k8s_cluster_id} dan klik ikon > untuk memindahkan grup mesin dari bagian Grup Mesin Sumber ke bagian Grup Server Teraplikasi, lalu klik Berikutnya.

4. Buat konfigurasi Logtail. Di langkah Konfigurasi Logtail dari wizard Impor Data, konfigurasikan parameter yang diperlukan dan klik Berikutnya. Sekitar 1 menit diperlukan untuk membuat konfigurasi Logtail.

   Daftar berikut menjelaskan pengaturan parameter utama. Untuk informasi lebih lanjut, lihat Buat konfigurasi Logtail.

   • Global Configurations

     Di bagian Global Configurations, konfigurasikan parameter Nama Konfigurasi.

     

   • Input Configurations

     • Logtail Deployment Mode: Mode penyebaran Logtail. Pilih DaemonSet.

     • File Path Type: Jenis jalur file yang ingin Anda gunakan untuk mengumpulkan log. Nilai valid: Path in Container dan Host Path. Jika volume hostPath dipasang ke kontainer dan Anda ingin mengumpulkan log dari file berdasarkan jalur file yang dipetakan pada host kontainer, atur parameter ini ke Host Path. Dalam skenario lain, atur parameter ini ke Path in Container.

     • File Path: Direktori yang digunakan untuk menyimpan log yang ingin Anda kumpulkan. Jalur file harus dimulai dengan garis miring (/). Dalam contoh ini, atur parameter Jalur File ke /data/wwwlogs/main/**/*.Log, yang menunjukkan bahwa log dikumpulkan dari file yang diakhiri dengan .Log di direktori /data/wwwlogs/main. Anda dapat mengonfigurasi parameter Kedalaman Pemantauan Direktori Maksimum untuk menentukan jumlah maksimum tingkat subdirektori yang ingin Anda pantau. Subdirektori tersebut berada di direktori file log yang Anda tentukan. Parameter ini menentukan tingkat subdirektori yang dapat dicocokkan oleh karakter wildcard ** dalam nilai parameter File Path. Nilai 0 menentukan bahwa hanya direktori file log yang ditentukan yang dipantau.

5. Create indexes dan preview data. Secara default, pengindeksan teks penuh diaktifkan untuk Layanan Log Sederhana. Dalam hal ini, indeks teks penuh dibuat. Anda dapat menanyakan semua bidang dalam log berdasarkan indeks. Anda juga dapat membuat indeks untuk bidang secara manual berdasarkan log yang dikumpulkan. Sebagai alternatif, Anda dapat mengklik Automatic Index Generation. Lalu, Layanan Log Sederhana menghasilkan indeks untuk bidang. Anda dapat menanyakan data secara akurat berdasarkan indeks bidang. Ini mengurangi biaya pengindeksan dan meningkatkan efisiensi kueri. Untuk informasi lebih lanjut, lihat Buat indeks.