Container Service for Kubernetes:Kumpulkan Log dari Layanan Knative

CRD - AliyunPipelineConfig (direkomendasikan)

Buat Custom Resource (CR) dari Custom Resource Definition (CRD) AliyunPipelineConfig. Konfigurasi diterapkan secara otomatis saat CR dibuat. Untuk memodifikasi konfigurasi, perbarui CR tersebut.

Batasan utama:

• Nilai configName harus unik dalam proyek SLS.

• Buat satu CR per konfigurasi Logtail. Jika beberapa CR mereferensikan konfigurasi yang sama, hanya CR pertama yang berlaku.

Langkah-langkah:

1. Dapatkan file kubeconfig dan hubungkan ke kluster Anda menggunakan kubectl.

2. Buat file YAML:

   vim cube.yaml

3. Tambahkan konfigurasi ke file YAML. Lihat contoh di bawah.

4. Terapkan konfigurasi:

   kubectl apply -f cube.yaml

   Logtail mulai mengumpulkan log dari kontainer yang ditentukan dan mengirimkannya ke SLS.

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Buat CR dari CRD ClusterAliyunPipelineConfig.
kind: ClusterAliyunPipelineConfig
metadata:
  # Nama harus unik dalam kluster Kubernetes. Nama ini juga digunakan sebagai nama konfigurasi Logtail.
  name: example-k8s-file
spec:
  # Tentukan proyek tempat log dikumpulkan.
  project:
    name: k8s-log-test
  # Buat Logstore untuk menyimpan log.
  logstores:
    - name: k8s-file
  config:
    inputs:
      # Gunakan input_file untuk mengumpulkan log teks dari kontainer.
      - Type: input_file
        # Path file log di dalam kontainer.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Aktifkan penemuan kontainer.
        EnableContainerDiscovery: true
        # Filter kontainer. Beberapa kondisi menggunakan logika AND.
        ContainerFilters:
          # Cocokkan kontainer di namespace default.
          K8sNamespaceRegex: default
          # Cocokkan kontainer yang namanya mengandung "app".
          K8sContainerRegex: ^(.*app.*)$
    flushers:
      # Gunakan flusher_sls untuk mengirim log ke Logstore.
      - Type: flusher_sls
        Logstore: k8s-file
        # Untuk nilai endpoint dan region yang valid, lihat https://www.alibabacloud.com/help/en/sls/developer-reference/service-entrance
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Buat CR dari CRD ClusterAliyunPipelineConfig.
kind: ClusterAliyunPipelineConfig
metadata:
  name: example-k8s-file
spec:
  project:
    name: k8s-log-test
  logstores:
    - name: k8s-file
  config:
    # Opsional: tambahkan log contoh sebagai referensi.
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    inputs:
      - Type: input_file
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        EnableContainerDiscovery: true
        # Aktifkan pengumpulan log multi-baris.
        Multiline:
          # Gunakan regex kustom untuk mengidentifikasi baris pertama setiap entri log.
          Mode: custom
          StartPattern: \d+-\d+-\d+.*
    processors:
      # Uraikan log menggunakan ekspresi reguler. Grup penangkapan menentukan field yang diekstraksi.
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        Keys: ["time", "level", "msg"]
    flushers:
      - Type: flusher_sls
        Logstore: k8s-file
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

CRD - AliyunLogConfig

Buat CR dari CRD AliyunLogConfig. Konfigurasi diterapkan secara otomatis. Untuk memodifikasinya, perbarui CR tersebut.

Langkah-langkah:

1. Dapatkan file kubeconfig dan hubungkan ke kluster Anda menggunakan kubectl.

2. Buat file YAML:

   vim cube.yaml

3. Tambahkan konfigurasi. Lihat contoh di bawah. Nilai configName harus unik dalam proyek SLS.

4. Terapkan konfigurasi:

   kubectl apply -f cube.yaml

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: example-k8s-file
  namespace: kube-system
spec:
  # Jika dibiarkan kosong, proyek bernama k8s-log-<your_cluster_id> digunakan.
  project: k8s-log-test
  # Jika Logstore yang ditentukan tidak ada, SLS membuatnya secara otomatis.
  logstore: k8s-file
  logtailConfig:
    # Atur ke "file" untuk log teks.
    inputType: file
    configName: example-k8s-file
    inputDetail:
      # Mode sederhana untuk log teks.
      logType: common_reg_log
      logPath: /data/logs/app_1
      # Mendukung karakter wildcard (* dan ?). Contoh: log_*.log
      filePattern: test.LOG
      # Diperlukan untuk pengumpulan log kontainer.
      dockerFile: true
      advanced:
        k8s:
          K8sPodRegex: '^(app.*)$'

Konsol SLS

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Quick Data Import, klik Import Data. Di kotak dialog Import Data, klik kartu Kubernetes - File.

   

3. Pilih proyek dan Logstore yang akan digunakan, lalu klik Next. Pilih proyek yang dibuat saat Anda menginstal komponen Logtail.

4. Di langkah Machine Group Configurations, konfigurasikan hal berikut:

   1. Pilih opsi machine group berdasarkan pengaturan Anda:

      • Kubernetes Clusters > ACK Daemonset

      • Kubernetes Clusters > Self-managed Cluster in DaemonSet Mode

      Penting

      Pengaturan selanjutnya bervariasi tergantung opsi yang Anda pilih.

   2. Konfirmasi bahwa machine group yang diperlukan muncul di bagian Applied Server Groups, lalu klik Next. Setelah menginstal Logtail di kluster ACK, SLS secara otomatis membuat machine group bernama k8s-group-${your_k8s_cluster_id} yang dapat Anda gunakan langsung.

      Penting

      • Untuk membuat machine group baru, klik Create Machine Group dan konfigurasikan parameter. Lihat Kumpulkan log kontainer dari kluster ACK.

      • Jika status heartbeat machine group adalah FAIL, klik Automatic Retry. Jika masalah berlanjut, lihat Bagaimana cara memecahkan masalah error terkait machine group Logtail?

5. Buat konfigurasi Logtail dan klik Next. SLS mulai mengumpulkan log setelah konfigurasi dibuat. Opsi filter kontainer Opsi filter berikut tersedia untuk Logtail 1.0.34 dan versi lebih baru. Untuk versi sebelumnya, gunakan hanya variabel lingkungan dan label kontainer.

   • K8s Pod Name Regular Matching: Cocokkan kontainer berdasarkan nama pod menggunakan ekspresi reguler. Contoh: ^(nginx-log-demo.*)$ mencocokkan semua kontainer di pod yang namanya diawali dengan nginx-log-demo.

   • K8s Namespace Regular Matching: Cocokkan kontainer berdasarkan namespace. Contoh: ^(default|nginx)$ mencocokkan kontainer di namespace nginx dan default.

   • K8s Container Name Regular Matching: Cocokkan kontainer berdasarkan nama kontainer (seperti yang didefinisikan di spec.containers). Contoh: ^(container-test)$ mencocokkan kontainer bernama container-test.

   • Whitelist / Blacklist Label Kontainer: Filter kontainer berdasarkan label kontainer (pasangan kunci-nilai). Namespace dan nama kontainer Kubernetes dipetakan ke label io.kubernetes.pod.namespace dan io.kubernetes.container.name. Pasangan kunci-nilai dievaluasi dengan logika OR. Pencocokan string adalah default; awali dengan ^ dan akhiri dengan $ untuk pencocokan regex.

   • Whitelist / Blacklist Variabel Lingkungan: Filter kontainer berdasarkan pasangan kunci-nilai variabel lingkungan. Logika OR berlaku. Contoh: atur Environment Variable Name ke NGINX_SERVICE_PORT dan Environment Variable Value ke ^(80|6379)$ untuk mencocokkan kontainer di port 80 atau 6379.

   • Whitelist / Blacklist Label Pod Kubernetes: Filter kontainer berdasarkan label pod Kubernetes (berbeda dari label kontainer). Logika OR berlaku. Contoh: atur Label Name ke environment dan Label Value ke ^(dev|pre)$ untuk mencocokkan kontainer dengan label pod environment:dev atau environment:pre.

   Catatan Konfigurasi Logtail memerlukan waktu hingga 3 menit untuk berlaku.
   Penting

   Label kontainer (diambil melalui docker inspect) berbeda dari label Kubernetes. Lihat Dapatkan label dan Dapatkan variabel lingkungan.

   Konfigurasi global

   Parameter	Deskripsi
   Nama konfigurasi	Masukkan nama unik untuk konfigurasi dalam proyek. Nama tidak dapat diubah nanti.
   Jenis topik log	Pilih cara topik log dihasilkan. Opsi: Machine Group Topic (menggunakan topik machine group untuk membedakan log dari grup berbeda), File Path Extraction (menggunakan regex untuk mengekstrak bagian path file sebagai topik), Custom (tentukan topik kustom). Lihat Topik log.
   Parameter lanjutan	Opsional. Konfigurasikan parameter global lanjutan. Lihat CreateLogtailPipelineConfig.

   Konfigurasi input

   Parameter	Deskripsi
   Logtail deployment mode	Pilih Daemonset untuk kasus penggunaan ini.
   File path type	Pilih Path in Container dalam kebanyakan kasus. Pilih Host Path hanya jika volume hostPath dipasang dan Anda ingin mengumpulkan log berdasarkan path yang dipetakan di host kontainer.
   File path	Tentukan path file log. Path Linux diawali dengan / (contoh: /apsara/nuwa//app.Log`). Path Windows diawali dengan huruf drive (contoh: `C:\Program Files\Intel\\*.Log). Gunakan * dan ? sebagai karakter wildcard saja. Contoh: /apsara/nuwa/**/*.log mengumpulkan semua file .log di bawah /apsara/nuwa secara rekursif. /var/logs/app_*/**/*.log mengumpulkan file .log di subdirektori yang cocok dengan app_* di bawah /var/logs. /var/log/nginx/**/access* mengumpulkan file yang diawali dengan access di bawah /var/log/nginx secara rekursif.
   Maximum directory monitoring depth	Atur jumlah maksimum level subdirektori yang dipantau untuk wildcard ** di path file. Nilai 0 hanya memantau direktori yang ditentukan. Pertahankan nilai ini serendah mungkin sesuai kebutuhan Anda—nilai besar meningkatkan konsumsi resource pemantauan dan dapat menyebabkan latensi pengumpulan.
   Enable container metadata preview	Saat diaktifkan, menampilkan informasi kontainer yang cocok dan metadata kontainer lengkap setelah konfigurasi dibuat.
   Container filtering	Filter kontainer mana yang akan dikumpulkan lognya. Perilaku filter tergantung pada versi Logtail: jika Logtail sebelum 1.0.34, gunakan hanya variabel lingkungan dan label kontainer. Jika Logtail 1.0.34 atau lebih baru, gunakan filter tingkat Kubernetes (Nama Pod K8s, Namespace, Nama Kontainer, dan Label Pod). Lihat opsi filter kontainer di bawah.
   Log tag enrichment	Tambahkan tag log dari variabel lingkungan dan label pod.
   File encoding	Pilih format encoding file log.
   First collection size	Ukuran data yang dikumpulkan Logtail dari file pada pengumpulan pertama. Default: 1.024 KB. Rentang: 0–10.485.760 KB. Jika file lebih kecil dari 1.024 KB, Logtail dimulai dari awal. Jika lebih besar, Logtail mengumpulkan 1.024 KB terakhir.
   Collection blacklist	Kecualikan direktori atau file tertentu dari pengumpulan menggunakan path eksak atau wildcard (* dan ?). Disarankan maksimal 10 entri. Path tidak boleh diakhiri dengan /. Mendukung File Path Blacklist, File Blacklist, dan Directory Blacklist.
   Allow file to be collected multiple times	Secara default, hanya satu konfigurasi Logtail yang dapat mengumpulkan log dari file tertentu. Aktifkan ini untuk mengizinkan beberapa konfigurasi mengumpulkan dari file yang sama.
   Advanced parameters	Konfigurasikan parameter tambahan secara manual. Lihat Buat konfigurasi pipeline Logtail.

   Konfigurasi prosesor

   Parameter	Deskripsi
   Contoh log	Tambahkan contoh log dari skenario nyata untuk membantu konfigurasi pemrosesan. Panjang total maksimum: 1.500 karakter.
   Mode multi-baris	Identifikasi entri log multi-baris. Opsi: Custom (gunakan Regex to Match First Line untuk mengidentifikasi batas log), Multi-line JSON (setiap objek JSON mencakup beberapa baris). Konfigurasikan Processing Method If Splitting Fails: Discard (buang log yang tidak cocok) atau Retain Single Line (pertahankan setiap baris sebagai entri log terpisah).
   Metode pemrosesan	Tambahkan prosesor untuk pemrosesan data. Logtail V2.0 memungkinkan penggabungan prosesor native dan extended secara bebas (prosesor extended harus mengikuti prosesor native). Versi sebelumnya tidak dapat mencampur prosesor native dan extended.

6. Buat indeks dan pratinjau data, lalu klik Next. Indeks teks penuh diaktifkan secara default. Untuk membuat indeks bidang secara otomatis, klik Automatic Index Generation. Untuk informasi lebih lanjut, lihat Buat indeks.

   Penting

   Gunakan indeks teks penuh untuk mengkueri semua bidang. Gunakan indeks bidang untuk mengkueri bidang tertentu dan mengurangi trafik indeks. Indeks bidang diperlukan untuk analisis log (kueri harus menyertakan pernyataan SELECT).

7. Klik Query Log untuk membuka halaman kueri dan analisis Logstore Anda. Tunggu sekitar 1 menit agar indeks berlaku, lalu lihat log yang dikumpulkan di tab Raw Logs. Lihat Panduan kueri dan analisis log.

Variabel lingkungan

Gunakan variabel lingkungan untuk mengonfigurasi pengumpulan log langsung di YAML Layanan Knative Anda. Semua nama variabel lingkungan untuk pengumpulan log harus menggunakan awalan aliyun_logs_. Bagian {key} hanya boleh berisi huruf kecil, angka, dan tanda hubung (-).

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go-log
spec:
  template:
    spec:
      containers:
      - name: my-demo-app
        image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
        env:
        # Kumpulkan stdout ke Logstore "log-stdout".
        - name: aliyun_logs_log-stdout
          value: stdout
        # Kumpulkan file /var/demo/*.log ke Logstore "log-varlog".
        - name: aliyun_logs_log-varlog
          value: /var/demo/*.log
        # Tambahkan tag kustom ke semua log yang dikumpulkan oleh kontainer ini.
        - name: aliyun_logs_mytag1_tags
          value: tag1=v1
        volumeMounts:
        - name: volumn-sls-mydemo
          mountPath: /var/demo
        # Opsional: tambahkan perintah sleep jika pod sering restart.
        command: ["sh", "-c"]
        args: ["sleep 3600"]
      volumes:
      - name: volumn-sls-mydemo
        emptyDir: {}