Container Service for Kubernetes:Kumpulkan log dari Layanan Knative

CRD - AliyunPipelineConfig (direkomendasikan)

Buat Custom Resource (CR) dari CRD AliyunPipelineConfig. Konfigurasi diterapkan secara otomatis. Untuk mengubahnya, perbarui CR tersebut.

Batasan utama:

• Nilai configName harus unik dalam proyek SLS.

• Buat satu CR per konfigurasi Logtail. Jika beberapa CR mereferensikan konfigurasi yang sama, hanya CR pertama yang berlaku.

Langkah-langkah:

1. Dapatkan file kubeconfig dan hubungkan ke kluster Anda menggunakan kubectl.

2. Buat file YAML:

   vim cube.yaml

3. Tambahkan konfigurasi ke file YAML. Lihat contoh di bawah.

4. Terapkan konfigurasi:

   kubectl apply -f cube.yaml

   Logtail mulai mengumpulkan log dari kontainer yang ditentukan dan mengirimkannya ke SLS.

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Buat CR dari CRD ClusterAliyunPipelineConfig.
kind: ClusterAliyunPipelineConfig
metadata:
  # Nama harus unik dalam kluster Kubernetes. Juga digunakan sebagai nama konfigurasi Logtail.
  name: example-k8s-file
spec:
  # Tentukan proyek tempat log dikumpulkan.
  project:
    name: k8s-log-test
  # Buat Logstore untuk menyimpan log.
  logstores:
    - name: k8s-file
  config:
    inputs:
      # Gunakan input_file untuk mengumpulkan log teks dari kontainer.
      - Type: input_file
        # Path file log di dalam kontainer.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Aktifkan penemuan kontainer.
        EnableContainerDiscovery: true
        # Filter kontainer. Beberapa kondisi menggunakan logika AND.
        ContainerFilters:
          # Sesuaikan kontainer di namespace default.
          K8sNamespaceRegex: default
          # Sesuaikan kontainer yang namanya mengandung "app".
          K8sContainerRegex: ^(.*app.*)$
    flushers:
      # Gunakan flusher_sls untuk mengirim log ke Logstore.
      - Type: flusher_sls
        Logstore: k8s-file
        # Untuk nilai endpoint dan region yang valid, lihat https://www.alibabacloud.com/help/en/sls/developer-reference/service-entrance
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Buat CR dari CRD ClusterAliyunPipelineConfig.
kind: ClusterAliyunPipelineConfig
metadata:
  name: example-k8s-file
spec:
  project:
    name: k8s-log-test
  logstores:
    - name: k8s-file
  config:
    # Opsional: tambahkan contoh log sebagai referensi.
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    inputs:
      - Type: input_file
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        EnableContainerDiscovery: true
        # Aktifkan pengumpulan log multi-baris.
        Multiline:
          # Gunakan regex kustom untuk mengidentifikasi baris pertama setiap entri log.
          Mode: custom
          StartPattern: \d+-\d+-\d+.*
    processors:
      # Urai log menggunakan ekspresi reguler. Grup penangkapan menentukan bidang yang diekstraksi.
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        Keys: ["time", "level", "msg"]
    flushers:
      - Type: flusher_sls
        Logstore: k8s-file
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

CRD - AliyunLogConfig

Buat CR dari CRD AliyunLogConfig. Konfigurasi diterapkan secara otomatis. Untuk mengubahnya, perbarui CR tersebut.

Langkah-langkah:

1. Dapatkan file kubeconfig dan hubungkan ke kluster Anda menggunakan kubectl.

2. Buat file YAML:

   vim cube.yaml

3. Tambahkan konfigurasi. Lihat contoh di bawah. Nilai configName harus unik dalam proyek SLS.

4. Terapkan konfigurasi:

   kubectl apply -f cube.yaml

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: example-k8s-file
  namespace: kube-system
spec:
  # Jika dibiarkan kosong, proyek bernama k8s-log-<your_cluster_id> akan digunakan.
  project: k8s-log-test
  # Jika Logstore yang ditentukan tidak ada, SLS akan membuatnya secara otomatis.
  logstore: k8s-file
  logtailConfig:
    # Atur ke "file" untuk log teks.
    inputType: file
    configName: example-k8s-file
    inputDetail:
      # Mode sederhana untuk log teks.
      logType: common_reg_log
      logPath: /data/logs/app_1
      # Mendukung karakter wildcard (* dan ?). Contoh: log_*.log
      filePattern: test.LOG
      # Diperlukan untuk pengumpulan log kontainer.
      dockerFile: true
      advanced:
        k8s:
          K8sPodRegex: '^(app.*)$'

Konsol SLS

1. Login ke Konsol Simple Log Service.

2. Di bagian Quick Data Import, klik Import Data. Di kotak dialog Import Data, klik kartu Kubernetes - File.

   

3. Pilih proyek dan Logstore, lalu klik Next. Gunakan proyek yang dibuat saat instalasi Logtail.

4. Pada langkah Machine Group Configurations, konfigurasikan hal berikut:

   1. Pilih opsi kelompok mesin berdasarkan pengaturan Anda:

      • Kubernetes Clusters > ACK Daemonset

      • Kubernetes Clusters > Self-managed Cluster in DaemonSet Mode

      Penting

      Pengaturan selanjutnya berbeda tergantung opsi yang Anda pilih.

   2. Konfirmasi bahwa kelompok mesin muncul di Applied Server Groups, lalu klik Next. SLS secara otomatis membuat kelompok mesin bernama k8s-group-${your_k8s_cluster_id} saat instalasi Logtail.

      Penting

      • Untuk membuat kelompok mesin baru, klik Create Machine Group dan konfigurasikan parameter. Lihat Kumpulkan log kontainer dari kluster ACK.

      • Jika status heartbeat kelompok mesin adalah FAIL, klik Automatic Retry. Jika masalah berlanjut, lihat Bagaimana cara memecahkan masalah error terkait kelompok mesin Logtail?

5. Buat konfigurasi Logtail dan klik Next. Pengumpulan log dimulai setelah pembuatan. Opsi filter kontainer tersedia untuk Logtail 1.0.34+. Versi sebelumnya: hanya variabel lingkungan dan label kontainer.

   • K8s Pod Name Regular Matching: Sesuaikan kontainer berdasarkan nama pod menggunakan ekspresi reguler. Contoh: ^(nginx-log-demo.*)$ sesuai dengan semua kontainer di pod yang namanya diawali dengan nginx-log-demo.

   • K8s Namespace Regular Matching: Sesuaikan kontainer berdasarkan namespace. Contoh: ^(default|nginx)$ sesuai dengan kontainer di namespace nginx dan default.

   • K8s Container Name Regular Matching: Sesuaikan kontainer berdasarkan nama kontainer (seperti yang didefinisikan di spec.containers). Contoh: ^(container-test)$ sesuai dengan kontainer bernama container-test.

   • Whitelist / Blacklist Label Kontainer: Filter kontainer berdasarkan label kontainer (pasangan kunci-nilai). Namespace dan nama kontainer Kubernetes dipetakan ke label io.kubernetes.pod.namespace dan io.kubernetes.container.name. Pasangan kunci-nilai dievaluasi dengan logika OR. Pencocokan string adalah default; awali dengan ^ dan akhiri dengan $ untuk pencocokan regex.

   • Whitelist / Blacklist Variabel Lingkungan: Filter kontainer berdasarkan pasangan kunci-nilai variabel lingkungan. Berlaku logika OR. Contoh: atur Environment Variable Name ke NGINX_SERVICE_PORT dan Environment Variable Value ke ^(80|6379)$ untuk mencocokkan kontainer di port 80 atau 6379.

   • Whitelist / Blacklist Label Pod Kubernetes: Filter kontainer berdasarkan label pod Kubernetes (berbeda dari label kontainer). Berlaku logika OR. Contoh: atur Label Name ke environment dan Label Value ke ^(dev|pre)$ untuk mencocokkan kontainer dengan label pod environment:dev atau environment:pre.

   Catatan Konfigurasi Logtail memerlukan waktu hingga 3 menit untuk berlaku.
   Penting

   Label kontainer (diambil melalui docker inspect) berbeda dari label Kubernetes. Lihat Dapatkan label dan Dapatkan variabel lingkungan.

   Konfigurasi global

   Parameter	Deskripsi
   Nama konfigurasi	Nama unik dalam proyek. Tidak dapat diubah nanti.
   Jenis topik log	Sumber topik log. Machine Group Topic: berdasarkan kelompok mesin. File Path Extraction: regex pada path file. Custom: ditentukan pengguna. Lihat Topik log.
   Parameter lanjutan	Opsional. Lihat CreateLogtailPipelineConfig.

   Konfigurasi input

   Parameter	Deskripsi
   Logtail deployment mode	Pilih Daemonset untuk kasus penggunaan ini.
   File path type	Pilih Path in Container dalam kebanyakan kasus. Pilih Host Path hanya untuk volume yang dimount sebagai hostPath.
   File path	Tentukan path file log. Path Linux diawali dengan / (contoh: /apsara/nuwa//app.Log`). Path Windows diawali dengan huruf drive (contoh: `C:\Program Files\Intel\\*.Log). Gunakan * dan ? sebagai karakter wildcard saja. Contoh: /apsara/nuwa/**/*.log mengumpulkan semua file .log di bawah /apsara/nuwa secara rekursif. /var/logs/app_*/**/*.log mengumpulkan file .log di subdirektori yang sesuai dengan pola app_* di bawah /var/logs. /var/log/nginx/**/access* mengumpulkan file yang diawali dengan access di bawah /var/log/nginx secara rekursif.
   Maximum directory monitoring depth	Kedalaman subdirektori maksimum untuk karakter wildcard **. Nilai 0 hanya memantau direktori yang ditentukan. Pertahankan nilai rendah—nilai besar meningkatkan konsumsi sumber daya dan dapat menyebabkan latensi.
   Enable container metadata preview	Menampilkan metadata kontainer yang sesuai setelah pembuatan konfigurasi.
   Container filtering	Filter kontainer untuk pengumpulan log. Logtail versi sebelum 1.0.34: hanya variabel lingkungan dan label kontainer. Logtail 1.0.34+: filter tingkat Kubernetes (Nama Pod K8s, Namespace, Nama Kontainer, Label Pod).
   Log tag enrichment	Tambahkan tag log dari variabel lingkungan dan label pod.
   File encoding	Format encoding file log.
   First collection size	Ukuran data untuk koleksi awal. Default: 1.024 KB. Rentang: 0–10.485.760 KB. File yang lebih kecil dari 1.024 KB dibaca dari awal; file yang lebih besar dibaca dari 1.024 KB terakhir.
   Collection blacklist	Kecualikan direktori atau file berdasarkan path eksak atau wildcard (* dan ?). Maksimal 10 entri. Path tidak boleh diakhiri dengan /. Jenis: File Path, File, dan Directory.
   Allow file to be collected multiple times	Secara default, satu konfigurasi Logtail per file. Aktifkan untuk mengizinkan beberapa konfigurasi per file.
   Advanced parameters	Opsional. Lihat Buat konfigurasi pipeline Logtail.

   Konfigurasi prosesor

   Parameter	Deskripsi
   Contoh log	Contoh log untuk konfigurasi pemrosesan. Maksimal: 1.500 karakter.
   Mode multi-baris	Deteksi log multi-baris. Custom: gunakan Regex to Match First Line untuk batas log. Multi-line JSON: setiap objek JSON mencakup beberapa baris. Processing Method If Splitting Fails: Discard (buang log yang tidak cocok) atau Retain Single Line (satu baris per entri).
   Metode pemrosesan	Tambahkan prosesor untuk pemrosesan data. Logtail V2.0: kombinasikan bebas prosesor native dan extended (extended harus mengikuti native). Versi sebelumnya: tidak bisa dicampur.

6. Buat indeks dan pratinjau data, lalu klik Next. Indeks teks penuh diaktifkan secara default. Untuk membuat indeks bidang secara otomatis, klik Automatic Index Generation. Lihat Buat indeks.

   Penting

   Gunakan indeks teks penuh untuk mengkueri semua bidang. Gunakan indeks bidang untuk mengkueri bidang tertentu dan mengurangi trafik indeks. Indeks bidang diperlukan untuk analisis log (kueri harus menyertakan pernyataan SELECT).

7. Klik Query Log. Tunggu sekitar 1 menit hingga indeks berlaku, lalu lihat log di tab Raw Logs. Lihat Panduan kueri dan analisis log.

Variabel lingkungan

Konfigurasikan pengumpulan log di YAML Layanan Knative Anda menggunakan variabel lingkungan. Nama harus menggunakan awalan aliyun_logs_. Bagian {key} hanya boleh berisi huruf kecil, angka, dan tanda hubung (-).

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go-log
spec:
  template:
    spec:
      containers:
      - name: my-demo-app
        image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
        env:
        # Kumpulkan stdout ke Logstore "log-stdout".
        - name: aliyun_logs_log-stdout
          value: stdout
        # Kumpulkan file /var/demo/*.log ke Logstore "log-varlog".
        - name: aliyun_logs_log-varlog
          value: /var/demo/*.log
        # Tambahkan tag kustom ke semua log yang dikumpulkan oleh kontainer ini.
        - name: aliyun_logs_mytag1_tags
          value: tag1=v1
        volumeMounts:
        - name: volumn-sls-mydemo
          mountPath: /var/demo
        # Opsional: tambahkan perintah sleep jika pod berulang kali restart.
        command: ["sh", "-c"]
        args: ["sleep 3600"]
      volumes:
      - name: volumn-sls-mydemo
        emptyDir: {}