Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:Bir Kubernetes CRD kullanarak konteyner günlüklerini toplama

Son Güncelleme:Oct 01, 2026

Günlük toplama yapılandırmalarını sürüm kontrolü, ortama özel dağıtımlar ve ACK ile kendi kendine yönetilen kümeler arasında CI/CD işlem hatları aracılığıyla otomatik sürümler için kubectl veya Kubernetes CRD'leri olarak tanımlayın. LoongCollector, yeniden başlatma gerektirmeden yapılandırma değişikliklerini sıcak yükler.

Eski AliyunLogConfig CRD kullanımdan kaldırılmıştır. Bunun yerine AliyunPipelineConfig kullanın. Karşılaştırma için CRD türleri konusuna bakın.
Önemli

CRD tabanlı toplama yapılandırmaları yalnızca CRD güncellenerek değiştirilebilir. SLS konsolunda yapılan değişiklikler senkronize edilmez ve etkili olmaz.

Uygulanabilirlik

  • Çalışma ortamı

    • ACK kümeleri (yönetilen ve özel sürümler) ve kendi kendine yönetilen Kubernetes kümeleri.

    • Kubernetes sürümü 1.16.0 veya üzeri olmalı ve Mount propagation: HostToContainer özelliğini desteklemelidir.

    • konteyner çalışma zamanı (yalnızca Docker ve Containerd)

      • Docker:

        • docker.sock erişimi gerekir.

        • Standart çıkış toplama yalnızca JSON-file günlük sürücüsünü destekler.

        • Yalnızca overlay ve overlay2 depolama sürücüleri desteklenir. Diğer depolama sürücü türleri için günlük dizinlerini manuel olarak bağlamanız gerekir.

      • Containerd: containerd.sock erişimi gerekir.

  • Kaynak gereksinimleri: LoongCollector (Logtail), 'system-cluster-critical' öncelik sınıfıyla çalışır. Kümede yetersiz kaynak varsa dağıtmayın; bu durum düğümlerdeki Pod'ların tahliye edilmesine neden olabilir.

    • CPU: En az 0,1 Çekirdek ayırın.

    • Bellek: Toplama bileşeni için en az 150 MB, denetleyici bileşeni için en az 100 MB ayırın.

    • Gerçek kullanım, toplama hızına, izlenen dizinlere ve dosyalara ve gönderim tıkanıklığına bağlıdır. Kullanımı yapılandırılan sınırların %80'inin altında tutun.

  • İzin gereksinimleri: Dağıtmak için Alibaba Cloud hesabının veya RAM kullanıcısının AliyunLogFullAccess iznine sahip olması gerekir.

    Özel bir ilke oluşturmak için AliyunCSManagedLogRolePolicy sistem ilkesine bakın. Bu ilkeden izinleri kopyalayın ve ayrıntılı izinleri yapılandırmak için hedef RAM kullanıcısına veya rolüne atayın.

Toplama yapılandırma iş akışı

  1. LoongCollector'ı yükleme: Her küme düğümünde bir toplama konteyneri çalıştırmak için LoongCollector'ı DaemonSet olarak dağıtın. Bu yapılandırma, düğümdeki tüm konteynerler için merkezi günlük toplamayı sağlar.

  2. Create a LogStore: LogStore, günlük verileri için bir depolama birimidir. Bir Project içinde birden fazla LogStore oluşturulabilir.

  3. Bir toplama yapılandırması YAML dosyası oluşturun: kubectl kullanarak kümeye bağlanma. Toplama yapılandırma dosyasını iki yoldan birini kullanarak oluşturabilirsiniz:

    • Yöntem 1: Toplama yapılandırma oluşturucusunu kullanma

      Log Service konsolundaki toplama yapılandırma oluşturucusunu kullanarak parametreleri görsel olarak yapılandırın ve otomatik olarak standart bir YAML dosyası oluşturun.

    • Yöntem 2: YAML dosyasını manuel yazma

      Bu belgedeki örneklere dayanarak bir YAML dosyasını manuel olarak yazın. Aşamalı olarak ilerleyin: minimal bir yapılandırmayla başlayın, işleme mantığı ekleyin, ardından gelişmiş özellikleri etkinleştirin.

      Bu belgede kapsanmayan karmaşık senaryolar veya derin özelleştirme gerektiren alanlar için, alanların tam listesini, değer kurallarını ve eklenti yetenek ayrıntılarını görmek üzere AliyunPipelineConfig parametre referansı konusuna bakın.

    Tam bir toplama yapılandırması genellikle aşağıdaki bölümleri içerir:

    • Minimal yapılandırma (Zorunlu): Bu yapılandırma, veri işlem hattını kümeden Log Service'e oluşturur ve iki bölümden oluşur:

      • Girişler (inputs): Günlük kaynağını tanımlar. Konteyner günlükleri için kaynaklar aşağıdaki iki türü içerir. MySQL sorgu sonuçları gibi diğer günlük türlerini toplamak için Giriş eklentileri konusuna bakın.

        • Konteyner standart çıkışı (stdout ve stderr): Konteyner uygulamasının konsola yazdırdığı günlükler.

        • Metin günlük dosyaları: Konteyner içinde belirtilen bir yola yazılan günlük dosyaları.

      • Çıktılar (flushers): Günlük hedefini tanımlar. Toplanan günlükler belirtilen LogStore'a gönderilir.

        Hedef Project veya LogStore yoksa sistem bunları otomatik olarak oluşturur. Ayrıca önceden manuel olarak bir Project ve bir LogStore oluşturabilirsiniz.
    • Yaygın işleme yapılandırmaları (İsteğe Bağlı): Ham günlüklerde yapısal ayrıştırma (regular expression veya ayırıcı ayrıştırma gibi), veri maskeleme veya filtreleme gerçekleştirmek için processors alanını tanımlayın.

      Bu belge yalnızca yaygın günlük işleme senaryolarını kapsayan yerel işleme eklentilerini açıklar. Daha fazla özellik için Genişletilmiş işleme eklentileri konusuna bakın.
    • Diğer gelişmiş yapılandırmalar (İsteğe Bağlı): Çok satırlı günlük toplama ve günlük etiketi zenginleştirme gibi daha spesifik toplama gereksinimlerini karşılamak için gelişmiş özellikleri etkinleştirir.

    Yapı örneği:

    apiVersion: telemetry.alibabacloud.com/v1alpha1 # Use the default value. Do not modify.
        kind: ClusterAliyunPipelineConfig               # Use the default value. Do not modify.
        metadata:
          name: test-config                             # Set the resource name, which must be unique within the current Kubernetes cluster.
        spec:
          project:                                      # Set the name of the target Project.
            name: k8s-your-project                      
          config:                                       # Set the Logtail collection configuration.
            inputs:                                     # Set the input plugins for the Logtail collection configuration.
              ...
            processors:                                 # Set the processing plugins for the Logtail collection configuration.
              ...
            flushers:                                   # Set the output plugins for the Logtail collection configuration.
              ...
  4. Yapılandırmayı uygulama

    kubectl apply -f <your_yaml>

LoongCollector'ı (Logtail) yükleme

LoongCollector, SLS'nin yeni nesil günlük toplama aracıdır ve Logtail'in yükseltilmiş bir sürümüdür. İkisi birlikte çalışamaz. Bunun yerine Logtail yüklemek için Logtail'i yükleme ve yapılandırma konusuna bakın.

Temel LoongCollector kurulumu için şu adımları izleyin. Ayrıntılı parametreler için Kurulum ve yapılandırma konusuna bakın. LoongCollector veya Logtail zaten yüklüyse logstore oluşturma adımına geçin.

ACK kümesi

LoongCollector'ı Container Service for Kubernetes (ACK) konsolundan yükleyebilirsiniz. Varsayılan olarak günlükler, geçerli Alibaba Cloud hesabı altındaki bir Simple Log Service Project'e gönderilir.

  1. ACK console üzerinde oturum açın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.

  2. Clusters sayfasında hedef kümenin adını tıklayarak ayrıntılar sayfasını açın.

  3. Sol gezinme bölmesinde Add-ons seçeneğine tıklayın.

  4. Logs and Monitoring sekmesinde loongcollector öğesini bulun ve Install seçeneğine tıklayın.

    Not

    Bir küme oluştururken Component Configurations sayfasında Enable Log Service onay kutusunu seçin. Ardından Create Project veya Select Project seçeneklerinden birini seçebilirsiniz.

    Kurulum tamamlandıktan sonra Simple Log Service, ACK kümenizin bölgesinde ilgili kaynakları otomatik olarak oluşturur. Bu kaynakları Simple Log Service console adresinde görüntüleyin.

    Kaynak türü

    Kaynak adı

    Açıklama

    Project

    k8s-log-${cluster_id}

    Farklı hizmetlerin günlüklerini yalıtır.

    Daha esnek günlük kaynağı yönetimi için bir Project oluşturmak üzere Project oluşturma konusuna bakın.

    machine group

    k8s-group-${cluster_id}

    Günlük toplama düğümlerinden oluşan bir grup.

    Önemli

    LoongCollector, config-operation-log adlı bir logstore oluşturmaz. Bu ada sahip bir logstore zaten varsa LoongCollector buna günlük yazmayı durdurur.

Kendi kendine yönetilen küme

  1. Kubernetes kümenize bağlanın. Ardından bölgeniz için uygun komutu çalıştırarak LoongCollector ve bağımlılıklarını indirin:

    Çin anakarasındaki bölgeler için:

    wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

    Çin anakarası dışındaki bölgeler için:

    wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh
  2. loongcollector-custom-k8s-package dizinine gidin ve ./loongcollector/values.yaml yapılandırma dosyasını düzenleyin.

    # ===================== Required parameters =====================
    # The Project where logs are sent. Example: k8s-log-custom-sd89ehdq.
    projectName: ""
    # The Project's region. Example: cn-shanghai.
    region: ""
    # The UID of the Alibaba Cloud account that owns the Project. Enclose the value in quotation marks. Example: "123456789"
    aliUid: ""
    # The network type. Valid values: Internet (public network) and Intranet (internal network). Default: Internet.
    net: Internet
    # The AccessKey ID and secret for an Alibaba Cloud account or RAM user that has the AliyunLogFullAccess policy.
    accessKeyID: ""
    accessKeySecret: ""
    # The custom cluster ID. The ID can contain only uppercase letters, lowercase letters, digits, and hyphens (-).
    clusterID: ""
  3. loongcollector-custom-k8s-package dizininde LoongCollector ve bağımlılıklarını yüklemek için aşağıdaki komutu çalıştırın:

    bash k8s-custom-install.sh install
  4. Kurulum tamamlandıktan sonra bileşenlerin durumunu kontrol edin.

    Pod'lar başlamazsa values.yaml yapılandırmasını doğrulayın ve gerekli görüntülerin çekildiğinden emin olun.
    # Check pod status
    kubectl get po -n kube-system | grep loongcollector-ds

    Simple Log Service ayrıca aşağıdaki kaynakları otomatik olarak oluşturur. Bu kaynakları Simple Log Service console adresinde görüntüleyin.


    Kaynak türü


    Kaynak adı


    Açıklama


    Project


    values.yaml dosyasında belirttiğiniz projectName değeri


    Farklı hizmetlerin günlüklerini yalıtır.


    machine group


    k8s-group-${cluster_id}


    Günlük toplama düğümlerinden oluşan bir grup.

    Önemli

    LoongCollector, config-operation-log adlı bir logstore oluşturmaz. Bu ada sahip bir logstore zaten varsa LoongCollector buna günlük yazmayı durdurur.

Logstore Oluşturma

Zaten bir logstore oluşturduysanız bu adımı atlayıp doğrudan toplama yapılandırması bölümüne geçin.

  1. Log Service konsolu üzerinde oturum açın ve ilgili projeyi seçin.

  2. Sol gezinme bölmesinde imageLog Storage seçeneğini belirleyin ve + düğmesine tıklayın.

  3. Create Logstore sayfasında aşağıdaki temel parametreleri yapılandırın:

    • Logstore Name: Proje içinde benzersiz olan bir ad girin. Bu ad, oluşturma işleminden sonra değiştirilemez.

    • Logstore Type: Teknik özelliklerine göre Standard veya Query türünü seçin.

    • Billing Mode:

      • Pay-by-feature: Depolama, dizinleme ve okuma/yazma işlemleri gibi her kaynak için ayrı faturalandırılırsınız. Küçük ölçekli kullanım durumları veya özellik kullanımının belirsiz olduğu senaryolar için uygundur.

      • Pay-by-ingested-data: Yalnızca alınan ham veri miktarına göre faturalandırılırsınız. Bu mod, 30 günlük ücretsiz depolama süresi ve veri dönüştürme ile teslimat gibi ücretsiz özellikler sunar. Bu basit maliyet modeli, depolama süresinin 30 güne yakın olduğu veya veri işlem hattının karmaşık olduğu durumlar için idealdir.

    • Data Retention Period: Günlüklerin saklanacağı gün sayısını ayarlayın. Değer 1 ile 3650 gün arasında olabilir. 3650 değeri kalıcı depolamayı ifade eder. Varsayılan değer 30 gündür.

  4. Diğer ayarları varsayılan değerlerinde bırakın ve OK düğmesine tıklayın. Logstore'ları yönetme hakkında daha fazla bilgi edinin.

Minimal yapılandırma

`spec.config` bölümünde, günlük kaynağını ve hedefini tanımlamak için giriş ve çıkış eklentilerini yapılandırırsınız.

Container standard output

Amaç: Doğrudan konsola yazdırılan konteyner standart çıktı günlüklerini (stdout/stderr) toplar.

inputs (giriş eklentisi)

Günlük kaynağını tanımlar. Şu anda yalnızca bir giriş eklentisi yapılandırabilirsiniz.

  • Type String (Gerekli)

    Değerini input_container_stdio olarak ayarlayın.

  • IgnoringStderr boolean (İsteğe Bağlı)

    Standart hata akışının (stderr) yok sayılıp yoksayılmayacağını belirtir. Varsayılan: false.

    • true: Stderr toplamaz.

    • false: Stderr toplar.

  • IgnoringStdout boolean (İsteğe Bağlı)

    Standart çıktı akışının (stdout) yok sayılıp yoksayılmayacağını belirtir. Varsayılan: false.

    • true: Stdout toplamaz.

    • false: Stdout toplar.

Örnek

apiVersion: telemetry.alibabacloud.com/v1alpha1
    kind: ClusterAliyunPipelineConfig
    metadata:
      # Set a unique resource name within the Kubernetes cluster. 
      # This name is also used for the created Logtail collection configuration.
      name: new-stdio-config
    spec:
      project:
        name: test-not-exist
      logstores:
        - name: new-stdio-logstore

      # Define the collection and processing configuration for LoongCollector (Logtail).
      config:
        # --- input plugin: Defines the log source ---
        inputs:
          # Use the input_container_stdio plugin to collect container standard output logs.
          - Type: input_container_stdio
            IgnoringStderr: false
            IgnoringStdout: false

        # --- processing plugin (Optional): Defines how to parse and process logs ---
        processors: []

        # --- output plugin: Defines the log destination ---
        flushers: # Configure one or more flushers to define log destinations. This example sends logs to two Logstores.
          - Type: flusher_sls    # Specify the SLS output plugin.
            Logstore: new-stdio-logstore1
          - Type: flusher_sls    # Specify the SLS output plugin.
            Logstore: new-stdio-logstore2
            

flushers (çıkış eklentisi)

Toplanan günlükleri bir Projedeki belirtilen Logstore'a gönderir. En fazla beş çıkış eklentisi yapılandırabilirsiniz.

  • Type String (Gerekli)

    Değerini flusher_sls olarak ayarlayın.

  • Logstore String (Gerekli)

    Günlüklerin nerede saklanacağını belirleyen hedef Logstore'un adı.

    Not
    • Belirtilen Logstore'un mevcut olması veya spec.logstores içinde bildirilmiş olması gerekir.

    • Birden çok çıkış hedefi yapılandırdığınızda, yapılandırma artık Logstore'un yapılandırma listesinde görüntülenmez. Çoklu hedef yapılandırmasını yönetmek için bkz. Çoklu hedef yapılandırmasını nasıl yönetirim?.

Container text files

Amaç: Bir konteyner içindeki belirli bir dosya yoluna (örneğin access.log veya app.log) yazılan günlükleri toplar.

inputs (giriş eklentisi)

Günlük kaynağını tanımlar. Şu anda yalnızca bir giriş eklentisi yapılandırabilirsiniz.

  • Type String (Gerekli)

    Değerini input_file olarak ayarlayın.

  • FilePaths String (Gerekli)

    Günlük dosyalarının yollarının listesi.

    • Şu anda yalnızca bir yol yapılandırabilirsiniz.

    • Aşağıdaki joker karakterleri kullanabilirsiniz:

      • *: Tek düzeyli bir dizindeki dosya adlarını eşleştirir.

      • **: Çok düzeyli alt dizinleri özyinelemeli olarak eşleştirir. Yalnızca bir kez kullanılabilir ve dosya adından önce yerleştirilmelidir.

  • MaxDirSearchDepth integer (İsteğe Bağlı)

    Yol ** içerdiğinde özyinelemeli arama için maksimum dizin derinliği. Varsayılan: 0. Geçerli değerler: 0 ile 1.000 arasında.

  • FileEncoding String (İsteğe Bağlı)

    Dosya kodlaması. Varsayılan: utf8. Geçerli değerler:

    • utf8

    • gbk

  • EnableContainerDiscovery boolean (İsteğe Bağlı)

    Konteyner keşfinin etkinleştirilip etkinleştirilmeyeceğini belirtir. Varsayılan: true.

    Not

    Bu parametre yalnızca LoongCollector (Logtail) DaemonSet modunda çalıştığında ve belirtilen dosya yolu konteyner içinde olduğunda etkili olur.

Örnek

apiVersion: telemetry.alibabacloud.com/v1alpha1
    kind: ClusterAliyunPipelineConfig
    metadata:
      name: easy-row-config
    spec:
      # Specify the target Project to which logs are sent.
      project:
        name: test-not-exist
      logstores:
        - name: easy-row-logstore

      # Define the collection and processing configuration for LoongCollector (Logtail).
      config:
        # Log sample (optional)
        sample: ''
        # --- input plugin: Defines the log source ---
        inputs:
          # Use the input_file plugin to collect text log files from containers.
          - Type: input_file         
            # ... Specific configuration for the input plugin ...
            # The file path inside the container.
            FilePaths:
              - /var/log/text1.log
            # The maximum directory monitoring depth.
            MaxDirSearchDepth: 0
            FileEncoding: utf8  
            # Enable the container discovery feature.
            EnableContainerDiscovery: true


        # --- processing plugin (Optional): Defines how to parse and process logs ---
        processors: []    

        # --- output plugin: Defines the log destination ---
        flushers: # Configure one or more flushers to define log destinations. This example sends logs to two Logstores.
          - Type: flusher_sls        # Specify the SLS output plugin.
            Logstore: easy-row-logstore1
          - Type: flusher_sls        # Specify the SLS output plugin.
            Logstore: easy-row-logstore2

flushers (çıkış eklentisi)

Toplanan günlükleri bir Projedeki belirtilen Logstore'a gönderir. En fazla beş çıkış eklentisi yapılandırabilirsiniz.

  • Type String (Gerekli)

    Değerini flusher_sls olarak ayarlayın.

  • Logstore String (Gerekli)

    Günlüklerin nerede saklanacağını belirleyen hedef Logstore'un adı.

    Not
    • Belirtilen Logstore'un mevcut olması veya spec.logstores içinde bildirilmiş olması gerekir.

    • Birden çok çıkış hedefi yapılandırdığınızda, yapılandırma artık Logstore'un yapılandırma listesinde görüntülenmez. Çoklu hedef yapılandırmasını yönetmek için bkz. Çoklu hedef yapılandırmasını nasıl yönetirim?.

Genel yapılandırma

Minimal yapılandırmayı tamamladıktan sonra, ham günlükleri ayrıştırmak, maskelemek veya filtrelemek için processor eklentileri ekleyin.

Temel yapılandırma: İşleme eklentilerini yapılandırmak için, aynı anda birden fazla eklentiyi etkinleştirmenize olanak tanıyan spec.config bölümüne processors alanını ekleyin.

Bu konu yalnızca yaygın günlük işleme senaryolarını ele alan yerel işleme eklentilerini kapsamaktadır. Daha fazla özellik için genişletilmiş işleme eklentileri sayfasına bakın.
Önemli

Logtail 2.0+ ve LoongCollector için aşağıdaki eklenti sıralama yönergelerini uygulayın:

  • Yerel eklentilere öncelik verin.

  • Yerel eklentiler ihtiyaçlarınızı karşılamıyorsa, genişletme eklentilerinin bunlardan sonra çalışacak şekilde yapılandırın.

  • Yerel eklentiler yalnızca genişletme eklentilerinden önce çalışabilir.

Yapılandırılmış yapılandırma

Regex parsing

Günlük alanlarını bir düzenli ifade kullanarak ayıklar ve günlükleri anahtar-değer çiftlerine dönüştürür.

Parameter

Example

Type String (Required)

Değer processor_parse_regex_native olarak sabitlenir.

 # ... under spec.config ...
     processors:
      # Use the regular expression parsing processor to parse log content.
      - Type: processor_parse_regex_native
        # Specify the source field, which is usually content.
        SourceKey: content

        # A regular expression to match and extract log fields.
        Regex: >-
          (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
          (\w+)\s(\S+)\s([^"]+)"
          \s(\d+)\s(\d+)\s"
          ([^"]+)"\s"
          ([^"]+).*

        # A list of extracted fields, corresponding to the regex groups in order.
        Keys:
          - remote_addr
          - remote_user
          - time_local
          - request_method
          - request_uri
          - request_protocol
          - status
          - body_bytes_sent
          - http_referer
          - http_user_agent

        # Whether to keep the source field if parsing fails.
        KeepingSourceWhenParseFail: true

        # Whether to keep the source field if parsing succeeds.
        KeepingSourceWhenParseSucceed: true

        # If the source field is kept, you can specify a new name for it.
        RenamedSourceKey: fail
    

SourceKey String (Required)

Kaynak alanın adı.

Regex String (Required)

Günlüğü ayrıştırmak için kullanılan düzenli ifade.

Keys String (Required)

Ayıklanan alanlar için anahtar listesi.

KeepingSourceWhenParseFail boolean (Optional)

Ayrıştırma başarısız olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: false.

KeepingSourceWhenParseSucceed boolean (Optional)

Ayrıştırma başarılı olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: false.

RenamedSourceKey String (Optional)

Kaynak alan korunduğunda kullanılacak yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz.

Delimiter parsing

Tek veya çok karakterli bir sınırlayıcı kullanarak günlükleri anahtar-değer çiftlerine dönüştürür.

Parameter

Example

Type String (Required)

Değer processor_parse_delimiter_native olarak sabitlenir.

# ... under spec.config ...
    processors:
      # Delimiter parsing processor configuration
      - Type: processor_parse_delimiter_native
        # The source field, usually content
        SourceKey: content

        Separator: ','

        Quote: '"'

        # Define the names for the extracted fields in order.
        Keys:
          - time
          - ip
          - request
          - status
          - size
          - user_agent

    

SourceKey String (Required)

Kaynak alanın adı.

Separator String (Required)

Alan sınırlayıcısı. Örneğin, CSV dosyaları virgül (,) kullanır.

Keys [String] (Required)

Ayıklanan alanlar için anahtar listesi.

Quote String (Optional)

Sınırlayıcı gibi özel karakterler içeren alanları çevrelemek için kullanılan tırnak karakteri.

AllowingShortenedFields boolean (Optional)

Ayıklanan alan sayısının Keys tanımından daha az olmasına izin verilip verilmeyeceğini belirtir. Varsayılan değer: true. İzin verilmezse işlem ayrıştırma hatası olarak değerlendirilir.

OverflowedFieldsTreatment String (Optional)

Keys tanımından daha fazla alan ayıklandığında izlenecek davranış. Varsayılan değer: extend. Geçerli değerler:

  • extend: Fazla alanları korur ve bunları ayrı alanlar olarak günlüğe ekler. Alanlar, fazlalık alanının dizinini (0'dan başlayarak) temsil eden _column$i_ şeklinde adlandırılır; burada $i dizin numarasıdır.

  • keep: Fazla alanları korur ancak fazla içeriği _column0_ adlı tek bir alan olarak günlüğe ekler.

  • discard: Ekstra alanları atar.

KeepingSourceWhenParseFail boolean (Optional)

Ayrıştırma başarısız olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: false.

KeepingSourceWhenParseSucceed boolean (Optional)

Ayrıştırma başarılı olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: false.

RenamedSourceKey String (Optional)

Kaynak alan korunduğunda kullanılacak yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz.

Standard JSON parsing

Bir günlük alanındaki JSON nesnesini anahtar-değer çiftlerine dönüştürür.

Parameter

Example

Type String (Required)

Değer processor_parse_json_native olarak sabitlenir.

# ... under spec.config ...
    processors:
      # JSON parsing processor configuration
      - Type: processor_parse_json_native
        # The source field of the raw log
        SourceKey: content
        KeepingSourceWhenParseFail: true
        RenamedSourceKey: raw_log
    

SourceKey String (Required)

Kaynak alanın adı.

KeepingSourceWhenParseFail boolean (Optional)

Ayrıştırma başarısız olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: false.

KeepingSourceWhenParseSucceed boolean (Optional)

Ayrıştırma başarılı olduğunda kaynak alanın korunup korunmayacağını belirtir. Varsayılan değer: false.

RenamedSourceKey String (Optional)

Kaynak alan korunduğunda kullanılacak yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz.

Not

CRD YAML içindeki parametre adları camelCase biçimini kullanır; örneğin RenamedSourceKey. snake_case biçimindeki adlar (örneğin renamed_source_key) geçerli değildir.

Nested JSON parsing

İç içe geçmiş bir JSON nesnesini anahtar-değer çiftlerine düzleştirir ve genişletme derinliğini belirtmenize olanak tanır.

Parameter

Example

Type String (Required)

Değer processor_json olarak sabitlenir.

# ... under spec.config ...
    processors:
      # Configure the JSON field expansion processor.
      - Type: processor_json
        # Specify the source field to parse.
        SourceKey: content

        ExpandDepth: 0

        ExpandConnector: '_'

        Prefix: expand

        IgnoreFirstConnector: false

        # Whether to expand array elements into separate fields.
        ExpandArray: false

        # Whether to keep the source field content.
        KeepSource: true

        # Whether to report an error if the source field is missing.
        NoKeyError: true

        # Whether to use the source field name as a prefix for expanded field names.
        UseSourceKeyAsPrefix: false

        # Whether to keep the source log data if JSON parsing fails.
        KeepSourceIfParseError: true
    

SourceKey String (Required)

Kaynak alanın adı.

ExpandDepth integer (Optional)

İç içe geçmiş JSON nesnesi için maksimum genişletme derinliği. Varsayılan değer: 0.

  • 0: Nesneyi ayrıştırılabilen en derin seviyeye kadar genişletir.

  • 1: Yalnızca nesnenin üst seviyesini genişletir ve benzer şekilde devam eder.

ExpandConnector String (Optional)

İç içe geçmiş bir JSON nesnesi düzleştirilirken anahtarlar arasında kullanılan bağlayıcı. Varsayılan değer: alt çizgi (_).

Prefix String (Optional)

Genişletilen tüm alan adlarına eklenecek ön ek.

IgnoreFirstConnector String (Optional)

Üst seviye alandan önceki bağlayıcının atlanıp atlanmayacağını belirtir. Varsayılan değer: false.

ExpandArray boolean (Optional)

Dizi türlerinin genişletilip genişletilmeyeceğini belirtir. Varsayılan değer: false.

  • false (varsayılan): Diziyi genişletmez.

  • true: Dizi genişletilir. Örneğin, {"k":["1","2"]} ifadesi {"k[0]":"1","k[1]":"2"} şeklinde genişletilir.

Not

Bu parametre Logtail 1.8.0 ve sonraki sürümlerde desteklenir.

KeepSource boolean (Optional)

Ayrıştırılan günlükte orijinal alanın korunup korunmayacağını belirtir. Varsayılan değer: true.

  • true: Koru

  • false: At

NoKeyError boolean (Optional)

Belirtilen kaynak alan bulunamadığında hata bildirilip bildirilmeyeceğini belirtir. Varsayılan değer: true.

  • true: Hata bildir.

  • false: Hata bildirme.

UseSourceKeyAsPrefix boolean (Optional)

true olarak ayarlanırsa, genişletilen tüm alan adları için ön ek olarak kaynak alan adını kullanır.

KeepSourceIfParseError boolean (Optional)

Ayrıştırma başarısız olduğunda ham günlüklerin korunup korunmayacağını belirtir. Varsayılan değer: true.

  • true: Koru

  • false: At

JSON dizi ayrıştırma

Bir JSON dizisinden JSON nesnesi ayıklamak için json_extract işlevini kullanın. JSON İşlevleri.

Parametre

Örnek

Type String (Gerekli)

Eklenti türü. SPL eklenti türü processor_spl şeklindedir.

# ... under spec.config ...
    processors:
      # Use an SPL script to process log fields.
      - Type: processor_spl
        # Script timeout in milliseconds.
        TimeoutMilliSeconds: 1000

        # The SPL script, used to extract elements from the JSON array in the content field.
        Script: >-
          * | extend
            json1 = json_extract(content, '$[0]'),
            json2 = json_extract(content, '$[1]')

    

Script String (Gerekli)

İçerik alanındaki bir JSON dizisinden öğeleri ayıklamak için kullanılan SPL betiği.

TimeoutMilliSeconds integer (İsteğe bağlı)

Betiğin çalıştırma zaman aşımı (milisaniye cinsinden). Değer 0 ile 10.000 arasında olmalıdır. Varsayılan değer: 1.000.

NGINX günlük ayrıştırma

log_format tanımınıza göre NGINX günlüklerini anahtar-değer çiftlerine ayrıştırır. Varsayılan format gereksinimlerinizi karşılamıyorsa özel bir format kullanabilirsiniz.

Parametre

Örnek

Type String (Gerekli)

processor_parse_regex_native olarak sabitlenmiştir.

# ... under spec.config ...
    processors:
      # NGINX log parsing processor configuration
      - Type: processor_parse_regex_native
        # The source field of the raw log
        SourceKey: content

        # Regular expression parsing rule
        Regex: >-
          (\S*)\s*-\s*(\S*)\s*\[
          (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
          \s*"(\S+)\s+(\S+)\s+\S+"
          \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
          \s*"([^"]*)"\s*"([^"]*)".*

        # Map of extracted fields
        Keys:
          - remote_addr
          - remote_user
          - time_local
          - request_method
          - request_uri
          - request_time
          - request_length
          - status
          - body_bytes_sent
          - http_referer
          - http_user_agent

        # NGINX-specific configuration
        Extra:
          Format: >-
            log_format main  '$remote_addr - $remote_user [$time_local]
            "$request" ''$request_time $request_length ''$status
            $body_bytes_sent "$http_referer" ''"$http_user_agent"';
          LogType: NGINX
    

SourceKey String (Gerekli)

Kaynak alanının adı.

Regex String (Gerekli)

NGINX günlüğünü ayrıştırmak için kullanılan düzenli ifade.

Keys String (Gerekli)

Ayıklanan alanlar için anahtar listesi.

Extra

  • Format String (Gerekli)

    NGINX yapılandırma dosyanızdaki log_format yönergesi.

    Üretim ortamında bu log_format, Nginx yapılandırma dosyasındaki (genellikle /etc/nginx/nginx.conf konumunda bulunur) tanımla tutarlı olmalıdır.
  • LogType String (Gerekli)

    NGINX olarak sabitlenmiştir.

KeepingSourceWhenParseFail boolean (İsteğe bağlı)

Ayrıştırma başarısız olursa orijinal alanın korunup korunmayacağı. Varsayılan: false.

KeepingSourceWhenParseSucceed boolean (İsteğe bağlı)

Ayrıştırma başarılı olduğunda orijinal alanın saklanıp saklanmayacağı. Varsayılan: false.

RenamedSourceKey String (İsteğe bağlı)

Kaynak alanı korunursa verilecek yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz.

Apache günlük ayrıştırma

Apache günlüklerini, Apache yapılandırma dosyanızda tanımlanan formata göre anahtar-değer çiftlerine ayrıştırır.

Parametre

Örnek

Type String (Gerekli)

processor_parse_regex_native olarak sabitlenmiştir.

# ... under spec.config ...
    processors:
      # Configure the Apache Combined log parsing processor (based on a regular expression).
      - Type: processor_parse_regex_native
        # The source field, usually content.
        SourceKey: content

        # A regular expression to match and extract logs in Apache combined format.
        Regex: >-
          ([0-9.-]+)\s                          # remote_addr
          ([\w.-]+)\s                           # remote_ident
          ([\w.-]+)\s                           # remote_user
          (\[[^\[\]]+\]|-)\s                    # time_local
          "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
          "((?:[^"]|\")+)"\s                     # request_uri (duplicate capture? check the logic)
          "((?:[^"]|\")+)"\s                     # request_protocol
          (\d{3}|-)\s                           # status
          (\d+|-)\s                             # response_size_bytes
          "((?:[^"]|\")+)"\s                     # http_referer
          "((?:[^"]|\"|')+)"                     # http_user_agent

        # A list of extracted fields, corresponding to the regex groups in order.
        Keys:
          - remote_addr
          - remote_ident
          - remote_user
          - time_local
          - request_method
          - request_uri
          - request_protocol
          - status
          - response_size_bytes
          - http_referer
          - http_user_agent

        # Extra plugin information (optional, used to describe the log format).
        Extra:
          Format: >-
            LogFormat "%h %l %u %t \"%r\" %>s %b
            \"%{Referer}i\" \"%{User-Agent}i\"" combined
          LogType: Apache
          SubType: combined

    

SourceKey String (Gerekli)

Kaynak alanının adı.

Regex String (Gerekli)

Apache günlüğünü ayrıştırmak için kullanılan düzenli ifade.

Keys String (Gerekli)

Ayıklanan alanlar için anahtar listesi.

Extra

  • Format String (Gerekli)

    Apache yapılandırma dosyanızdaki LogFormat yönergesi.

  • LogType String (Gerekli)

    Apache olarak sabitlenmiştir.

  • SubType String (Gerekli)

    Günlük formatı.

    • common

    • combined

    • custom

KeepingSourceWhenParseFail boolean (İsteğe bağlı)

Ayrıştırma başarısız olursa orijinal alanın korunup korunmayacağı. Varsayılan: false.

KeepingSourceWhenParseSucceed boolean (İsteğe bağlı)

Ayrıştırma başarılı olduğunda orijinal alanın korunup korunmayacağı. Varsayılan: false.

RenamedSourceKey String (İsteğe bağlı)

Kaynak alanı korunursa verilecek yeni ad. Atlanırsa kaynak alan yeniden adlandırılmaz.

Veri maskeleme

Günlüklerinizdeki hassas verileri maskelemek için processor_desensitize_native eklentisini kullanın.

Parametreler

Örnek

Tür Dize (Gerekli)

processor_desensitize_native olarak ayarlayın.

# ... under spec.config ...
    processors:
      # Configure the native log masking plugin
      - Type: processor_desensitize_native

        # The name of the source field
        SourceKey: content

        # Masking method, such as 'const' which replaces sensitive data with a fixed string
        Method: const

        # The string to replace sensitive data with
        ReplacingString: '********'

        # A regular expression for content preceding the sensitive data
        ContentPatternBeforeReplacedString: 'password'':'''

        # A regular expression for the sensitive data to be replaced
        ReplacedContentPattern: '[^'']*'

        # Specifies whether to replace all matches. Default is true.
        ReplacingAll: true
    

SourceKey Dize (Gerekli)

Kaynak alanının adı.

Yöntem Dize (Gerekli)

Maskeleme yöntemi. Desteklenen değerler:

  • const: Hassas verileri sabit bir dize ile değiştirir.

  • md5: Hassas verileri MD5 karma değeri ile değiştirir.

ReplacingString Dize (İsteğe bağlı)

Hassas verilerin yerine geçen sabit dize. Method parametresi const olarak ayarlandığında bu parametre gereklidir.

ContentPatternBeforeReplacedString Dize (Gerekli)

Hassas verilerden önce gelen içeriği eşleştiren düzenli ifade.

ReplacedContentPattern Dize (Gerekli)

Hassas verileri eşleştiren düzenli ifade.

ReplacingAll boolean (İsteğe bağlı)

Tüm eşleşmelerin değiştirilip değiştirilmeyeceğini belirtir. Varsayılan: true.

İçerik filtreleme

Günlük alanı değerlerini bir düzenli ifadeyle eşleştirmek ve yalnızca eşleşen günlükleri tutmak için processor_filter_regex_native eklentisini yapılandırın.

Parametreler

Örnek

Tür Dize (gerekli)

Eklenti türü. Bu değer processor_filter_regex_native olmalıdır.

# ...under spec.config...
    processors:
      # Configure the regular expression filtering plugin (for log masking or sensitive word filtering).
      - Type: processor_filter_regex_native

        # Define a list of regular expressions to match log field content.
        FilterRegex:
          # Example: Matches log field values that contain "WARNING" or "ERROR".
          - WARNING|ERROR

        # Specify the names of the log fields to filter. This example filters the 'level' field.
        FilterKey:
          - level

FilterRegex Dize (gerekli)

Günlük alanı değerlerini eşleştirmek için kullanılan düzenli ifadelerin listesi.

FilterKey Dize (gerekli)

FilterRegex kalıplarının uygulanacağı günlük alanı adlarının listesi.

Zaman ayrıştırma

Bir günlükteki zaman alanını ayrıştırın ve sonucu günlüğün __time__ alanı olarak kullanın.

Anahtar alanlar

Örnek

Tür Dize (Gerekli)

Eklenti türü. processor_parse_timestamp_native olarak ayarlayın.

# ...under spec.config...
    processors:
      # Configure the native time parsing plugin.
      - Type: processor_parse_timestamp_native
        # The source field containing the timestamp, usually 'content'.
        SourceKey: content

        # The format of the source timestamp. Must match the log's format exactly.
        SourceFormat: '%Y-%m-%d %H:%M:%S'

        SourceTimezone: 'GMT+00:00'
    

SourceKey Dize (Gerekli)

Kaynak alanının adı.

SourceFormat Dize (Gerekli)

Zaman biçimi. Bu değer, günlükteki zaman biçimiyle tam olarak eşleşmelidir.

SourceTimezone Dize (İsteğe bağlı)

Kaynak zaman damgasının saat dilimi. Varsayılan: LoongCollector'ın çalıştığı makinenin saat dilimi.

Biçim:

  • GMT+HH:MM: GMT'nin doğusundaki saat dilimleri

  • GMT-HH:MM: GMT'nin batısındaki saat dilimleri

Gelişmiş yapılandırmalar

Minimal yapılandırma işlemini tamamladıktan sonra, daha ayrıntılı toplama için aşağıdaki gelişmiş ayarları kullanın:

  • Çok satırlı günlük toplamayı yapılandırın: Çok satırlı girişleri (yığın izlemeleri gibi) tek bir günlük kaydı olarak toplamak üzere, bir başlangıç deseni regex'i ile çok satırlı modu etkinleştirin.

  • Günlük konu türlerini belirtin: Daha kolay düzenleme ve erişim sağlamak amacıyla günlük akışlarına konular atayın.

  • Toplama için konteynerleri belirleyin (filtreleme ve engelleme listesi): Yalnızca belirli konteynerlerden ve yollardan günlük toplamak için izin listelerini ve engelleme listelerini kullanın.

  • Günlükleri etiketlerle zenginleştirin: Ortam değişkenlerinden ve pod etiketlerinden gelen meta verileri günlüklerinize etiket olarak ekleyin.

Çok satırlı günlük toplamayı yapılandırma

SLS varsayılan olarak günlükleri satır satır böler; bu durum, yığın izlemeleri gibi çok satırlı girdilerin ayrı kayıtlara ayrılmasına neden olur.

Çok satırlı girdileri tek bir günlük kaydı altında gruplamak için çok satırlı modu etkinleştirin ve bir başlangıç deseni regex'i yapılandırın.

Anahtar yapılandırma: spec.config.inputs yapılandırmasına Multiline parametresini ekleyin.

Alan ayrıntıları

Örnek

Multiline

Çok satırlı günlük toplamayı etkinleştirir.

  • Mode

    Toplama modu. Varsayılan değer custom'dir.

    • custom: Bir satırın başlangıcını eşleştirmek için özel bir normal ifade kullanın.

    • JSON: Çok satırlı JSON formatı.

  • StartPattern

    Bir satırın başlangıcı için normal ifade. Mode değeri custom olarak ayarlandığında bu parametre zorunludur.

# ...under spec.config...
    inputs:
      - Type: input_file
        # Enable multiline log collection.
        Multiline:
          # Mode selection: custom indicates a custom regular expression to match the start of a line.
          Mode: custom
          # The regular expression matches the start of each log entry, which marks the beginning of a new log.
          StartPattern: '\d+-\d+-\d+\s\d+:\d+:\d+'

Günlük konu türleri

Anahtar yapılandırma: Günlük konusunu ayarlamak için spec.config bölümüne global parametresini ekleyin.

Alan ayrıntıları

Örnek

TopicType

Konu türü. Geçerli değerler:

  • machine_group_topic: Bu yapılandırmanın uygulandığı makine grubunun konusunu kullanır. Bu, farklı makine gruplarından gelen günlükleri ayırt etmenize yardımcı olur.

  • filepath: Konuyu dosya yolundan çıkarır. Bu, farklı kullanıcıların veya uygulamaların günlük verilerini ayırt etmenize yardımcı olur.

  • custom: Özel, statik bir günlük konusu kullanır.

Makine grubu konusu

spec: 
      config:
        global: 
        # Use the topic of the machine group to which this configuration is applied as the log topic.
          TopicType: machine_group_topic              
    

Dosya yolu çıkarma

spec:  
      config:
        global: 
          TopicType: filepath
        # The topic format. Required when TopicType is filepath or custom.
        # The extraction results are __topic__: userA, __topic__: userB, and __topic__: userC.
          TopicFormat: \/data\/logs\/(.*)\/serviceA\/.*

Custom

spec:  
      config:
        global: 
          TopicType: custom
        # The topic format. Required when TopicType is filepath or custom.
          TopicFormat: customized://

TopicFormat

Konu formatı. TopicType değeri filepath veya custom olarak ayarlandığında bu parametre zorunludur.

Konteyner filtreleme ve engelleme listesi

Filtreleme

Yalnızca belirtilen koşullarla eşleşen konteynerlerden günlük toplayın. Birden fazla koşul mantıksal VE ile birleştirilir. Boş koşullar yoksayılır. Tüm koşullar normal ifadeleri destekler.

Anahtar yapılandırma: spec.config.inputs bölümünde ContainerFilters altında konteyner filtreleme parametrelerini yapılandırın.

Alan ayrıntıları

Örnek

ContainerFilters

Konteyner filtreleme ayarları.

  • Pod etiketi izin/engelleme listesi

    • IncludeK8sLabel

      K8s pod etiketi izin listesi. Belirtilen pod etiketlerine sahip konteynerlerden günlük toplar.

    • ExcludeK8sLabel

      K8s pod etiketi engelleme listesi. Belirtilen pod etiketlerine sahip konteynerlerden gelen günlükleri dışlar.

  • Ortam değişkeni izin/engelleme listesi

    • IncludeEnv

      Ortam değişkeni izin listesi.

    • ExcludeEnv

      Ortam değişkeni engelleme listesi.

  • Pod/ad alanı/konteyner adları için regex eşleştirme

    • K8sNamespaceRegex

      Ad alanı adlarını normal ifadeyle eşleştirir.

    • K8sPodRegex

      Pod adlarını normal ifadeyle eşleştirir.

    • K8sContainerRegex

      Konteyner adlarını normal ifadeyle eşleştirir.

Tüm normal ifade eşleştirmeleri, PCRE gibi motorlara kıyasla belirli sınırlamalara sahip olan Go dilinin RE2 motoruna dayanır. Normal ifadelerinizi Ek: Konteyner filtreleme için normal ifade sınırları bölümündeki yönergelere göre yazın.
# ...under spec.config...
inputs:
  - Type: input_file # or input_container_stdio
    # When the input plugin type is input_file, you must set EnableContainerDiscovery to true.
    EnableContainerDiscovery: true
    # Container filtering
    ContainerFilters:
      # K8s pod label whitelist: Specifies the containers from which to collect logs.
      IncludeK8sLabel:
        # Example: Match all pods that have the app label with a value of nginx or redis.
        app: ^(nginx|redis)$

      # K8s pod label blacklist: Excludes log collection from containers that meet specific conditions.
      ExcludeK8sLabel:
        # Example: Exclude all pods with the app:test label.
        app: test
      
      # Environment variable whitelist.
      IncludeEnv:
        # Match all containers with NGINX_SERVICE_PORT=80 or NGINX_SERVICE_PORT=6379.
        NGINX_SERVICE_PORT: ^(80|6379)$

      # Environment variable blacklist.
      ExcludeEnv:
        # Exclude all containers with ENVIRONMENT=test.
        ENVIRONMENT: test
      
      # Match namespace names. Example: Match all containers in the default and nginx namespaces.
      K8sNamespaceRegex: ^(default|nginx)$
      # Match pod names. Example: Match containers in all pods whose names start with nginx-log-demo.
      K8sPodRegex: ^(nginx-log-demo.*)$
      # Match container names. Example: Match all containers named container-test.
      K8sContainerRegex: ^(container-test)$

Engelleme listesi

Belirtilen kriterlerle eşleşen dosyaları hariç tutun. Bunu yapmak için YAML yapılandırmanızda ihtiyaç duyduğunuz şekilde config.inputs altına aşağıdaki parametreleri ekleyin:

Alan ayrıntıları

Örnek

# ...under spec.config...
inputs:
  - Type: input_file
    # File path blacklist. Excludes files based on the specified conditions. The path must be an absolute path and supports the * wildcard character.
    ExcludeFilePaths:
      - /var/log/*.log

    # File name blacklist. Excludes files based on the specified conditions. Supports the * wildcard character.
    ExcludeFiles:
      - test

    # Directory blacklist. Excludes directories based on the specified conditions. The path must be an absolute path and supports the * wildcard character.
    ExcludeDirs:
      - /var/log/backup*               

ExcludeFilePaths

Dosya yolu engelleme listesi. Belirtilen mutlak yollarla eşleşen dosyaları hariç tutar. Yollar * joker karakterini içerebilir.

ExcludeFiles

Dosya adı engelleme listesi. Eşleşen ada sahip dosyaları hariç tutar. Adlar * joker karakterini içerebilir.

ExcludeDirs

Dizin engelleme listesi. Belirtilen yollara göre dizinleri hariç tutar. Yollar mutlak olmalı ve * joker karakterini içerebilir.

Günlüklerin etiketlerle zenginleştirilmesi

Anahtar yapılandırma: spec.config.inputs bölümünde, konteyner ortam değişkenlerini ve pod etiketlerini günlük etiketlerine eşlemek için ExternalEnvTag ve ExternalK8sLabelTag parametrelerini yapılandırın.

Alan ayrıntıları

Örnek

ExternalEnvTag

Belirtilen bir ortam değişkeninin değerini bir günlük etiketine eşler. Format şöyledir: <environment_variable_name>: <tag_name>.

# ...under spec.config...
    inputs:
      - Type: input_file # or input_container_stdio
        ExternalEnvTag:
          <environment_variable_name>: <tag_name>

        ExternalK8sLabelTag:
          <pod_label_name>: <tag_name>          
    

ExternalK8sLabelTag

Bir Kubernetes pod etiketinin değerini bir günlük etiketine eşler. Format şöyledir: <pod_label_name>: <tag_name>.

Yapılandırma örnekleri

Kullanım durumu 1: Nginx erişim günlüklerini ayrıştırma

Bu yapılandırma, bir Nginx günlüğünü ayrıştırır ve içeriği log_format tanımına göre birden fazla anahtar-değer çifti halinde yapılandırır.

Tam YAML örneği

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: nginx-config
spec:
  config:
    aggregators: []
    global: {}
    inputs:
      - Type: input_file
        FilePaths:
          - /root/log/text1.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: >-
          (\S*)\s*-\s*(\S*)\s*\[(\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]\s*"(\S+)\s+(\S+)\s+\S+"\s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)\s*"([^"]*)"\s*"([^"]*)".*
        Keys:
          - remote_addr
          - remote_user
          - time_local
          - request_method
          - request_uri
          - request_time
          - request_length
          - status
          - body_bytes_sent
          - http_referer
          - http_user_agent
        Extra:
          Format: >-
            log_format main  '$remote_addr - $remote_user [$time_local]
            "$request" ''$request_time $request_length ''$status
            $body_bytes_sent "$http_referer" ''"$http_user_agent"';
          LogType: NGINX
    flushers:
      - Type: flusher_sls
        Logstore: my-log-logstore
    sample: >-
      192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png
      HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64)
      AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"
  project:
    name: my-log-project
  logstores:
    - name: my-log-logstore
    

Kullanım durumu 2: Çok satırlı günlükleri işleme

SLS varsayılan olarak her satırı ayrı bir günlük girişi olarak değerlendirir; bu durum, yığın izlemeleri gibi çok satırlı günlüklerin birden fazla kayda bölünmesine neden olur.

Çok satırlı bir günlüğün tüm satırlarını tek bir giriş altında gruplamak için, bir başlangıç deseni regex'i ile çok satırlı modu etkinleştirin.

Tam YAML örneği

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: multiline-config
spec:
  config:
    aggregators: []
    global: {}
    inputs:
      - Type: input_file
        FilePaths:
          - /root/log/text1.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        Multiline:
          StartPattern: '\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*'
          Mode: custom
          UnmatchedContentTreatment: single_line
        EnableContainerDiscovery: true
    processors: []
    flushers:
      - Type: flusher_sls
        Logstore: my-log-logstore
    sample: |-
      [2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
          at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
          at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
          at TestPrintStackTrace.main(TestPrintStackTrace.java:16)
  project:
    name: my-log-project
  logstores:
    - name: my-log-logstore

Sık Sorulan Sorular

Çoklu hedef dağıtımının yönetimi

Çoklu hedef dağıtımı yapılandırmaları birden fazla Logstore ile ilişkilendirilir ve proje düzeyindeki yönetim sayfasından yönetilmelidir:

  1. Simple Log Service konsolu üzerinde oturum açın ve hedef projenin adını tıklayın.

  2. Proje sayfasında, sol gezinme bölmesinde imageResources > Configurations seçeneğini tıklayın.

    Not

    Bu sayfa, yanlışlıkla silinen Logstore'lardan kalan yapılandırmalar dahil olmak üzere projedeki tüm toplama yapılandırmalarını listeler.

ACK günlüklerini farklı bir hesaba ait projeye gönderme

ACK kümesine LoongCollector (Logtail) manuel olarak yükleyin ve bunu hedef hesabın kimlik bilgileriyle yapılandırarak günlükleri başka bir Alibaba Cloud hesabındaki bir projeye gönderin.

Kullanım durumu: Kurumsal yapı, izin yalıtımı veya birleşik izleme amacıyla ACK kümesinden ayrı bir hesap altındaki projeye günlük toplayın.

Yordam: Bu yordam, LoongCollector'ın nasıl manuel kurulacağını gösterir. Logtail'in nasıl yükleneceğini öğrenmek için bkz. Logtail'i yükleme ve yapılandırma.

  1. Kubernetes kümenize bağlanın. Ardından, bölgeniz için uygun komutu çalıştırarak LoongCollector ve bağımlılıklarını indirin:

    Çin anakarasındaki bölgeler için:

    wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

    Çin anakarası dışındaki bölgeler için:

    wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh
  2. loongcollector-custom-k8s-package dizinine gidin ve ./loongcollector/values.yaml yapılandırma dosyasını değiştirin.

    # ===================== Required parameters =====================
    # The Project where logs are sent. Example: k8s-log-custom-sd89ehdq.
    projectName: ""
    # The Project's region. Example: cn-shanghai.
    region: ""
    # The UID of the Alibaba Cloud account that owns the Project. Enclose the value in quotation marks. Example: "123456789"
    aliUid: ""
    # The network type. Valid values: Internet (public network) and Intranet (internal network). Default: Internet.
    net: Internet
    # The AccessKey ID and secret for an Alibaba Cloud account or RAM user that has the AliyunLogFullAccess policy.
    accessKeyID: ""
    accessKeySecret: ""
    # The custom cluster ID. The ID can contain only uppercase letters, lowercase letters, digits, and hyphens (-).
    clusterID: ""
  3. loongcollector-custom-k8s-package dizininde LoongCollector ve bağımlılıklarını yüklemek için aşağıdaki komutu çalıştırın:

    bash k8s-custom-install.sh install
  4. Yükleme tamamlandıktan sonra bileşenlerin durumunu kontrol edin.

    Pod'lar başlamazsa values.yaml yapılandırmasını doğrulayın ve gerekli görüntülerin çekildiğinden emin olun.
    # Check pod status
    kubectl get po -n kube-system | grep loongcollector-ds

    Simple Log Service ayrıca aşağıdaki kaynakları otomatik olarak oluşturur. Bu kaynakları Simple Log Service konsolunda görüntüleyin.


    Kaynak türü


    Kaynak adı


    Açıklama


    Proje


    values.yaml dosyasında belirttiğiniz projectName değeri


    Farklı hizmetlerden gelen günlükleri yalıtır.


    Makine grubu


    k8s-group-${cluster_id}


    Günlük toplama düğümlerinden oluşan bir grup.

    Önemli

    LoongCollector, config-operation-log adlı bir logstore oluşturmaz. Bu ada sahip bir logstore zaten varsa LoongCollector buna günlük yazmayı durdurur.

Tek bir kaynak için birden fazla toplama işlemi

Varsayılan olarak SLS, kopyalamayı önlemek amacıyla her günlük kaynağını tek bir toplama yapılandırmasıyla sınırlar:

  • Bir metin günlük dosyası yalnızca bir Logtail toplama yapılandırmasıyla eşleşebilir.

  • Bir konteynerin standart çıktısı (stdout) yalnızca bir standart çıktı toplama yapılandırmasıyla eşleşebilir.

  1. Simple Log Service konsolu üzerinde oturum açın ve hedef projeye gidin.

  2. Sol gezinme bölmesinde image Logstores seçeneğini belirleyin ve hedef logstore'u bulun.

  3. Logstore'u genişletmek için adının yanındaki image simgesini tıklayın.

  4. Logtail Configuration öğesini tıklayın. Yapılandırma listesinde hedef Logtail yapılandırmasını bulun ve İşlemler sütunundaki Manage Logtail Configuration seçeneğini tıklayın.

  5. Logtail Yapılandırmaları sayfasında Edit seçeneğini tıklayın ve Input Configurations bölümüne aşağı doğru kaydırın:

    • Metin dosyası günlüklerini toplamak için Allow File to Be Collected for Multiple Times seçeneğini etkinleştirin.

    • Konteyner standart çıktısını toplamak için Allow Collection by Different Logtail Configurations seçeneğini etkinleştirin.

Ek: Normal ifade sınırları (konteyner filtreleme)

Konteyner filtreleme için kullanılan normal ifadeler Go RE2 altyapısını kullanır ve bu altyapı PCRE'ye kıyasla sözdizimi sınırlamalarına sahiptir:

1. Adlandırılmış grup sözdizimindeki farklar

Go, adlandırılmış gruplar için (?P<name>...) sözdizimini kullanır. PCRE'de kullanılan (?<name>...) sözdizimini desteklemez.

  • Doğru örnek: (?P<year>\d{4})

  • Yanlış sözdizimi: (?<year>\d{4})

2. Desteklenmeyen normal ifade özellikleri

RE2, yaygın ancak karmaşık olan aşağıdaki normal ifade özelliklerini desteklemez. Bunları kullanmaktan kaçının:

  • Onaylamalar: (?=...), (?!...), (?<=...), (?<!...)

  • Koşullu ifadeler: (?(condition)true|false)

  • Özyinelemeli eşleştirme: (?R), (?0)

  • Alt program başvuruları: (?&name), (?P>name)

  • Atomik gruplar: (?>...)

3. Öneriler

Regex101 gibi bir araçla normal ifade hata ayıklaması yaparken Golang (RE2) modunu seçin. Desteklenmeyen sözdizimi, eklentinin doğru şekilde ayrıştırılmasını veya eşleşmesini engeller.