Container Service for Kubernetes:Coletar logs de Serviços Knative

CRD - AliyunPipelineConfig (recomendado)

Crie um Recurso Personalizado (CR) a partir do CRD AliyunPipelineConfig. A configuração é aplicada automaticamente. Para modificá-la, atualize o CR.

Principais restrições:

• O valor de configName deve ser exclusivo dentro do projeto do SLS.

• Crie um CR por configuração do Logtail. Se vários CRs referenciarem a mesma configuração, apenas o primeiro terá efeito.

Etapas:

1. Obtenha o arquivo kubeconfig e conecte-se ao cluster usando kubectl.

2. Crie um arquivo YAML:

   vim cube.yaml

3. Adicione a configuração ao arquivo YAML. Consulte os exemplos abaixo.

4. Aplique a configuração:

   kubectl apply -f cube.yaml

   O Logtail começa a coletar logs dos contêineres especificados e a enviá-los ao SLS.

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  # The name must be unique in the Kubernetes cluster. It is also used as the Logtail configuration name.
  name: example-k8s-file
spec:
  # Specify the project to collect logs into.
  project:
    name: k8s-log-test
  # Create a Logstore to store logs.
  logstores:
    - name: k8s-file
  config:
    inputs:
      # Use input_file to collect text logs from containers.
      - Type: input_file
        # Log file path inside the containers.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Enable container discovery.
        EnableContainerDiscovery: true
        # Filter containers. Multiple conditions use logical AND.
        ContainerFilters:
          # Match containers in the default namespace.
          K8sNamespaceRegex: default
          # Match containers whose name contains "app".
          K8sContainerRegex: ^(.*app.*)$
    flushers:
      # Use flusher_sls to send logs to a Logstore.
      - Type: flusher_sls
        Logstore: k8s-file
        # For valid endpoint and region values, see https://www.alibabacloud.com/help/en/sls/developer-reference/service-entrance
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  name: example-k8s-file
spec:
  project:
    name: k8s-log-test
  logstores:
    - name: k8s-file
  config:
    # Optional: add a sample log for reference.
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    inputs:
      - Type: input_file
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        EnableContainerDiscovery: true
        # Enable multi-line log collection.
        Multiline:
          # Use a custom regex to identify the first line of each log entry.
          Mode: custom
          StartPattern: \d+-\d+-\d+.*
    processors:
      # Parse logs using a regular expression. Capturing groups define extracted fields.
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        Keys: ["time", "level", "msg"]
    flushers:
      - Type: flusher_sls
        Logstore: k8s-file
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

CRD - AliyunLogConfig

Crie um CR a partir do CRD AliyunLogConfig. A configuração é aplicada automaticamente. Para modificá-la, atualize o CR.

Etapas:

1. Obtenha o arquivo kubeconfig e conecte-se ao cluster usando kubectl.

2. Crie um arquivo YAML:

   vim cube.yaml

3. Adicione a configuração. Consulte o exemplo abaixo. O valor de configName deve ser exclusivo no projeto do SLS.

4. Aplique a configuração:

   kubectl apply -f cube.yaml

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: example-k8s-file
  namespace: kube-system
spec:
  # If left blank, the project named k8s-log-<your_cluster_id> is used.
  project: k8s-log-test
  # If the specified Logstore does not exist, SLS creates it automatically.
  logstore: k8s-file
  logtailConfig:
    # Set to "file" for text logs.
    inputType: file
    configName: example-k8s-file
    inputDetail:
      # Simple mode for text logs.
      logType: common_reg_log
      logPath: /data/logs/app_1
      # Supports wildcard characters (* and ?). Example: log_*.log
      filePattern: test.LOG
      # Required for container log collection.
      dockerFile: true
      advanced:
        k8s:
          K8sPodRegex: '^(app.*)$'

Console do SLS

1. Faça login no console do Simple Log Service.

2. Na seção Quick Data Import, clique em Import Data. Na caixa de diálogo Import Data, clique no cartão Kubernetes - File.

   

3. Selecione o projeto e o Logstore e clique em Next. Use o projeto criado durante a instalação do Logtail.

4. Na etapa Machine Group Configurations, configure o seguinte:

   1. Selecione uma opção de grupo de máquinas conforme sua configuração:

      • Kubernetes Clusters > ACK Daemonset

      • Kubernetes Clusters > Self-managed Cluster in DaemonSet Mode

      Importante

      As configurações subsequentes variam dependendo da opção selecionada.

   2. Confirme se os grupos de máquinas aparecem em Applied Server Groups e clique em Next. O SLS cria automaticamente um grupo de máquinas chamado k8s-group-${your_k8s_cluster_id} durante a instalação do Logtail.

      Importante

      • Para criar um novo grupo de máquinas, clique em Create Machine Group e configure os parâmetros. Consulte Coletar logs de contêiner de clusters ACK.

      • Se o status de heartbeat de um grupo de máquinas for FAIL, clique em Automatic Retry. Se o problema persistir, consulte Como solucionar erros relacionados a um grupo de máquinas do Logtail?

5. Crie uma configuração do Logtail e clique em Next. A coleta de logs começa após a criação. Opções de filtragem de contêiner Disponíveis para Logtail 1.0.34+. Versões anteriores: apenas variáveis de ambiente e rótulos de contêiner.

   • K8s Pod Name Regular Matching: corresponda contêineres pelo nome do pod usando uma expressão regular. Exemplo: ^(nginx-log-demo.*)$ corresponde a todos os contêineres em pods cujo nome começa com nginx-log-demo.

   • K8s Namespace Regular Matching: corresponda contêineres pelo namespace. Exemplo: ^(default|nginx)$ corresponde a contêineres nos namespaces nginx e default.

   • K8s Container Name Regular Matching: corresponda contêineres pelo nome do contêiner (conforme definido em spec.containers). Exemplo: ^(container-test)$ corresponde a contêineres chamados container-test.

   • Container Label Whitelist / Blacklist: filtre contêineres por rótulos de contêiner (pares chave-valor). Namespaces do Kubernetes e nomes de contêiner mapeiam para os rótulos io.kubernetes.pod.namespace e io.kubernetes.container.name. Pares chave-valor são avaliados com lógica OR. A correspondência de string é o padrão; prefixe com ^ e sufixe com $ para correspondência regex.

   • Environment Variable Whitelist / Blacklist: filtre contêineres por pares chave-valor de variáveis de ambiente. Aplica-se lógica OR. Exemplo: defina Environment Variable Name como NGINX_SERVICE_PORT e Environment Variable Value como ^(80|6379)$ para corresponder a contêineres na porta 80 ou 6379.

   • Kubernetes Pod Label Whitelist / Blacklist: filtre contêineres por rótulos de pod do Kubernetes (distintos dos rótulos de contêiner). Aplica-se lógica OR. Exemplo: defina Label Name como environment e Label Value como ^(dev|pre)$ para corresponder a contêineres com rótulos de pod environment:dev ou environment:pre.

   Nota

   Uma configuração do Logtail leva até 3 minutos para entrar em vigor.

   Importante

   Rótulos de contêiner (obtidos via docker inspect) diferem dos rótulos do Kubernetes. Consulte Obter rótulos e Obter variáveis de ambiente.

   Configurações globais

   Parâmetro	Descrição
   Nome da configuração	Nome exclusivo dentro do projeto. Não pode ser alterado posteriormente.
   Tipo de tópico de log	Origem do tópico de log. Machine Group Topic: por grupo de máquinas. File Path Extraction: regex no caminho do arquivo. Custom: definido pelo usuário. Consulte Tópicos de log.
   Parâmetros avançados	Opcional. Consulte CreateLogtailPipelineConfig.

   Configurações de entrada

   Parâmetro	Descrição
   Logtail deployment mode	Selecione Daemonset para este caso de uso.
   File path type	Selecione Path in Container na maioria dos casos. Selecione Host Path apenas para volumes montados via hostPath.
   File path	Especifique o caminho do arquivo de log. Caminhos Linux começam com / (exemplo: /apsara/nuwa//app.Log). Caminhos Windows começam com uma letra de unidade (exemplo: C:\Program Files\Intel\\*.Log). Use * e ? apenas como caracteres curinga. Exemplos: /apsara/nuwa/**/*.log coleta todos os arquivos .log sob /apsara/nuwa recursivamente. /var/logs/app_*/**/*.log coleta arquivos .log em subdiretórios correspondentes a app_* sob /var/logs. /var/log/nginx/**/access* coleta arquivos começando com access sob /var/log/nginx recursivamente.
   Maximum directory monitoring depth	Profundidade máxima de subdiretório para o curinga **. 0 monitora apenas o diretório especificado. Mantenha baixo — valores maiores aumentam o consumo de recursos e podem causar latência.
   Enable container metadata preview	Mostra metadados de contêiner correspondentes após a criação da configuração.
   Container filtering	Filtre contêineres para coleta de logs. Logtail anterior a 1.0.34: apenas variáveis de ambiente e rótulos de contêiner. Logtail 1.0.34+: filtragem no nível do Kubernetes (Nome do Pod K8s, Namespace, Nome do Contêiner, Rótulo do Pod).
   Log tag enrichment	Adicione tags de log a partir de variáveis de ambiente e rótulos de pod.
   File encoding	Formato de codificação dos arquivos de log.
   First collection size	Tamanho dos dados para a coleta inicial. Padrão: 1.024 KB. Intervalo: 0–10.485.760 KB. Arquivos menores que 1.024 KB são lidos desde o início; arquivos maiores são lidos a partir dos últimos 1.024 KB.
   Collection blacklist	Exclua diretórios ou arquivos por caminho exato ou curingas (* e ?). Máximo de 10 entradas. Caminhos não podem terminar com /. Tipos: Caminho de Arquivo, Arquivo e Diretório.
   Allow file to be collected multiple times	Por padrão, uma configuração do Logtail por arquivo. Ative para permitir múltiplas configurações por arquivo.
   Advanced parameters	Opcional. Consulte Criar uma configuração de pipeline do Logtail.

   Configurações de processador

   Parâmetro	Descrição
   Amostra de log	Logs de amostra para configuração de processamento. Máximo: 1.500 caracteres.
   Modo multilinha	Detecção de log multilinha. Custom: use Regex to Match First Line para limites de log. Multi-line JSON: cada objeto JSON abrange várias linhas. Processing Method If Splitting Fails: Discard (descarta logs não correspondentes) ou Retain Single Line (uma linha por entrada).
   Método de processamento	Adicione processadores para processamento de dados. Logtail V2.0: combine livremente processadores nativos e estendidos (estendidos devem seguir nativos). Versões anteriores: sem mistura.

6. Crie índices e visualize dados, depois clique em Next. A indexação de texto completo é habilitada por padrão. Para criar índices de campo automaticamente, clique em Automatic Index Generation. Consulte Criar índices.

   Importante

   Use índices de texto completo para consultar todos os campos. Use índices de campo para consultar campos específicos e reduzir o tráfego de índice. Índices de campo são necessários para análise de logs (consultas devem incluir uma instrução SELECT).

7. Clique em Query Log. Aguarde cerca de 1 minuto para que os índices entrem em vigor e visualize os logs na aba Raw Logs. Consulte Guia de consulta e análise de logs.

Variáveis de ambiente

Configure a coleta de logs no YAML do seu Serviço Knative usando variáveis de ambiente. Os nomes devem usar o prefixo aliyun_logs_. A parte {key} permite apenas letras minúsculas, dígitos e hifens (-).

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go-log
spec:
  template:
    spec:
      containers:
      - name: my-demo-app
        image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
        env:
        # Collect stdout to Logstore "log-stdout".
        - name: aliyun_logs_log-stdout
          value: stdout
        # Collect /var/demo/*.log files to Logstore "log-varlog".
        - name: aliyun_logs_log-varlog
          value: /var/demo/*.log
        # Add a custom tag to all logs collected by this container.
        - name: aliyun_logs_mytag1_tags
          value: tag1=v1
        volumeMounts:
        - name: volumn-sls-mydemo
          mountPath: /var/demo
        # Optional: add a sleep command if the pod restarts repeatedly.
        command: ["sh", "-c"]
        args: ["sleep 3600"]
      volumes:
      - name: volumn-sls-mydemo
        emptyDir: {}