Container Service for Kubernetes:Collect logs from Knative Services

CRD - AliyunPipelineConfig (recomendado)

Cree un recurso personalizado (CR) a partir del CRD AliyunPipelineConfig. La configuración se aplica automáticamente. Para modificarla, actualice el CR.

Restricciones principales:

• El valor de configName debe ser único dentro del proyecto de SLS.

• Cree un CR por cada configuración de Logtail. Si varios CR hacen referencia a la misma configuración, solo el primer CR surte efecto.

Pasos:

1. Obtenga el archivo kubeconfig y conéctese a su clúster mediante kubectl.

2. Cree un archivo YAML:

   vim cube.yaml

3. Agregue la configuración al archivo YAML. Consulte los ejemplos a continuación.

4. Aplique la configuración:

   kubectl apply -f cube.yaml

   Logtail comienza a recopilar registros de los contenedores especificados y a enviarlos a SLS.

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  # The name must be unique in the Kubernetes cluster. It is also used as the Logtail configuration name.
  name: example-k8s-file
spec:
  # Specify the project to collect logs into.
  project:
    name: k8s-log-test
  # Create a Logstore to store logs.
  logstores:
    - name: k8s-file
  config:
    inputs:
      # Use input_file to collect text logs from containers.
      - Type: input_file
        # Log file path inside the containers.
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # Enable container discovery.
        EnableContainerDiscovery: true
        # Filter containers. Multiple conditions use logical AND.
        ContainerFilters:
          # Match containers in the default namespace.
          K8sNamespaceRegex: default
          # Match containers whose name contains "app".
          K8sContainerRegex: ^(.*app.*)$
    flushers:
      # Use flusher_sls to send logs to a Logstore.
      - Type: flusher_sls
        Logstore: k8s-file
        # For valid endpoint and region values, see https://www.alibabacloud.com/help/en/sls/developer-reference/service-entrance
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

apiVersion: telemetry.alibabacloud.com/v1alpha1
# Create a CR from the ClusterAliyunPipelineConfig CRD.
kind: ClusterAliyunPipelineConfig
metadata:
  name: example-k8s-file
spec:
  project:
    name: k8s-log-test
  logstores:
    - name: k8s-file
  config:
    # Optional: add a sample log for reference.
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    inputs:
      - Type: input_file
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        EnableContainerDiscovery: true
        # Enable multi-line log collection.
        Multiline:
          # Use a custom regex to identify the first line of each log entry.
          Mode: custom
          StartPattern: \d+-\d+-\d+.*
    processors:
      # Parse logs using a regular expression. Capturing groups define extracted fields.
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        Keys: ["time", "level", "msg"]
    flushers:
      - Type: flusher_sls
        Logstore: k8s-file
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

CRD - AliyunLogConfig

Cree un CR a partir del CRD AliyunLogConfig. La configuración se aplica automáticamente. Para modificarla, actualice el CR.

Pasos:

1. Obtenga el archivo kubeconfig y conéctese a su clúster mediante kubectl.

2. Cree un archivo YAML:

   vim cube.yaml

3. Agregue la configuración. Consulte el ejemplo a continuación. El valor de configName debe ser único en el proyecto de SLS.

4. Aplique la configuración:

   kubectl apply -f cube.yaml

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: example-k8s-file
  namespace: kube-system
spec:
  # If left blank, the project named k8s-log-<your_cluster_id> is used.
  project: k8s-log-test
  # If the specified Logstore does not exist, SLS creates it automatically.
  logstore: k8s-file
  logtailConfig:
    # Set to "file" for text logs.
    inputType: file
    configName: example-k8s-file
    inputDetail:
      # Simple mode for text logs.
      logType: common_reg_log
      logPath: /data/logs/app_1
      # Supports wildcard characters (* and ?). Example: log_*.log
      filePattern: test.LOG
      # Required for container log collection.
      dockerFile: true
      advanced:
        k8s:
          K8sPodRegex: '^(app.*)$'

Consola de SLS

1. Inicie sesión en Simple Log Service console.

2. En la sección Quick Data Import, haga clic en Import Data. En el cuadro de diálogo Import Data, haga clic en la tarjeta Kubernetes - File.

   

3. Seleccione el proyecto y el Logstore, luego haga clic en Next. Utilice el proyecto creado durante la instalación de Logtail.

4. En el paso Machine Group Configurations, configure lo siguiente:

   1. Seleccione una opción de grupo de máquinas según su configuración:

      • Kubernetes Clusters > ACK Daemonset

      • Kubernetes Clusters > Self-managed Cluster in DaemonSet Mode

      Importante

      Las configuraciones posteriores varían según la opción que seleccione.

   2. Confirme que los grupos de máquinas aparecen en Applied Server Groups, luego haga clic en Next. SLS crea automáticamente un grupo de máquinas denominado k8s-group-${your_k8s_cluster_id} durante la instalación de Logtail.

      Importante

      • Para crear un nuevo grupo de máquinas, haga clic en Create Machine Group y configure los parámetros. Consulte Collect container logs from ACK clusters.

      • Si el estado de latido de un grupo de máquinas es FAIL, haga clic en Automatic Retry. Si el problema persiste, consulte ¿Cómo soluciono un error relacionado con un grupo de máquinas de Logtail?

5. Cree una configuración de Logtail y haga clic en Next. La recopilación de registros comienza tras la creación. Opciones de filtrado de contenedores Disponibles para Logtail 1.0.34+. Versiones anteriores: solo variables de entorno y etiquetas de contenedor.

   • K8s Pod Name Regular Matching: Coincidencia de contenedores por nombre de pod mediante una expresión regular. Ejemplo: ^(nginx-log-demo.*)$ coincide con todos los contenedores en pods cuyo nombre comienza con nginx-log-demo.

   • K8s Namespace Regular Matching: Coincidencia de contenedores por espacio de nombres. Ejemplo: ^(default|nginx)$ coincide con contenedores en los espacios de nombres nginx y default.

   • K8s Container Name Regular Matching: Coincidencia de contenedores por nombre de contenedor (según se define en spec.containers). Ejemplo: ^(container-test)$ coincide con contenedores denominados container-test.

   • Container Label Whitelist / Blacklist: Filtrado de contenedores por etiquetas de contenedor (pares clave-valor). Los espacios de nombres de Kubernetes y los nombres de contenedor se asignan a las etiquetas io.kubernetes.pod.namespace y io.kubernetes.container.name. Los pares clave-valor se evalúan con lógica OR. La coincidencia de cadenas es el comportamiento predeterminado; agregue el prefijo ^ y el sufijo $ para usar coincidencia con expresiones regulares.

   • Environment Variable Whitelist / Blacklist: Filtrado de contenedores por pares clave-valor de variables de entorno. Se aplica lógica OR. Ejemplo: establezca Environment Variable Name en NGINX_SERVICE_PORT y Environment Variable Value en ^(80|6379)$ para coincidir con contenedores en el puerto 80 o 6379.

   • Kubernetes Pod Label Whitelist / Blacklist: Filtrado de contenedores por etiquetas de pod de Kubernetes (distintas de las etiquetas de contenedor). Se aplica lógica OR. Ejemplo: establezca Label Name en environment y Label Value en ^(dev|pre)$ para coincidir con contenedores que tengan las etiquetas de pod environment:dev o environment:pre.

   Nota

   Una configuración de Logtail tarda hasta 3 minutos en surtir efecto.

   Importante

   Las etiquetas de contenedor (obtenidas mediante docker inspect) difieren de las etiquetas de Kubernetes. Consulte Obtención de etiquetas y Obtención de variables de entorno.

   Configuraciones globales

   Parámetro	Descripción
   Nombre de la configuración	Nombre único dentro del proyecto. No se puede modificar posteriormente.
   Tipo de tema de registro	Origen del tema del registro. Machine Group Topic: por grupo de máquinas. File Path Extraction: expresión regular sobre la ruta del archivo. Custom: definido por el usuario. Consulte Temas de registro.
   Parámetros avanzados	Opcional. Consulte CreateLogtailPipelineConfig.

   Configuraciones de entrada

   Parámetro	Descripción
   Logtail deployment mode	Seleccione Daemonset para este caso de uso.
   File path type	Seleccione Path in Container en la mayoría de los casos. Seleccione Host Path solo para volúmenes montados como hostPath.
   File path	Especifique la ruta del archivo de registro. Las rutas de Linux comienzan con / (ejemplo: /apsara/nuwa//app.Log`). Windows paths start with a drive letter (example: `C:\Program Files\Intel\\*.Log). Utilice * y ? únicamente como caracteres comodín. Ejemplos: /apsara/nuwa/**/*.log recopila todos los archivos .log bajo /apsara/nuwa de forma recursiva. /var/logs/app_*/**/*.log recopila archivos .log en subdirectorios que coinciden con app_* bajo /var/logs. /var/log/nginx/**/access* recopila archivos que comienzan con access bajo /var/log/nginx de forma recursiva.
   Maximum directory monitoring depth	Profundidad máxima de subdirectorios para el comodín **. 0 monitorea solo el directorio especificado. Mantenga este valor bajo; valores mayores incrementan el consumo de recursos y pueden causar latencia.
   Enable container metadata preview	Muestra los metadatos de los contenedores coincidentes después de crear la configuración.
   Container filtering	Filtra contenedores para la recopilación de registros. Logtail anterior a 1.0.34: solo variables de entorno y etiquetas de contenedor. Logtail 1.0.34+: filtrado a nivel de Kubernetes (nombre de pod K8s, espacio de nombres, nombre de contenedor, etiqueta de pod).
   Log tag enrichment	Agrega etiquetas de registro desde variables de entorno y etiquetas de pod.
   File encoding	Formato de codificación de los archivos de registro.
   First collection size	Tamaño de datos para la recopilación inicial. Valor predeterminado: 1,024 KB. Rango: 0–10,485,760 KB. Los archivos menores a 1,024 KB se leen desde el inicio; los archivos más grandes se leen a partir de los últimos 1,024 KB.
   Collection blacklist	Excluye directorios o archivos por ruta exacta o comodines (* y ?). Máximo 10 entradas. Las rutas no pueden terminar con /. Tipos: Ruta de archivo, Archivo y Directorio.
   Allow file to be collected multiple times	De forma predeterminada, se permite una configuración de Logtail por archivo. Habilite esta opción para permitir múltiples configuraciones por archivo.
   Advanced parameters	Opcional. Consulte Creación de una configuración de pipeline de Logtail.

   Configuraciones de procesador

   Parámetro	Descripción
   Muestra de registro	Registros de ejemplo para la configuración de procesamiento. Máximo: 1,500 caracteres.
   Modo multilínea	Detección de registros multilínea. Custom: utilice Regex to Match First Line para definir los límites del registro. Multi-line JSON: cada objeto JSON abarca varias líneas. Processing Method If Splitting Fails: Discard (descarta registros no coincidentes) o Retain Single Line (una línea por entrada).
   Método de procesamiento	Agregue procesadores para el procesamiento de datos. Logtail V2.0: combine libremente procesadores nativos y extendidos (los extendidos deben ir después de los nativos). Versiones anteriores: no se permite mezclar tipos.

6. Cree índices y visualice datos, luego haga clic en Next. La indexación de texto completo está habilitada de forma predeterminada. Para crear índices de campo automáticamente, haga clic en Automatic Index Generation. Consulte Creación de índices.

   Importante

   Utilice índices de texto completo para consultar todos los campos. Utilice índices de campo para consultar campos específicos y reducir el tráfico de indexación. Los índices de campo son obligatorios para el análisis de registros (las consultas deben incluir una instrucción SELECT).

7. Haga clic en Query Log. Espere aproximadamente 1 minuto a que los índices surtan efecto y luego consulte los registros en la pestaña Raw Logs. Consulte Guía de consulta y análisis de registros.

Variables de entorno

Configure la recopilación de registros en el YAML de su Knative Service mediante variables de entorno. Los nombres deben usar el prefijo aliyun_logs_. La parte {key} solo admite letras minúsculas, dígitos y guiones (-).

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go-log
spec:
  template:
    spec:
      containers:
      - name: my-demo-app
        image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
        env:
        # Collect stdout to Logstore "log-stdout".
        - name: aliyun_logs_log-stdout
          value: stdout
        # Collect /var/demo/*.log files to Logstore "log-varlog".
        - name: aliyun_logs_log-varlog
          value: /var/demo/*.log
        # Add a custom tag to all logs collected by this container.
        - name: aliyun_logs_mytag1_tags
          value: tag1=v1
        volumeMounts:
        - name: volumn-sls-mydemo
          mountPath: /var/demo
        # Optional: add a sleep command if the pod restarts repeatedly.
        command: ["sh", "-c"]
        args: ["sleep 3600"]
      volumes:
      - name: volumn-sls-mydemo
        emptyDir: {}