Simple Log Service:Recopilación de registros de texto de pods de Kubernetes (modo sidecar)

Es posible filtrar con base en los campos del contenido del registro; por ejemplo, recolectar únicamente los registros con nivel WARNING o ERROR.

Ejemplo:

{"level":"WARNING","timestamp":"2025-09-23T19:11:40+0800","cluster":"yilu-cluster-0728","message":"Disk space is running low","freeSpace":"15%"}
{"level":"ERROR","timestamp":"2025-09-23T19:11:42+0800","cluster":"yilu-cluster-0728","message":"Failed to connect to database","errorCode":5003}
{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

{"level":"WARNING","timestamp":"2025-09-23T19:11:40+0800","cluster":"yilu-cluster-0728","message":"Disk space is running low","freeSpace":"15%"}
    {"level":"ERROR","timestamp":"2025-09-23T19:11:42+0800","cluster":"yilu-cluster-0728","message":"Failed to connect to database","errorCode":5003}

Procedimiento: En el área Processor Configurations de la página Logtail Configuration

Haga clic en Add Processor y seleccione Native Processor > Data Filtering:

• Field Name: Campo del registro que se utilizará para el filtrado.

• Field Value: Expresión regular empleada para el filtrado. Solo se admite la coincidencia de texto completo; no se admite la coincidencia parcial por palabra clave.

Utilice una lista de bloqueados para excluir directorios o archivos específicos y evitar que se carguen registros irrelevantes o sensibles.

Procedimiento: En la página Logtail Configuration, dentro del área Input Configurations > Other Input Configurations, habilite Collection Blacklist y haga clic en Add.

Se admite la coincidencia exacta y la coincidencia con comodines para directorios y nombres de archivo. Los únicos caracteres comodín disponibles son el asterisco (*) y el signo de interrogación (?).

• File Path Blacklist: Rutas de archivo que se deben ignorar. Ejemplos:

  • /home/admin/private*.log: Ignora todos los archivos del directorio /home/admin/ que comienzan con "private" y terminan con ".log".

  • /home/admin/private*/*_inner.log: Ignora los archivos que terminan con "_inner.log" dentro de los directorios que comienzan con "private" bajo el directorio /home/admin/.

• File Blacklist: Nombres de archivo que se deben ignorar durante la recolección. Ejemplo:

  • app_inner.log: Ignora todos los archivos llamados app_inner.log.

• Directory Blacklist: La ruta del directorio no debe terminar con una barra diagonal (/). Ejemplos:

  • /home/admin/dir1/: La lista de bloqueados de directorios no surtirá efecto.

  • /home/admin/dir*: Ignora los archivos de todos los subdirectorios bajo /home/admin/ que comienzan con "dir".

  • /home/admin/*/dir: Ignora todos los archivos en los subdirectorios llamados "dir" que se encuentran en el segundo nivel bajo el directorio /home/admin/. Por ejemplo, se ignoran los archivos del directorio /home/admin/a/dir, mientras que se recolectan los del directorio /home/admin/a/b/dir.

Establezca condiciones de recolección con base en los metadatos del contenedor (variables de entorno, etiquetas de Pod, namespaces, nombres de contenedor) para controlar qué registros de contenedores se recolectan.

Pasos de configuración: En la página Logtail Configurations, dentro del área Input Configurations, habilite Container Filtering y haga clic en Add.

Varias condiciones tienen una relación "AND". Todas las coincidencias de expresiones regulares se basan en el motor de expresiones regulares RE2 de Go, el cual presenta algunas limitaciones en comparación con motores como PCRE. Siga las indicaciones de Appendix: Regular expression limits (container filtering) al escribir expresiones regulares.

• Lista de bloqueados/permitidos de variables de entorno: Filtra contenedores según sus variables de entorno.

• Lista de bloqueados/permitidos de etiquetas de Pod de K8s: Filtra contenedores según las etiquetas de Pod de sus pods anfitriones.

• Coincidencia regex de nombre de Pod de K8s: Filtra contenedores según el nombre de su Pod.

• Coincidencia regex de Namespace de K8s: Filtra contenedores según su namespace.

• Coincidencia regex de nombre de contenedor de K8s: Filtra contenedores según su nombre.

• Lista de bloqueados/permitidos de etiquetas de contenedor: Filtra contenedores según sus etiquetas. Este método está diseñado para Docker y no se recomienda para Kubernetes.

Procedimiento: En Global Configurations > Other Global Configurations > Log Topic Type, seleccione un método para generar temas. Se admiten los siguientes tres tipos:

• Tema de grupo de máquinas: Cuando una configuración de recolección se aplica a varios grupos de máquinas, LoongCollector utiliza automáticamente el nombre del grupo de máquinas del servidor como valor del campo __topic__ para la carga. Esta opción es adecuada para escenarios donde los registros se clasifican por host.

• Custom: El formato es customized://<custom_topic_name>; por ejemplo, customized://app-login. Resulta útil para escenarios de temas estáticos con identificadores de servicio fijos.

• Extracción de ruta de archivo: Extrae información clave de la ruta completa del archivo de registro para marcar dinámicamente el origen del registro. Es útil cuando varios usuarios o aplicaciones comparten el mismo nombre de archivo de registro pero tienen rutas diferentes. Si varios usuarios o servicios escriben registros en distintos directorios de nivel superior, pero las subrutas y los nombres de archivo son idénticos, el origen no puede distinguirse solo por el nombre del archivo. Por ejemplo:

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  En este caso, configure Extracción de ruta de archivo y utilice una expresión regular para extraer información clave de la ruta completa. El resultado coincidente se carga luego al Logstore como tema.

  Regla de extracción de ruta de archivo: Basada en grupos de captura de expresiones regulares

  Al configurar una expresión regular, el sistema determina automáticamente el formato del campo de salida según la cantidad y el nombre de los grupos de captura. Las reglas son las siguientes:

  En la expresión regular para la ruta de archivo, debe escapar la barra diagonal (/).

  Tipo de grupo de captura	Escenario	Campo generado	Ejemplo de regex	Ejemplo de ruta coincidente	Ejemplo de campo generado
  Grupo de captura único (solo un (.*?))	Solo se requiere una dimensión para distinguir el origen (como nombre de usuario o entorno)	Genera el campo __topic__	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__: userA
  Varios grupos de captura sin nombre (varios (.*?))	Se necesitan varias dimensiones para distinguir el origen, pero no se requieren etiquetas semánticas	Genera un campo de etiqueta __tag__:__topic_{i}__, donde {i} es el número ordinal del grupo de captura	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__userA __tag__:__topic_2__svcA
  Varios grupos de captura con nombre (mediante (?P<name>.*?))	Se necesitan varias dimensiones para distinguir el origen y se desea que los significados de los campos sean claros para facilitar consultas y análisis	Genera un campo de etiqueta __tag__:{name}	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA; __tag__:service:svcA

Habilite el enriquecimiento de etiquetas de registro para extraer información clave de las variables de entorno del contenedor o de las etiquetas de Pod de Kubernetes y usarlas como etiquetas para una agrupación detallada de registros.

Pasos de configuración: En el área Input Configurations de la página Logtail Configurations, habilite Log Tag Enrichment y haga clic en Add.

• Environment Variables: Configure el nombre de la variable de entorno y el nombre de la etiqueta. El valor de la variable de entorno se almacena como valor de la etiqueta.

  • Nombre de la variable de entorno: Nombre de la variable de entorno que se va a extraer.

  • Nombre de la etiqueta: Nombre de la etiqueta.

• Pod Labels: Configure el nombre de la etiqueta de Pod y el nombre de la etiqueta. El valor de la etiqueta de Pod se almacena como valor de la etiqueta.

  • Nombre de la etiqueta de Pod: Nombre de la etiqueta de Pod de Kubernetes que se va a extraer.

  • Nombre de la etiqueta: Nombre de la etiqueta.

apiVersion: batch/v1
kind: Job
metadata:
  name: demo-job
spec:
  backoffLimit: 3                   
  activeDeadlineSeconds: 3600        
  completions: 1                     
  parallelism: 1                    
  template:
    spec:
      restartPolicy: Never         
      terminationGracePeriodSeconds: 300 
      containers:
        # Application container
        - name: demo-job
          image: debian:bookworm-slim
          command: ["/bin/bash", "-c"]
          args:
            - |
              # Wait for LoongCollector to be ready.
              echo "[$(date)] Business: Waiting for LoongCollector to be ready..."
              until [[ -f /tasksite/cornerstone ]]; do 
                sleep 1
              done
              echo "[$(date)] Business: LoongCollector is ready, starting business logic"
              # Run the application logic.
              echo "Hello, World!" >> /app/logs/business.log
              # Save the exit code.
              retcode=$?
              echo "[$(date)] Business: Task completed with exit code: $retcode"
              # Notify LoongCollector that the task is finished.
              touch /tasksite/tombstone
              echo "[$(date)] Business: Tombstone created, exiting"
              exit $retcode
          # Resource requests and limits
          resources:
            requests:
              cpu: "100m"
              memory: "128Mi"
            limits:
              cpu: "500"
              memory: "512Mi"
          # volume mounts
          volumeMounts:
            - name: app-logs
              mountPath: /app/logs
            - name: tasksite
              mountPath: /tasksite
        # LoongCollector sidecar container
        - name: loongcollector
          image: aliyun-observability-release-registry.cn-hongkong.cr.aliyuncs.com/loongcollector/loongcollector:v3.1.1.0-20fa5eb-aliyun
          command: ["/bin/bash", "-c"]
          args:
            - |
              echo "[$(date)] LoongCollector: Starting initialization"
              # Start the LoongCollector service.
              /etc/init.d/loongcollectord start
              # Wait for the configuration to download and the service to be ready.
              sleep 15
              # Verify the service status.
              if /etc/init.d/loongcollectord status; then
                echo "[$(date)] LoongCollector: Service started successfully"
                touch /tasksite/cornerstone
              else
                echo "[$(date)] LoongCollector: Failed to start service"
                exit 1
              fi
              # Wait for the application container to finish.
              echo "[$(date)] LoongCollector: Waiting for business container to complete"
              until [[ -f /tasksite/tombstone ]]; do 
                sleep 2
              done
              echo "[$(date)] LoongCollector: Business completed, waiting for log transmission"
              # Allow sufficient time to send remaining logs.
              sleep 30
              echo "[$(date)] LoongCollector: Stopping service"
              /etc/init.d/loongcollectord stop
              echo "[$(date)] LoongCollector: Shutdown complete"
          # health check
          livenessProbe:
            exec:
              command: ["/etc/init.d/loongcollectord", "status"]
            initialDelaySeconds: 30
            periodSeconds: 10
            timeoutSeconds: 5
            failureThreshold: 3
          # Resource requests and limits
          resources:
            requests:
              cpu: "100m"
              memory: "128Mi"
            limits:
              cpu: "500m"
              memory: "512Mi"
          # environment variables
          env:
            - name: ALIYUN_LOGTAIL_USER_ID
              value: "your-user-id"
            - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
              value: "your-user-defined-id"
            - name: ALIYUN_LOGTAIL_CONFIG
              value: "/etc/ilogtail/conf/cn-hongkong/ilogtail_config.json"
            - name: ALIYUN_LOG_ENV_TAGS
              value: "_pod_name_|_pod_ip_|_namespace_|_node_name_"
            # Inject pod metadata.
            - name: "_pod_name_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: "_pod_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: "_namespace_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: "_node_name_"
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
          # volume mounts
          volumeMounts:
            - name: app-logs
              mountPath: /app/logs
              readOnly: true
            - name: tasksite
              mountPath: /tasksite
            - name: tz-config
              mountPath: /etc/localtime
              readOnly: true
      # Volume definitions
      volumes:
        - name: app-logs
          emptyDir: {}
        - name: tasksite
          emptyDir:
            medium: Memory
            sizeLimit: "10Mi"
        - name: tz-config
          hostPath:
            path: /usr/share/zoneinfo/Asia/Shanghai

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-demo
  namespace: production
  labels:
    app: nginx-demo
    version: v1.0.0
spec:
  replicas: 3
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1      
      maxSurge: 1          
  selector:
    matchLabels:
      app: nginx-demo
  template:
    metadata:
      labels:
        app: nginx-demo
        version: v1.0.0    
    spec:
      terminationGracePeriodSeconds: 600  # 10-minute graceful shutdown period
      containers:
        # Application container - Web application
        - name: nginx-demo
          image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6          
          # Startup command and signal handling
          command: ["/bin/sh", "-c"]
          args:
            - |
              # Define the signal handler.
              _term_handler() {
                  echo "[$(date)] [nginx-demo] Caught SIGTERM, starting graceful shutdown..."
                  # Send the QUIT signal to Nginx for a graceful stop.
                  if [ -n "$NGINX_PID" ]; then
                      kill -QUIT "$NGINX_PID" 2>/dev/null || true
                      echo "[$(date)] [nginx-demo] Sent SIGQUIT to Nginx PID: $NGINX_PID"
                      # Wait for Nginx to stop gracefully.
                      wait "$NGINX_PID"
                      EXIT_CODE=$?
                      echo "[$(date)] [nginx-demo] Nginx stopped with exit code: $EXIT_CODE"
                  fi
                  # Notify LoongCollector that the application container has stopped.
                  echo "[$(date)] [nginx-demo] Writing tombstone file"
                  touch /tasksite/tombstone
                  exit $EXIT_CODE
              }
              # Register the signal handler.
              trap _term_handler SIGTERM SIGINT SIGQUIT
              # Wait for LoongCollector to be ready.
              echo "[$(date)] [nginx-demo]: Waiting for LoongCollector to be ready..."
              until [[ -f /tasksite/cornerstone ]]; do 
                sleep 1
              done
              echo "[$(date)] [nginx-demo]: LoongCollector is ready, starting business logic"
              # Start Nginx.
              echo "[$(date)] [nginx-demo] Starting Nginx..."
              nginx -g 'daemon off;' &
              NGINX_PID=$!
              echo "[$(date)] [nginx-demo] Nginx started with PID: $NGINX_PID"
              # Wait for the Nginx process to exit.
              wait $NGINX_PID
              EXIT_CODE=$?
              # If the process exits without a signal, notify LoongCollector.
              if [ ! -f /tasksite/tombstone ]; then
                  echo "[$(date)] [nginx-demo] Unexpected exit, writing tombstone"
                  touch /tasksite/tombstone
              fi
              exit $EXIT_CODE
          # Resource requests and limits
          resources:
            requests:
              cpu: "200m"
              memory: "256Mi"
            limits:
              cpu: "1000m"
              memory: "1Gi"
          # volume mounts
          volumeMounts:
            - name: nginx-logs
              mountPath: /var/log/nginx
            - name: tasksite
              mountPath: /tasksite
            - name: tz-config
              mountPath: /etc/localtime
              readOnly: true
        # LoongCollector sidecar container
        - name: loongcollector
          image: aliyun-observability-release-registry.cn-shenzhen.cr.aliyuncs.com/loongcollector/loongcollector:v3.1.1.0-20fa5eb-aliyun
          command: ["/bin/bash", "-c"]
          args:
            - |
              echo "[$(date)] LoongCollector: Starting initialization"
              # Start the LoongCollector service.
              /etc/init.d/loongcollectord start
              # Wait for the configuration to download and the service to be ready.
              sleep 15
              # Verify the service status.
              if /etc/init.d/loongcollectord status; then
                echo "[$(date)] LoongCollector: Service started successfully"
                touch /tasksite/cornerstone
              else
                echo "[$(date)] LoongCollector: Failed to start service"
                exit 1
              fi
              # Wait for the application container to finish.
              echo "[$(date)] LoongCollector: Waiting for business container to complete"
              until [[ -f /tasksite/tombstone ]]; do 
                sleep 2
              done
              echo "[$(date)] LoongCollector: Business completed, waiting for log transmission"
              # Allow sufficient time to send remaining logs.
              sleep 30
              echo "[$(date)] LoongCollector: Stopping service"
              /etc/init.d/loongcollectord stop
              echo "[$(date)] LoongCollector: Shutdown complete"
          # health check
          livenessProbe:
            exec:
              command: ["/etc/init.d/loongcollectord", "status"]
            initialDelaySeconds: 30
            periodSeconds: 10
            timeoutSeconds: 5
            failureThreshold: 3
          # Resource requests and limits
          resources:
            requests:
              cpu: "100m"
              memory: "128Mi"
            limits:
              cpu: "2000m"
              memory: "2048Mi"
          # environment variables
          env:
            - name: ALIYUN_LOGTAIL_USER_ID
              value: "${your_aliyun_user_id}"
            - name: ALIYUN_LOGTAIL_USER_DEFINED_ID
              value: "${your_machine_group_user_defined_id}"
            - name: ALIYUN_LOGTAIL_CONFIG
              value: "/etc/ilogtail/conf/${your_region_config}/ilogtail_config.json"
            # Enable full drain mode to send all logs when the pod stops.
            - name: enable_full_drain_mode
              value: "true"
            # Append pod environment information as log tags.
            - name: "ALIYUN_LOG_ENV_TAGS"
              value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
            # Get pod and node information.
            - name: "_pod_name_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: "_pod_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: "_namespace_"
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: "_node_name_"
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: "_node_ip_"
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
          # volume mounts
          volumeMounts:
            - name: nginx-logs
              mountPath: /var/log/nginx
              readOnly: true
            - name: tasksite
              mountPath: /tasksite
            - name: tz-config
              mountPath: /etc/localtime
              readOnly: true
      # Volume definitions
      volumes:
        - name: nginx-logs
          emptyDir: {}
        - name: tasksite
          emptyDir:
            medium: Memory
            sizeLimit: "50Mi"
        - name: tz-config
          hostPath:
            path: /usr/share/zoneinfo/Asia/Shanghai