Simple Log Service:Recopilación de registros de contenedores (salida estándar y archivos)

1. Configuración global y de entrada

En este paso, defina el nombre, el origen de los registros y el alcance de su configuración de recopilación.

Consultar los registros recopilados

1. Compruebe que el archivo de registro tenga contenido nuevo: LoongCollector solo recopila registros incrementales. Ejecute tail -f /path/to/your/log/file y active operaciones de negocio para asegurarse de que se escriban registros nuevos.

2. Buscar registros: Vaya a la página Search & Analyze del logstore de destino. Haga clic en Search & Analyze. El intervalo de tiempo predeterminado corresponde a los últimos 15 minutos. Compruebe si se ingirieron registros nuevos. Cada registro de texto de contenedor recopilado incluye de forma predeterminada los siguientes campos:

   Parámetro	Descripción
   __tag__:__hostname__	El nombre del host del contenedor.
   __tag__:__path__	La ruta del archivo de registro dentro del contenedor.
   __tag__:_container_ip_	La dirección IP del contenedor.
   __tag__:_image_name_	El nombre de la imagen que utiliza el contenedor.
   __tag__:_pod_name_	El nombre del Pod.
   __tag__:_namespace_	El namespace del Pod.
   __tag__:_pod_uid_	El identificador único (UID) del Pod.

Consultar los nodos históricos de un Pod

Si un Pod cambió de nodo o se reinició, puede consultar los registros de eventos de Kubernetes de su clúster ACK en Simple Log Service. Así encontrará los nodos donde se ejecutó anteriormente.

1. Inicie sesión en la consola de Simple Log Service y busque el proyecto k8s-log-{cluster_id} en la lista de proyectos.

2. Haga clic en el LogStore k8s-event para ir a la página de consulta y análisis.

3. En el cuadro de búsqueda, introduzca una instrucción de consulta que filtre por nombre de Pod. Por ejemplo, pod_name: my-pod. Después, haga clic en Search & Analyze.

4. En los resultados devueltos, compruebe el valor del campo hostname. Este valor corresponde al nombre de host del nodo donde se ejecutó el Pod.

Solucionar problemas comunes

Gestionar configuraciones de distribución a múltiples destinos

Dado que las configuraciones de distribución a múltiples destinos aplican a varios logstores, debe gestionarlas desde la página de administración a nivel de proyecto:

1. Inicie sesión en la consola de Simple Log Service y haga clic en el nombre del proyecto de destino.

2. En la página del proyecto, dentro del panel de navegación izquierdo, haga clic en Resource Group > Configurations.

   Nota

   Esta página gestiona todas las configuraciones de recopilación del proyecto, incluidas las de logstores que se eliminaron por accidente.

Enviar registros de ACK a un proyecto de otra cuenta

Puede enviar registros de contenedores a un proyecto de Simple Log Service (SLS) en otra cuenta de Alibaba Cloud. Para lograrlo, instale manualmente el componente LoongCollector (Logtail) en el clúster ACK y configúrelo con el ID de la cuenta de Alibaba Cloud de destino o con una credencial de acceso (AccessKey).

Descripción del escenario: Si necesita recopilar datos de registro en un proyecto de SLS de otra cuenta por motivos organizativos, de permisos o de monitoreo, instale LoongCollector (Logtail) manualmente para habilitar la recopilación entre cuentas.

Procedimiento: Siga estos pasos para instalar LoongCollector de forma manual. Para obtener información sobre cómo instalar Logtail, consulte Install and configure Logtail.

1. Conéctese al clúster de Kubernetes y ejecute el comando correspondiente a su región:

   Regiones de China

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   Regiones fuera de China

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. Vaya al directorio loongcollector-custom-k8s-package y modifique el archivo de configuración ./loongcollector/values.yaml.

   # ===================== Required Information =====================
   # The name of the Project to which logs from this cluster are sent. Example: k8s-log-custom-sd89ehdq
   projectName: ""
   # The region where the Project is located. Example: cn-shanghai
   region: ""
   # The UID of the Alibaba Cloud account that owns the Project. Enclose the UID in quotation marks (""). Example: "123456789"
   aliUid: ""
   # The network type. Valid values: Internet and Intranet. Default value: Internet.
   net: Internet
   # The AccessKey ID and AccessKey secret of the Alibaba Cloud account or RAM user. The account or RAM user must have the AliyunLogFullAccess system policy permission.
   accessKeyID: ""
   accessKeySecret: ""
   # A custom cluster ID. The ID can contain only uppercase letters, lowercase letters, digits, and hyphens (-).
   clusterID: ""

3. En el directorio loongcollector-custom-k8s-package, ejecute el siguiente comando para instalar LoongCollector y sus dependencias:

   bash k8s-custom-install.sh install

4. Una vez finalizada la instalación, compruebe que los componentes se estén ejecutando.

   Si un Pod no inicia, verifique las configuraciones del archivo values.yaml y asegúrese de que se hayan descargado las imágenes obligatorias.

   # Check the pod status
   kubectl get po -n kube-system | grep loongcollector-ds

   Simple Log Service también crea automáticamente los siguientes recursos. Puede consultarlos en la consola de Simple Log Service.

   Tipo de recurso	Nombre del recurso	Descripción
   Project	El valor de projectName que especificó en el archivo values.yaml	Aísla los registros de distintos servicios. Para una gestión flexible de los registros, Create a Project.
   Grupo de máquinas	k8s-group-${cluster_id}	Un conjunto de nodos de recopilación de registros. Las direcciones IP de los nodos de Kubernetes cambian dinámicamente conforme el clúster escala horizontalmente, por lo que identificar un grupo de máquinas por su dirección IP puede provocar fallos de latido. Por esta razón, los grupos de máquinas en escenarios de Kubernetes utilizan un identificador personalizado. Para obtener más información, consulte Guide to associating machine groups with collection configurations.

   Importante

   El componente LoongCollector no crea un logstore llamado config-operation-log. Si este logstore ya existe, LoongCollector no escribirá registros en él.

Usar varias configuraciones para el mismo origen

De forma predeterminada, para evitar la duplicación de datos, Simple Log Service (SLS) permite que solo una configuración de recopilación obtenga registros de cada origen:

• Un archivo de registro de texto solo puede coincidir con una configuración de recopilación de Logtail.

• Salida estándar (stdout) de un contenedor:

  • Si utiliza la versión nueva de la plantilla de salida estándar, de forma predeterminada solo una configuración de recopilación puede obtener la stdout.

  • Si utiliza la versión anterior de la plantilla de salida estándar, no se requiere configuración adicional y se admiten varias recopilaciones de forma predeterminada.

1. Inicie sesión en la consola de Simple Log Service y vaya al proyecto de destino.

2. En el panel de navegación izquierdo, elija Logstores y busque el logstore de destino.

3. Haga clic en el ícono junto a su nombre para expandir el logstore.

4. Haga clic en Logtail Configuration. En la lista de configuraciones, busque la configuración de Logtail de destino y haga clic en Manage Logtail Configuration en la columna Actions.

5. En la página de configuración de Logtail, haga clic en Edit y desplácese hasta la sección Input Configurations:

   • Para recopilar registros de archivos de texto, habilite Allow File to Be Collected for Multiple Times.

   • Para recopilar la salida estándar del contenedor, habilite Allow Collection by Different Logtail Configurations.

Error de dependencia al desinstalar loongcollector

Problema: Al intentar desinstalar el componente loongcollector (logtail-ds) en Container Service for Kubernetes (ACK), recibe un error que indica que no se cumplen las dependencias del componente.

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun.

Causa: El plugin de red terway-eniip tiene habilitada la recopilación de registros, lo cual genera una dependencia con el componente loongcollector (logtail-ds). Por lo tanto, ACK no permite desinstalar loongcollector (logtail-ds) hasta que elimine esta dependencia.

Solución: Siga estos pasos para quitar la dependencia y después desinstalar el componente:

1. Inicie sesión en la consola de ACK.

2. En la lista de clústeres, haga clic en el nombre del clúster de destino para ir a su página de detalles.

3. En el panel de navegación izquierdo, haga clic en Add-ons.

4. En la lista de complementos, busque el componente terway-eniip y haga clic en .

5. En el cuadro de diálogo que aparece, haga clic en OK.

6. Una vez que la configuración surta efecto, intente desinstalar nuevamente el componente loongcollector (logtail-ds).

Última entrada de registro retrasada o truncada

Causa: El truncamiento de registros suele ocurrir cuando a un archivo le falta el salto de línea final, o cuando una entrada multilínea (como una pila de excepciones) no se ha escrito por completo. Como el recolector no puede determinar si la entrada está completa, la última podría dividirse o retrasarse. La forma de manejar esto depende de su versión de LoongCollector (Logtail):

• Versiones anteriores a la 1.8: Si la última línea de un registro carece de salto de línea (retorno de carro), o si un bloque multilínea está incompleto, el recolector espera a la siguiente operación de escritura para activar la salida. Esto puede retrasar significativamente la última entrada hasta que se escriba un nuevo registro.

• Versión 1.8 y posteriores: Estas versiones introducen un mecanismo de vaciado por tiempo de espera para evitar que los registros se queden atascados. Cuando se detecta una línea incompleta, el sistema inicia un temporizador. Al expirar el tiempo de espera, el contenido actual se envía automáticamente para garantizar que el registro se recopile.

  • Tiempo de espera predeterminado: 60 segundos (garantiza la integridad de los datos en la mayoría de los escenarios).

  • Puede ajustar este valor según sus necesidades. Sin embargo, se recomienda no establecerlo en 0, ya que podría causar el truncamiento de registros o la pérdida parcial de datos.

Solución:

Puede ampliar el tiempo de espera para asegurar que se escriba una entrada de registro completa antes de recopilarla:

1. Inicie sesión en la consola de Simple Log Service y vaya al proyecto de destino.

2. En el panel de navegación izquierdo, elija Logstores y busque el logstore de destino.

3. Haga clic en el ícono junto a su nombre para expandir el logstore.

4. Haga clic en Logtail Configuration. En la lista de configuraciones, busque la configuración de Logtail de destino y haga clic en Manage Logtail Configuration en la columna Actions.

5. En la página de configuración de Logtail, haga clic en Edit.

   • Vaya a Input Configurations > Other Input Configurations > Advanced Parameters y agregue la siguiente configuración JSON para personalizar el tiempo de espera.

     {
       "FlushTimeoutSecs": 1
     }

     • Valor predeterminado: Lo determina el parámetro de inicio default_reader_flush_timeout, que normalmente es de unos pocos segundos.

     • Unidad: Segundos.

     • Valor recomendado: ≥ 1 segundo. Se recomienda no establecerlo en 0, ya que podría causar el truncamiento de registros o la pérdida parcial de datos.

6. Una vez completada la configuración, haga clic en OK.

Conmutación por error y recuperación de red de LoongCollector

Si LoongCollector (Logtail) detecta un problema de conectividad en la red interna, como un fallo o un tiempo de espera agotado, cambia automáticamente a la red pública. Este mecanismo de conmutación por error garantiza una recopilación confiable de registros y evita acumulaciones o pérdida de datos.

• LoongCollector: Vuelve automáticamente a la red interna una vez que se recupera la conectividad.

• Logtail: No vuelve de forma automática. Debe reiniciarlo para restablecer la comunicación por la red interna.

En la página Logtail Configuration, dentro del área Processor Configurations, es posible agregar plugins de procesamiento para estructurar los registros sin procesar. Para agregar un plugin de procesamiento a una configuración de recopilación existente, siga estos pasos:

1. En el panel de navegación izquierdo, elija Logstores y busque el logstore de destino.

2. Haga clic en , a la izquierda del nombre, para expandir el logstore.

3. Haga clic en Logtail Configuration. En la lista de configuraciones, busque la configuración de Logtail deseada y haga clic en Manage Logtail Configuration en la columna Actions.

4. En la página de configuración de Logtail, haga clic en Edit.

Esta sección presenta únicamente los plugins de procesamiento más comunes, que cubren los escenarios habituales de procesamiento de registros. Para conocer más funciones, consulte Extension processing plug-ins .

Análisis por delimitador

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
    request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
    size:18204
    status:200
    time:05/May/2025:13:30:28
    user_agent:aliyun-sdk-java

Análisis JSON estándar

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
    request: {"status": "200", "latency" : "18204" }
    time: 05/Jan/2025:13:30:28
    url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
    user-agent:aliyun-sdk-java

Análisis JSON anidado

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
    0_s_key_k1_k2_k3_k4_k51:51
    0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Análisis de matrices JSON

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
    json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Análisis de registros de Apache

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
    http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
    remote_addr:192.168.1.10
    remote_ident:-
    remote_user:-
    request_method:GET
    request_protocol:HTTP/1.1
    request_uri:/index.html
    response_size_bytes:1234
    status:200
    time_local:[08/May/2024:15:30:28 +0800]

Enmascaramiento de datos

Permite ocultar datos confidenciales en los registros.

Ejemplo:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Procedimiento: En la página Logtail Configuration, dentro de la sección Processor Configurations, haga clic en Add Processor y seleccione Native Processor > Data Masking:

• Original Field: campo de origen que contiene el contenido por enmascarar.

• Data Masking Method:

  • const: reemplaza el contenido confidencial con una cadena específica.

  • md5: sustituye el contenido confidencial por su valor de hash MD5.

• Replacement String: cadena utilizada para el enmascaramiento. Es obligatoria cuando Data Masking Method está establecido en const.

• Content Expression that Precedes Replaced Content: expresión regular con sintaxis RE2 que localiza el contenido inmediatamente anterior a los datos confidenciales.

• Content Expression to Match Replaced Content: expresión regular con sintaxis RE2 que coincide con los datos confidenciales que desea reemplazar.

1. Diferencias en la sintaxis de grupos con nombre

Go emplea la sintaxis (?P<name>...) para definir un grupo con nombre y no admite la sintaxis (?<name>...) de PCRE.

• Correcto: (?P<year>\d{4})

• Incorrecto: (?<year>\d{4})

2. Funciones de expresiones regulares no admitidas

El motor RE2 no admite las siguientes funciones comunes pero complejas de las expresiones regulares. Evite utilizarlas:

• Asertos (assertions): (?=...), (?!...), (?<=...) y (?<!...)

• Expresiones condicionales: (?(condition)true|false)

• Coincidencia recursiva: (?R) y (?0)

• Referencias a subprogramas: (?&name) y (?P>name)

• Grupos atómicos: (?>...)

3. Recomendaciones

Utilice una herramienta como Regex101 para depurar las expresiones regulares. Para garantizar la compatibilidad, seleccione el modo Golang (RE2) durante la validación. Si utiliza alguna sintaxis no admitida, el plugin no podrá analizar ni hacer coincidir la expresión.

Ventajas principales de la nueva salida estándar

• Mejora significativa del rendimiento

• Al estar refactorizada en C++, la nueva versión ofrece una mejora de rendimiento del 180 % al 300 % respecto a la implementación anterior en Go.

• Admite el procesamiento de datos con plugins nativos y el procesamiento paralelo multihilo, lo que aprovecha al máximo los recursos del sistema.

• Permite combinar de forma flexible plugins nativos y plugins de Go para cubrir las necesidades de escenarios complejos.

• Mayor confiabilidad

• Incorpora una cola de rotación para los registros de salida estándar y unifica el mecanismo de recopilación de registros con el de archivos. Esto garantiza alta confiabilidad cuando los registros de salida estándar rotan rápidamente.

• Menor consumo de recursos

• El uso de CPU se reduce entre un 20 % y un 25 %.

• El uso de memoria disminuye entre un 20 % y un 25 %.

• Mayor consistencia en operaciones y mantenimiento

• Configuración de parámetros unificada: los parámetros de configuración del nuevo plugin de recopilación de salida estándar coinciden con los del plugin de recopilación de archivos.

• Gestión de metadatos unificada: el nombre de los campos de metadatos del contenedor y la ubicación de almacenamiento de etiquetas se alinean con el escenario de recopilación de archivos. Así, el lado del consumidor mantiene un solo conjunto de lógica de procesamiento.

Comparación de funciones entre la versión nueva y la anterior

Asignación de campos de metadatos del contenedor

En la nueva versión, todos los campos de metadatos se almacenan en la sección de etiquetas del registro con el formato __tag__:<key>, en lugar de integrarse en el contenido del registro.

Impacto de la nueva versión en los usuarios

• Adaptación del lado del consumidor: dado que la ubicación de almacenamiento cambia del contenido a la etiqueta, debe ajustar la lógica de consumo de registros en consecuencia. Por ejemplo, al ejecutar una consulta, acceda a los campos mediante __tag__.

• Compatibilidad con SQL: las consultas SQL ya son compatibles automáticamente con ambas versiones, por lo que no necesita modificar sus instrucciones para procesar registros de cualquiera de ellas.