Plugin de filtrado de datos - Simple Log Service - Centro de documentación de Alibaba Cloud

Un plugin de filtrado de datos determina qué registros se deben recopilar según las condiciones especificadas.

Descripción general del plugin de filtrado de datos

Log Service ofrece varios plugins de filtrado de datos. Elija uno según sus requisitos.

Nombre del plugin

Tipo

Descripción

Procesador de filtrado

integrado

Recopila únicamente los registros cuyo valor de campo coincide exactamente con un patrón de lista de permitidos especificado.

filter_regex

personalizado

Admite los siguientes modos de filtrado:

Filtro regex (por valor): utiliza una expresión regular para coincidir con el valor del campo. Puede combinar una condición de recopilación y una condición de descarte para especificar qué registros se deben recopilar o descartar.
Filtro regex (por clave): utiliza una expresión regular para coincidir con el nombre del campo (clave) y filtra los registros según la presencia del campo especificado.

Punto de entrada

Para usar un plugin de Logtail en el procesamiento de registros, agréguelo al crear o modificar una configuración de Logtail. Para obtener más información, consulte Overview.

Diferencias entre plugins integrados y personalizados

Plugins integrados: implementados en C++ para ofrecer un alto rendimiento.

Plugins personalizados: implementados en Go para brindar flexibilidad y un ecosistema amplio. Si los registros de su servicio son demasiado complejos para los plugins integrados, considere utilizar un plugin personalizado.

Limitaciones de rendimiento de los plugins personalizados
- El uso de un plugin personalizado para procesar registros consume más recursos de LoongCollector, principalmente CPU. Si es necesario, puede usar configuration management para ajustar la configuración de parámetros de LoongCollector.
- Si la tasa de generación de datos sin procesar supera los 5 MB/s, evite usar combinaciones complejas de plugins. En su lugar, utilice un plugin personalizado para un procesamiento sencillo y, posteriormente, data transformation para un procesamiento avanzado.
Limitaciones en la recopilación de registros
- Los plugins personalizados procesan registros de texto en modo de línea y almacenan metadatos a nivel de archivo, como __tag__:__path__ y __topic__, en cada entrada de registro.
- Agregar un plugin personalizado afecta las funciones relacionadas con etiquetas:
  - La consulta de contexto y la función LiveTail no están disponibles. Para utilizar estas funciones, debe agregar una configuración de agregadores.
  - El campo __topic__ se renombra a __log_topic__. Si agrega una configuración de agregadores, tanto el campo __topic__ como el campo __log_topic__ estarán presentes en los registros. Si no necesita el campo __log_topic__, puede usar processor_drop plugin para eliminarlo.
  - Campos como __tag__:__path__ ya no cuentan con un índice de campo integrado. Debe create a field index para ellos.

Plugin de filtro nativo

El plugin de filtro nativo filtra los registros según sus valores de campo.

Configuración

Parámetro

Descripción

Whitelist

Defina una lista de permitidos para recopilar solo los registros que cumplan condiciones específicas. Debe especificar el nombre del campo objetivo y una expresión regular para el filtrado. La expresión regular debe coincidir con toda la cadena; no se admiten coincidencias parciales. Para obtener detalles sobre cómo escribir una expresión regular, consulte Regular Expression Tutorial.

Las múltiples condiciones en la lista de permitidos se unen mediante un AND lógico. A continuación se muestran algunos ejemplos:

Recopilación de registros que coinciden con una condición
- Establezca Field Name en level y Field Value en WARNING|ERROR. Esta configuración recopila únicamente los registros cuyo valor de campo level sea WARNING o ERROR.
- Establezca Field Name en content y Field Value en .05\/Jan\/2023.. Esta configuración recopila únicamente los registros cuyo valor de campo content contenga 05/Jan/2023.
Descarte de registros basado en una condición
- Establezca Field Name en level y Field Value en ^(?!.(INFO|DEBUG)).. Esta configuración descarta los registros cuyo valor de campo level contenga INFO o DEBUG.
- Establezca Field Name en level y Field Value en ^(?!(INFO|DEBUG)$).*. Esta configuración descarta los registros cuyo valor de campo level sea exactamente INFO o DEBUG.
- Establezca Field Name en url y Field Value en .^(?!.(healthcheck)).*. Esta configuración descarta los registros cuyo valor de campo url contenga healthcheck.

Plugins de filtrado de registros (avanzado)

Utilice el plugin processor_filter_regex o el plugin processor_filter_key_regex para filtrar registros. Este tema describe los parámetros y proporciona ejemplos de configuración para cada plugin.

Limitaciones

La configuración basada en formularios está disponible únicamente para registros de texto y salida estándar de contenedores. Para todas las demás fuentes, debe utilizar la configuración basada en JSON.
El motor de expresiones regulares de Go se basa en RE2 y presenta las siguientes limitaciones en comparación con el motor PCRE:
- Diferencias de sintaxis en grupos de captura con nombre
  
  Go utiliza la sintaxis (?P<name>...), mientras que PCRE usa (?<name>...).
- Patrones de expresiones regulares no compatibles
  - Lookaround: (?=...), (?!...), (?<=...) y (?<!...).
  - Expresiones condicionales: (?(condition)true|false).
  - Coincidencia recursiva: (?R) y (?0).
  - Referencias a subrutinas: (?&name) y (?P>name).
  - Grupos atómicos: (?>...).
Cuando depure expresiones regulares con herramientas como Regex101, evite usar los patrones no compatibles listados anteriormente para prevenir fallos en el procesamiento.

`processor_filter_regex` (Filtrar por valor)

Filtra registros haciendo coincidir los valores de los campos del registro con expresiones regulares.

Formulario

Parámetros

Establezca processor type en Filter Logs with Regular Expression (Match Log Field Values). La siguiente tabla describe los parámetros.

Nota

Logtail recopila un registro solo si sus valores de campo cumplen todas las condiciones en Collect Logs y ninguna de las condiciones en Drop Log. De lo contrario, Logtail descarta el registro.

Parámetro

Descripción

Collect Logs

Introduzca un nombre de campo de registro y una expresión regular con la que deba coincidir su valor. Un registro se recopila si el valor del campo en el registro sin procesar coincide con la expresión.

Puede agregar varios pares clave-valor. Estos pares se unen mediante un AND lógico.

Drop Log

Introduzca un nombre de campo de registro y una expresión regular con la que deba coincidir su valor. Un registro se descarta si el valor del campo coincide con la expresión.

Puede agregar varios pares clave-valor. Estos pares se unen mediante un OR lógico.

Ejemplo de configuración

Para recopilar únicamente los registros donde ip comienza con 10, method es POST y browser no coincide con aliyun.*, utilice la siguiente configuración:

Registros sin procesar

Registro 1

"ip" : "10.**.**.**"
"method" : "POST"
"browser" : "aliyun-sdk-java"

Registro 2

"ip" : "10.**.**.**"
"method" : "POST"
"browser" : "chrome"

Registro 3

"ip" : "192.168.*.*"
"method" : "POST"
"browser" : "ali-sls-ilogtail"

Configuración del plugin de Logtail

Establezca processor type en Filter Logs by Using Regular Expressions (Matching Log Field Values). En la sección Logs to Be Collected, agregue reglas para el campo method (POST) y el campo ip (10\..*). En la sección Logs to Be Discarded, agregue una regla para el campo browser (aliyun.*).

Resultados del procesamiento

Registro	Recopilado	Motivo
Registro 1	No	El valor del campo browser coincide con la expresión regular en Drop Log.
Registro 2	Sí	El registro cumple con los criterios de filtrado.
Registro 3	No	El valor del campo ip no coincide con la expresión regular en Collect Logs.

JSON

Parámetros

Establezca type en processor_filter_regex. La siguiente tabla describe los parámetros en el objeto detail.

Nota

Logtail recopila un registro solo si sus valores de campo coinciden con todas las expresiones regulares en Include y con ninguna en Exclude. De lo contrario, Logtail descarta el registro.

Parámetro	Tipo	Obligatorio	Descripción
`Include`	Objeto JSON	No	Especifica un mapa donde cada clave es un nombre de campo de registro y el valor es una expresión regular para coincidir con el valor de ese campo. Estos pares se unen mediante un AND lógico.
`Exclude`	Objeto JSON	No	Especifica un mapa donde cada clave es un nombre de campo de registro y el valor es una expresión regular para coincidir con el valor de ese campo. Estos pares se unen mediante un OR lógico. Un registro se descarta si el valor de algún campo coincide con su expresión correspondiente.

Ejemplo de configuración

Para recopilar únicamente los registros donde ip comienza con 10, method es POST y browser no coincide con aliyun.*, utilice la siguiente configuración:

Registros sin procesar

Registro 1

"ip" : "10.**.**.**"
"method" : "POST"
"browser" : "aliyun-sdk-java"

Registro 2

"ip" : "10.**.**.**"
"method" : "POST"
"browser" : "chrome"

Registro 3

"ip" : "192.168.*.*"
"method" : "POST"
"browser" : "ali-sls-ilogtail"

Configuración del plugin de Logtail

{
   "type" : "processor_filter_regex",
    "detail" : {
         "Include" : {
            "ip" : "10\..*",
            "method" : "POST"
         },
         "Exclude" : {
            "browser" : "aliyun.*"
         }
    }
}

Resultados del procesamiento

Registro	Recopilado	Motivo
Registro 1	No	El valor del campo browser coincide con la expresión regular en `Exclude`.
Registro 2	Sí	El registro cumple con los criterios de filtrado.
Registro 3	No	El valor del campo ip no coincide con la expresión regular en `Include`.

`processor_filter_key_regex` (Filtrar por clave)

Filtra registros haciendo coincidir los nombres de los campos del registro con expresiones regulares.

Formulario

Parámetros

Establezca processor type en Filter Logs with Regular Expression (Match Log Field Names). La siguiente tabla describe los parámetros.

Nota

Logtail recopila un registro solo si sus nombres de campo cumplen todas las condiciones definidas en Collect Logs y no cumplen ninguna de las condiciones en Drop Log. De lo contrario, Logtail descarta el registro.

Parámetro	Descripción
Collect Logs	Introduzca una o más expresiones regulares para coincidir con los nombres de los campos del registro. Un registro se recopila únicamente si contiene nombres de campo que coinciden con todas las expresiones especificadas, lo cual representa un AND lógico.
Drop Log	Introduzca una o más expresiones regulares para coincidir con los nombres de los campos del registro. Un registro se descarta si contiene un nombre de campo que coincide con cualquiera de las expresiones especificadas, lo cual representa un OR lógico.

Ejemplo de configuración

Para recopilar registros que contengan un nombre de campo que comience con request, utilice la siguiente configuración:

Registros sin procesar

Registro 1

"request_time" : 20
"request_length": 2314
"request_method" : "POST"
"browser" : "aliyun-sdk-java"

Registro 2

"request_time" : 70
"request_method" : "GET"
"ip" : "192.168.**.**"

Registro 3

"browser" : "ali-sls-ilogtail"
"status" : 200

Establezca processor type en Filter Logs by Using Regular Expressions (Matching Log Field Names). En la sección Logs to Be Collected, agregue la expresión regular request.* y deje vacía la sección Logs to Be Discarded.

Resultados del procesamiento

Registro	Recopilado	Motivo
Registro 1	Sí	Los nombres de campo request_time, request_length y request_method coinciden con la expresión regular en Collect Logs.
Registro 2	Sí	Los nombres de campo request_time y request_method coinciden con la expresión regular en Collect Logs.
Registro 3	No	El registro no contiene ningún nombre de campo que coincida con la expresión regular en Collect Logs.

JSON

Parámetros

Establezca type en processor_filter_key_regex. La siguiente tabla describe los parámetros en el objeto detail.

Nota

Logtail recopila un registro solo si sus nombres de campo cumplen todas las condiciones definidas en Include y no cumplen ninguna de las condiciones en Exclude. De lo contrario, Logtail descarta el registro.

Parámetro	Tipo	Obligatorio	Descripción
`Include`	string[]	No	Una matriz de expresiones regulares para nombres de campos de registro. Estas expresiones se unen mediante un AND lógico, lo que significa que un registro se recopila únicamente si contiene nombres de campo que coinciden con todas las expresiones de la matriz.
`Exclude`	string[]	No	Una matriz de expresiones regulares para nombres de campos de registro. Estas expresiones se unen mediante un OR lógico, lo que significa que un registro se descarta si contiene un nombre de campo que coincide con cualquier expresión de la matriz.

Ejemplo de configuración

Para recopilar registros que contengan un nombre de campo que comience con request, utilice la siguiente configuración:

Registros sin procesar

Registro 1

"request_time" : 20
"request_length": 2314
"request_method" : "POST"
"browser" : "aliyun-sdk-java"

Registro 2

"request_time" : 70
"request_method" : "GET"
"ip" : "192.168.**.**"

Registro 3

"browser" : "ali-sls-ilogtail"
"status" : 200

Configuración del plugin de Logtail

{
   "type" : "processor_filter_key_regex",
    "detail" : {
         "Include" : [
            "request.*"
         ]
    }
}

Resultados del procesamiento

Registro	Recopilado	Motivo
Registro 1	Sí	Los nombres de campo request_time, request_length y request_method coinciden con la expresión regular en `Include`.
Registro 2	Sí	Los nombres de campo request_time y request_method coinciden con la expresión regular en `Include`.
Registro 3	No	El registro no contiene ningún nombre de campo que coincida con la expresión regular en `Include`.

Referencias

Configure un pipeline de Logtail mediante la API:
Configure un plugin de procesador en la consola:
- Continuously collect text logs from hosts
- Collect container logs (stdout/file) from a cluster using the console
Collect container logs (stdout/file) from a cluster using a Kubernetes CRD

Descripción general del plugin de filtrado de datos

Punto de entrada

Diferencias entre plugins integrados y personalizados

Plugin de filtro nativo

Configuración

Plugins de filtrado de registros (avanzado)

Limitaciones

processor_filter_regex (Filtrar por valor)

Formulario

JSON

processor_filter_key_regex (Filtrar por clave)

Formulario

JSON

Referencias

`processor_filter_regex` (Filtrar por valor)

`processor_filter_key_regex` (Filtrar por clave)