Instrucciones y funciones de SPL - Simple Log Service - Centro de documentación de Alibaba Cloud

SPL ofrece instrucciones para operaciones con campos, extracción de datos, filtrado, agregación y transformación de datos. Cada instrucción admite escenarios específicos de procesamiento, como la transformación de datos, Ingest Processor, Consumer Processor, el modo de escaneo y la recolección con Logtail.

Tipos de parámetros

Las instrucciones de SPL utilizan los siguientes tipos de parámetros.

Tipo de parámetro	Descripción
Bool	Parámetro booleano que funciona como un interruptor en SPL.
Char	Parámetro de carácter ASCII, encerrado entre comillas simples (''). Ejemplos: `'a'` para el carácter a, `'\t'` para el carácter de tabulación, `'\11'` para el carácter ASCII del octal 11, y `'\x09'` para el carácter ASCII del hexadecimal 09.
Integer	Parámetro de número entero.
String	Parámetro de cadena, encerrado entre comillas simples (''). Ejemplo: `'this is a string'`.
RegExp	Parámetro de expresión regular RE2, encerrado entre comillas simples (''). Ejemplo: `'([\d.]+)'`. Detalles de la sintaxis RE2: Syntax.
JSONPath	Parámetro de ruta JSON, encerrado entre comillas simples (''). Ejemplo: `'$.body.values[0]'`. Detalles de la sintaxis JSONPath: JsonPath.
Field	Parámetro de nombre de campo. Ejemplo: `\| project level, content`. Encierre entre comillas dobles ("") los nombres de campo que contengan caracteres especiales (distintos de letras, dígitos y guiones bajos). Ejemplo: `\| project "a:b:c"`. Nota Las reglas de distinción entre mayúsculas y minúsculas en los nombres de campo se documentan en General reference.
FieldPattern	Nombre de campo o patrón con comodines. El comodín () coincide con cero o más caracteres. Encierre los patrones entre comillas dobles (""). Ejemplo: `\| project "__tag__:`". Nota Las reglas de distinción entre mayúsculas y minúsculas en los nombres de campo se documentan en General reference.
SPLExp	Parámetro de expresión SPL.
SQLExp	Parámetro de expresión SQL.

Lista de instrucciones de SPL

Categoría de instrucción	Nombre de la instrucción	Descripción	Transformación de datos	Ingest Processor	Consumer Processor	Modo de escaneo (SCAN)	Recolección con Logtail
Instrucción de control	.let	Define un conjunto de datos con nombre. Los detalles sobre los conjuntos de datos SPL se tratan en General reference.	Sí	×	×	√	×
Instrucción de operación de campos	project	Conserva los campos que coinciden con un patrón especificado y cambia el nombre de los campos indicados. Las expresiones de retención de campos se procesan antes que las expresiones de cambio de nombre.	Compatible	Compatible	Compatible	Compatible	Compatible
	project-away	Elimina los campos que coinciden con un patrón especificado y conserva todos los demás.	Compatible	Compatible	Compatible	Compatible	✓
	project-rename	Cambia el nombre de los campos especificados y conserva todos los demás.	Compatible	Compatible	Compatible	Compatible	Compatible
	expand-values	Expande el objeto JSON de nivel superior de un campo especificado en varios resultados.	Compatible	×	Compatible	No compatible	×
Instrucción de cálculo SQL para datos estructurados	extend	Crea nuevos campos a partir de los resultados de una expresión SQL. Las funciones SQL compatibles se enumeran en List of SQL functions supported by SPL.	Compatible	Compatible	Compatible	Compatible	Compatible
Instrucción de cálculo SQL para datos estructurados	where	Filtra datos mediante una expresión SQL y conserva las entradas coincidentes. Las funciones SQL compatibles se enumeran en List of SQL functions supported by SPL.	Compatible	✓	Compatible	Compatible	Compatible
Instrucción de extracción de datos semiestructurados	parse-regexp	Extrae información que coincide con grupos de expresiones regulares desde un campo especificado.	√	√	Compatible	✓	Compatible
	parse-csv	Extrae información en formato CSV desde un campo especificado.	√	Compatible	Compatible	√	Compatible
	parse-json	Extrae campos JSON de nivel superior desde un campo especificado.	Compatible	Compatible	√	√	Compatible
	parse-kv	Extrae información de pares clave-valor desde un campo especificado.	Compatible	Compatible	Compatible	Compatible	Compatible
Nueva instrucción de transformación de datos	pack-fields	Empaqueta campos de registro en un nuevo campo mediante serialización JSON. Resulta adecuada para escenarios de transmisión estructurada, como la construcción de cuerpos de solicitud de API.	✓	×	✓	Compatible	×
	log-to-metric	Convierte el formato de registro al formato de almacenamiento de series temporales.	Compatible	×	×	×	×
	metric-to-metric	Procesa datos de métricas existentes, por ejemplo, para agregar, modificar o eliminar etiquetas.	Compatible	×	×	×	×
Instrucción de agregación	stats	Ejecuta análisis estadísticos sobre campos de registro, similar a las funciones de agregación SQL como `COUNT`, `SUM` y `AVG`. Admite agrupación y agregación en campos específicos.	×	×	No compatible	Compatible	×
	sort	Ordena los resultados de la consulta por valores de campo o resultados estadísticos en orden ascendente (`asc`) o descendente (`desc`).	×	×	×	Compatible	×
	limit	Limita el número de filas de registro devueltas en los resultados de la consulta. Utilice `limit` para controlar el volumen de datos y evitar problemas de rendimiento derivados de conjuntos de resultados grandes.	×	×	×	Compatible	×

Descripción general de funciones

Las instrucciones de SPL admiten la mayoría de las funciones SQL. La disponibilidad y los escenarios aplicables de cada función se describen en su documentación correspondiente.

Categoría	Descripción	Funciones comunes
Aggregate functions	Calcula un único resultado a partir de un conjunto de valores de entrada.	avg function count function max function min function sum function
String functions	Busca, reemplaza, extrae, concatena y formatea datos de texto.	concat function length function position function replace function split function
Date and time functions	Convierte, trunca y agrega valores de fecha y hora.	current_date function date function day function date_trunc function time_series function
JSON functions	Extrae, transforma y consulta datos de objetos y matrices JSON.	json_array_contains function json_array_get function json_array_length function json_extract function json_extract_scalar function
Regular expression functions	Coincide, extrae y reemplaza texto mediante expresiones regulares.	regexp_extract_all function regexp_extract function regexp_extract_bool function regexp_replace function regexp_split function
Year-on-year and month-on-month functions	Compara datos de series temporales en distintos periodos de tiempo.	compare function ts_compare function
Array functions and operators	Accede, filtra y transforma elementos de matrices.	Subscript operator array_distinct function array_intersect function array_join function reverse function
map functions and operators	Opera sobre pares clave-valor (mapas).	cardinality function element_at function histogram function histogram_u function map function
Mathematical functions	Redondea valores, genera números aleatorios y ejecuta cálculos trigonométricos.	abs function ceil function log function mod function random function
Mathematical and statistical functions	Analiza distribuciones de datos con funciones de correlación, regresión y probabilidad.	corr function covar_pop function regr_intercept function beta_cdf function inverse_chi_squared_cdf function
Type conversion functions	Convierte valores de un tipo de dato a otro.	cast function try_cast function typeof function
Window functions	Calcula agregaciones o clasificaciones sobre una ventana deslizante de filas.	Aggregate functions dense_rank function lag function
IP functions	Analiza sintácticamente y procesa direcciones IP.	ip_to_city function ip_prefix function ipv6_to_city function
URL functions	Extrae componentes de URL.	url_encode function url_decode function url_extract_fragment function url_extract_path function url_extract_query function
Estimation functions	Aproxima recuentos distintos, percentiles e histogramas para grandes conjuntos de datos.	approx_distinct function approx_percentile function numeric_histogram function numeric_histogram_u function
Binary functions	Opera sobre datos binarios.	from_base64 function from_big_endian_64 function from_hex function to_hex function sha256 function
Bitwise operation functions	Ejecuta operaciones bit a bit sobre números enteros.	bit_count function bitwise_and function bitwise_not function bitwise_or function bitwise_xor function
Spatial geometry functions	Opera sobre objetos geométricos espaciales.	ST_AsText function ST_GeometryFromText function ST_Boundary function ST_Buffer function ST_Contains function
Geographic functions	Ejecuta análisis y cálculos geoespaciales.	geohash function
Color functions	Crea y manipula representaciones de color.	bar function color function render function rgb function
HyperLogLog functions	Estima la cardinalidad en grandes conjuntos de datos con un uso mínimo de memoria.	approx_set function cardinality function empty_approx_set function merge function
Comparison operators	Compara valores entre tipos (double, bigint, varchar, timestamp, date) y devuelve un valor booleano.	Basic operators ALL operator ANY operator BETWEEN operator DISTINCT operator
Logical operators	Combina varias expresiones booleanas para controlar el flujo lógico.	AND operator OR operator NOT operator
Unit conversion functions	Convierte tamaños de datos o intervalos de tiempo entre distintas unidades.	convert_data_size function format_duration function
Window funnel functions	Rastrea acciones secuenciales de usuarios para el análisis de embudos de conversión.	window_funnel function
lambda expressions	Define funciones en línea para operaciones de matriz de orden superior en SQL o SPL.	filter function reduce function transform function
Conditional expressions	Devuelve distintos valores según una condición especificada.	CASE WHEN expression IF expression COALESCE expression NULLIF expression TRY expression