Instructions et fonctions SPL | Simple Log Service - Simple Log Service

SPL propose des instructions pour les opérations sur les champs, l'extraction de données, le filtrage, l'agrégation et la transformation des données. Chaque instruction prend en charge des scénarios de traitement spécifiques, tels que la transformation des données, Ingest Processor, Consumer Processor, le mode d'analyse et la collecte via Logtail.

Types de paramètres

Les instructions SPL utilisent les types de paramètres suivants.

Type de paramètre	Description
Bool	Paramètre booléen servant d'interrupteur dans SPL.
Char	Paramètre représentant un caractère ASCII, entouré d'apostrophes (''). Exemples : `'a'` pour le caractère a, `'\t'` pour le caractère de tabulation, `'\11'` pour le caractère ASCII de valeur octale 11 et `'\x09'` pour le caractère ASCII de valeur hexadécimale 09.
Integer	Paramètre entier.
String	Paramètre de type chaîne, entouré d'apostrophes (''). Exemple : `'this is a string'`.
RegExp	Paramètre d'expression régulière RE2, entouré d'apostrophes (''). Exemple : `'([\d.]+)'`. Détails de la syntaxe RE2 : Syntax.
JSONPath	Paramètre de chemin JSON, entouré d'apostrophes (''). Exemple : `'$.body.values[0]'`. Détails de la syntaxe JSONPath : JsonPath.
Field	Nom de champ. Exemple : `\| project level, content`. Entourez les noms de champ contenant des caractères spéciaux (autres que les lettres, chiffres et underscores) de guillemets doubles (""). Exemple : `\| project "a:b:c"`. Remarque Les règles de sensibilité à la casse des noms de champ sont documentées dans la section Référence générale.
FieldPattern	Nom de champ ou motif générique. Le caractère générique () correspond à zéro ou plusieurs caractères. Entourez les motifs de guillemets doubles (""). Exemple : `\| project "__tag__:"`. Remarque Les règles de sensibilité à la casse des noms de champ sont documentées dans la section Référence générale.
SPLExp	Expression SPL.
SQLExp	Expression SQL.

Liste des instructions SPL

Catégorie d'instruction	Nom de l'instruction	Description	Transformation des données	Ingest Processor	Consumer Processor	Mode Scan (SCAN)	Collecte Logtail
Instruction de contrôle	.let	Définit un jeu de données nommé. Les détails concernant les jeux de données SPL sont abordés dans la rubrique Référence générale.	Oui	×	×	√	×
Instruction d'opération sur les champs	project	Conserve les champs correspondant à un modèle spécifié et renomme les champs indiqués. Les expressions de conservation des champs sont traitées avant les expressions de renommage.	Prise en charge	Prise en charge	Prise en charge	Prise en charge	Prise en charge
	project-away	Supprime les champs correspondant à un modèle spécifié et conserve tous les autres champs.	Prise en charge	Prise en charge	Prise en charge	Prise en charge	✓
	project-rename	Renomme les champs spécifiés et conserve tous les autres champs.	Prise en charge	Prise en charge	Prise en charge	Prise en charge	Prise en charge
	expand-values	Développe l'objet JSON de premier niveau d'un champ spécifié en plusieurs résultats.	Prise en charge	×	Prise en charge	Non pris en charge	×
Instruction de calcul SQL pour les données structurées	extend	Crée de nouveaux champs à partir des résultats d'expressions SQL. Les fonctions SQL prises en charge sont répertoriées dans la rubrique Liste des fonctions SQL prises en charge par SPL.	Prise en charge	Prise en charge	Prise en charge	Prise en charge	Prise en charge
Instruction de calcul SQL pour les données structurées	where	Filtre les données selon une expression SQL et conserve les entrées correspondantes. Les fonctions SQL prises en charge sont répertoriées dans la rubrique Liste des fonctions SQL prises en charge par SPL.	Prise en charge	✓	Prise en charge	Prise en charge	Prise en charge
Instruction d'extraction de données semi-structurées	parse-regexp	Extrait les informations correspondant aux groupes d'expressions régulières d'un champ spécifié.	√	√	Prise en charge	✓	Prise en charge
	parse-csv	Extrait les informations au format CSV d'un champ spécifié.	√	Prise en charge	Prise en charge	√	Prise en charge
	parse-json	Extrait les champs JSON de premier niveau d'un champ spécifié.	Prise en charge	Prise en charge	√	√	Prise en charge
	parse-kv	Extrait les informations sous forme de paires clé-valeur d'un champ spécifié.	Prise en charge	Prise en charge	Prise en charge	Prise en charge	Prise en charge
Nouvelle instruction de transformation des données	pack-fields	Regroupe les champs de journal dans un nouveau champ via la sérialisation JSON. Adapté aux scénarios de transmission structurée, tels que la création de corps de requête API.	✓	×	✓	Prise en charge	×
	log-to-metric	Convertit le format de journal en format de stockage de séries temporelles.	Prise en charge	×	×	×	×
	metric-to-metric	Traite les données de métriques existantes, par exemple en ajoutant, modifiant ou supprimant des tags.	Prise en charge	×	×	×	×
Instruction d'agrégation	stats	Effectue une analyse statistique sur les champs de journal, semblable aux fonctions d'agrégation SQL telles que `COUNT`, `SUM` et `AVG`. Prend en charge le regroupement et l'agrégation sur des champs spécifiques.	×	×	Non pris en charge	Prise en charge	×
	sort	Trie les résultats de la requête par valeurs de champ ou résultats statistiques par ordre croissant (`asc`) ou décroissant (`desc`).	×	×	×	Prise en charge	×
	limit	Limite le nombre de lignes de journal renvoyées dans les résultats de la requête. Utilisez `limit` pour contrôler le volume de données et éviter les problèmes de performance liés à des ensembles de résultats volumineux.	×	×	×	Prise en charge	×

Présentation des fonctions

Les instructions SPL prennent en charge la plupart des fonctions SQL. La disponibilité et les scénarios d'application de chaque fonction sont décrits dans leur documentation respective.

Catégorie	Description	Fonctions courantes
Fonctions d'agrégation	Calcule un résultat unique à partir d'un ensemble de valeurs d'entrée.	fonction avg fonction count fonction max fonction min fonction sum
Fonctions de manipulation de chaînes	Recherche, remplace, extrait, concatène et formate les données textuelles.	fonction concat fonction length fonction position fonction replace fonction split
Fonctions de date et d'heure	Convertit, tronque et agrège les valeurs de date et d'heure.	fonction current_date fonction date fonction day fonction date_trunc fonction time_series
Fonctions JSON	Extrait, transforme et interroge les données des objets et tableaux JSON.	fonction json_array_contains fonction json_array_get fonction json_array_length fonction json_extract fonction json_extract_scalar
Fonctions d'expression régulière	Correspond, extrait et remplace du texte à l'aide d'expressions régulières.	fonction regexp_extract_all fonction regexp_extract fonction regexp_extract_bool fonction regexp_replace fonction regexp_split
Fonctions de comparaison annuelle et mensuelle	Compare les données de séries temporelles sur différentes périodes.	fonction compare fonction ts_compare
Fonctions et opérateurs de tableau	Accède, filtre et transforme les éléments d'un tableau.	Opérateur d'indice fonction array_distinct fonction array_intersect fonction array_join fonction reverse
Fonctions et opérateurs de map	Manipule les paires clé-valeur (maps).	fonction cardinality fonction element_at fonction histogram fonction histogram_u fonction map
Fonctions mathématiques	Arrondit, génère des nombres aléatoires et effectue des calculs trigonométriques.	fonction abs fonction ceil fonction log fonction mod fonction random
Fonctions mathématiques et statistiques	Analyse les distributions de données à l'aide de fonctions de corrélation, de régression et de probabilité.	fonction corr fonction covar_pop fonction regr_intercept fonction beta_cdf fonction inverse_chi_squared_cdf
Fonctions de conversion de type	Convertit les valeurs d'un type de données vers un autre.	fonction cast fonction try_cast fonction typeof
Fonctions de fenêtrage	Effectue des agrégations ou des classements sur une fenêtre glissante de lignes.	Fonctions d'agrégation fonction dense_rank fonction lag
Fonctions IP	Analyse et traite les adresses IP.	fonction ip_to_city fonction ip_prefix fonction ipv6_to_city
Fonctions URL	Extrait les composants des URL.	fonction url_encode fonction url_decode fonction url_extract_fragment fonction url_extract_path fonction url_extract_query
Fonctions d'estimation	Approxime les comptes distincts, les percentiles et les histogrammes pour les grands ensembles de données.	fonction approx_distinct fonction approx_percentile fonction numeric_histogram fonction numeric_histogram_u
Fonctions binaires	Manipule les données binaires.	fonction from_base64 fonction from_big_endian_64 fonction from_hex fonction to_hex fonction sha256
Fonctions d'opération bit à bit	Effectue des opérations bit à bit sur des entiers.	fonction bit_count fonction bitwise_and fonction bitwise_not fonction bitwise_or fonction bitwise_xor
Fonctions de géométrie spatiale	Traite les objets de géométrie spatiale.	Fonction ST_AsText Fonction ST_GeometryFromText Fonction ST_Boundary Fonction ST_Buffer Fonction ST_Contains
Fonctions géographiques	Effectue des analyses et des calculs géospatiaux.	Fonction geohash
Fonctions de couleur	Crée et manipule des représentations de couleurs.	Fonction bar Fonction color Fonction render Fonction rgb
Fonctions HyperLogLog	Estime la cardinalité sur de grands ensembles de données avec une utilisation minimale de la mémoire.	Fonction approx_set Fonction cardinality Fonction empty_approx_set Fonction merge
Opérateurs de comparaison	Compare des valeurs de différents types (double, bigint, varchar, timestamp, date) et renvoie un booléen.	Opérateurs de base Opérateur ALL Opérateur ANY Opérateur BETWEEN Opérateur DISTINCT
Opérateurs logiques	Combine plusieurs expressions booléennes pour contrôler le flux logique.	Opérateur AND Opérateur OR Opérateur NOT
Fonctions de conversion d'unités	Convertit des tailles de données ou des intervalles de temps entre différentes unités.	Fonction convert_data_size Fonction format_duration
Fonctions d'entonnoir de fenêtre	Suit les actions utilisateur séquentielles pour l'analyse des entonnoirs de conversion.	Fonction window_funnel
Expressions lambda	Définit des fonctions inline pour les opérations de tableau d'ordre supérieur en SQL ou SPL.	Fonction filter Fonction reduce Fonction transform
Expressions conditionnelles	Renvoie différentes valeurs selon une condition spécifiée.	Expression CASE WHEN Expression IF Expression COALESCE Expression NULLIF Expression TRY