Query and analyze logs using an index pattern - Simple Log Service

Prérequis

Simple Log Service fournit des fonctionnalités d'interrogation et d'analyse des journaux. Premiers pas avec l'interrogation et l'analyse des journaux.
Collectez les journaux dans un logstore Standard (Gérer un logstore). Une fois que vous avez créé un index, les requêtes et analyses ne s'appliquent qu'aux journaux incrémentiels. Pour interroger les fichiers journaux historiques, procédez à leur réindexation.
Pour interroger plusieurs dizaines de milliards de journaux, consultez la rubrique Que faire si le message d'erreur « The results are inaccurate » s'affiche dans la console ?.
Simple Log Service inclut par défaut des champs réservés. La rubrique Champs réservés explique comment les analyser.

Interrogation et analyse

Simple Log Service permet d'interroger des milliards de journaux en quelques secondes et d'en analyser les résultats via SQL. Une instruction de recherche peut s'exécuter seule, tandis qu'une instruction d'analyse doit obligatoirement suivre une instruction de recherche pour traiter les résultats ou l'ensemble du jeu de données.

Remarque

SLS Query Skill pour l'interrogation et l'analyse intelligentes des journaux : Simple Log Service fournit un Agent Skill permettant d'interroger et d'analyser les données de journal SLS en langage naturel au sein d'un agent IA local.

Syntaxe de base

Une requête se compose d'une instruction de recherche et, facultativement, d'une instruction d'analyse séparées par une barre verticale (|). L'instruction de recherche fonctionne de manière autonome, mais l'instruction d'analyse nécessite toujours une instruction de recherche préalable.

Search statement | Analytic statement

Type	Description
Instruction de recherche	Une instruction de recherche définit les règles de filtrage et renvoie les journaux correspondants. Son format est `Search statement`, par exemple : `status: 200`. Les conditions de recherche incluent des mots-clés, des nombres, des plages numériques, des espaces et des astérisques (). Un espace ou un astérisque () correspond à tous les journaux. Consultez la rubrique Syntaxe et fonctionnalités de requête. Important Limitez chaque instruction de recherche à 30 conditions maximum.
Instruction d'analyse	Pour utiliser l'analyse, collectez les journaux dans un logstore Standard et activez l'option Enable Analytics pour les champs requis lors de la configuration de l'index. Une instruction d'analyse calcule et examine les résultats de la requête ou l'intégralité du jeu de données. Fonctions et syntaxes prises en charge : Fonctions SQL : elles servent généralement à calculer, transformer et formater les données (sommes, moyennes, opérations sur les chaînes, traitement des dates). Clauses SQL : ces clauses construisent des instructions complètes de requête ou de manipulation de données. Elles définissent la source de données, les conditions, le regroupement, le tri, etc. Sous-requêtes imbriquées : il s'agit d'une instruction SELECT intégrée dans une autre instruction SELECT afin de réaliser des analyses complexes. Interrogation et analyse fédérées des données Logstore et MySQL : exécutez des requêtes fédérées sur les données Logstore et MySQL à l'aide de la syntaxe `JOIN`, puis enregistrez les résultats dans MySQL. Utiliser SPL pour interroger et analyser les journaux : exploitez le SLS Processing Language (SPL) pour extraire des informations structurées, manipuler des champs et filtrer les données de journal. Important Par défaut, une instruction d'analyse traite les données du logstore actuel. Les clauses `FROM` et `WHERE` ne sont donc pas nécessaires. Les instructions d'analyse ne respectent pas la casse, ne prennent pas en charge le paramètre `offset` et ne nécessitent aucun point-virgule final.

Simple Log Service met à disposition des fichiers de grammaire ANTLR pour développer des applications personnalisées reposant sur les requêtes SLS.

Fichiers de grammaire ANTLR :

Exemple

* | SELECT status, count(*) AS PV GROUP BY status

Dans l'onglet Statistical Chart, les résultats de l'interrogation et de l'analyse s'affichent sous forme de graphique linéaire illustrant la répartition des PV par codes d'état HTTP (499, 200, 301, 302, 304, 400). Le panneau General Configuration situé à droite permet de changer le type de graphique et de configurer les champs des axes X et Y.

Fonctionnalités avancées

LiveTail : surveillez les journaux en temps réel afin de réduire la charge de travail liée aux opérations et à la maintenance.
LogReduce : extrayez des modèles à partir de journaux similaires pendant la collecte pour obtenir rapidement une vue d'ensemble des données.
Requête contextuelle : examinez le contexte des journaux pour faciliter le dépannage.
Analyse des champs : visualisez la répartition des champs, les métriques statistiques et les cinq principaux graphiques de séries temporelles.
Configuration des événements : configurez des événements pour extraire des détails des journaux bruts.
Présentation de StoreView : utilisez StoreView pour exécuter des requêtes fédérées interrégionales et inter-magasins.

Limites des requêtes

Élément	Description
Nombre de mots-clés	Jusqu'à 30 conditions par requête, opérateurs logiques exclus.
Taille de la valeur de champ	Taille maximale d'une valeur de champ unique : 512 Ko. Le contenu dépassant cette limite n'est pas indexé. Les journaux dont les valeurs de champ excèdent 512 Ko risquent de ne pas apparaître lors des recherches par mot-clé, bien que leurs données restent intactes. Remarque Pour configurer la longueur maximale des valeurs de champ, consultez la rubrique Pourquoi les valeurs de champ sont-elles tronquées lors de l'interrogation et de l'analyse ?
Opérations simultanées	Un seul project prend en charge jusqu'à 100 requêtes simultanées. Ainsi, 100 utilisateurs peuvent interroger différents logstores du même project en même temps.
Résultats renvoyés	Maximum de 100 résultats par page. Naviguez entre les pages pour consulter l'ensemble des résultats.
Recherche approximative	Lors d'une recherche approximative, Simple Log Service fait correspondre jusqu'à 100 termes et renvoie les journaux contenant ces termes qui satisfont aux critères de recherche. Consultez la rubrique Recherche approximative.
Tri des résultats	Le tri des résultats s'effectue par ordre chronologique décroissant, avec une précision à la seconde ou à la nanoseconde.

Limites

Limite	Instance à usage général	Dedicated SQL
Limite	Instance à usage général	Amélioration SQL	Précision totale
Concurrence	Jusqu'à 15 requêtes simultanées par projet.	Jusqu'à 100 requêtes simultanées par projet.	Jusqu'à 5 requêtes simultanées par projet.
Volume de données	Jusqu'à 400 Mo par requête (données en cache exclues). Les données excédentaires sont tronquées et signalées par un marqueur résultat de requête incomplet.	Jusqu'à 2 Go par requête (données en cache exclues). Les données excédentaires sont tronquées et signalées par un marqueur résultat de requête incomplet.	Illimité.
Activation du mode	Activé par défaut.	Activez ce mode via le bouton correspondant. Amélioration SQL.	Activez ce mode via le bouton correspondant. Précision totale SQL.
Frais	Gratuit.	Facturation basée sur le temps CPU réellement consommé.	Facturation basée sur le temps CPU réellement consommé.
Validité des données	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser les données historiques, vous devez réindexer ces données.	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser les données historiques, vous devez réindexer ces données.	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser les données historiques, vous devez réindexer ces données.
Résultats renvoyés	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo génèrent une erreur. Pour renvoyer davantage de données, utilisez la clause LIMIT.	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo génèrent une erreur. Pour renvoyer davantage de données, utilisez la clause LIMIT.	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo génèrent une erreur. Pour renvoyer davantage de données, utilisez la clause LIMIT.
Taille de la valeur de champ	La longueur maximale par défaut d'une valeur de champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant cette limite est exclu de l'analyse et de la recherche. Remarque Pour modifier cette limite, définissez le paramètre Maximum Length of Text Field. Le nouveau paramétrage s'applique uniquement aux données incrémentales. Créez un index.	La longueur maximale par défaut d'une valeur de champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant cette limite est exclu de l'analyse et de la recherche. Remarque Pour modifier cette limite, définissez le paramètre Maximum Length of Text Field. Le nouveau paramétrage s'applique uniquement aux données incrémentales. Créez un index.	La longueur maximale par défaut d'une valeur de champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant cette limite est exclu de l'analyse et de la recherche. Remarque Pour modifier cette limite, définissez le paramètre Maximum Length of Text Field. Le nouveau paramétrage s'applique uniquement aux données incrémentales. Créez un index.
Longueur de l'instruction de requête	Le paramètre query de l'API `GetLogs` est limité à 65 536 octets (64 Ko). Les requêtes dépassant cette limite renvoient une erreur `ParameterInvalid` : « The length of query cannot be greater than 65536 ». Découpez les requêtes longues en plusieurs requêtes plus courtes et exécutez-les par lots. Cette limite s'applique aussi bien aux instances à usage général qu'à Dedicated SQL.
Délai d'expiration	Délai d'expiration maximal : 55 secondes.	Délai d'expiration maximal : 55 secondes.	Délai d'expiration maximal : 55 secondes.
Nombre de bits pour les valeurs de champ de type double	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés sur plus de 52 bits perdent en précision.	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés sur plus de 52 bits perdent en précision.	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés sur plus de 52 bits perdent en précision.

Simple Log Service:Interrogation et analyse basées sur un index