Interroger et analyser des journaux à l'aide d'un modèle d'index - Simple Log Service

Prérequis

Simple Log Service fournit des fonctionnalités d'interrogation et d'analyse des journaux. Consultez la rubrique Premiers pas avec l'interrogation et l'analyse des journaux.
Collectez les journaux dans un Logstore standard (Gérer un Logstore). Une fois l'index créé, les requêtes et analyses ne s'appliquent qu'aux journaux incrémentiels. Pour interroger des fichiers de journaux historiques, réindexez-les.
Pour interroger des dizaines de milliards de journaux, reportez-vous à la rubrique Que faire si le message d'erreur « The results are inaccurate » apparaît dans la console ?.
Simple Log Service inclut des champs réservés par défaut. La rubrique Champs réservés explique comment les analyser.

Interrogation et analyse

Simple Log Service vous permet d'interroger des milliards de journaux en quelques secondes et d'en analyser les résultats via SQL. Une instruction de recherche peut s'exécuter seule, tandis qu'une instruction d'analyse doit obligatoirement suivre une instruction de recherche pour traiter les résultats de la requête ou l'ensemble du jeu de données.

Remarque

Compétence d'interrogation SLS pour l'interrogation et l'analyse intelligentes des journaux : Simple Log Service propose une compétence Agent permettant d'interroger et d'analyser les données de journaux SLS en langage naturel au sein d'un agent IA local.

Syntaxe de base

Une requête se compose d'une instruction de recherche et d'une instruction d'analyse facultative, séparées par une barre verticale (|). L'instruction de recherche peut s'exécuter indépendamment, mais l'instruction d'analyse nécessite toujours une instruction de recherche préalable.

Search statement | Analytic statement

Type	Description
Instruction de recherche	Une instruction de recherche définit des règles de filtrage et renvoie les journaux correspondants. Le format de requête est `Instruction de recherche`, par exemple : `status: 200`. Les conditions de recherche incluent des mots-clés, des nombres, des plages numériques, des espaces et des astérisques (). Un espace ou un astérisque () correspond à tous les journaux. Consultez la rubrique Syntaxe et fonctionnalités d'interrogation. Important N'utilisez pas plus de 30 conditions dans une instruction de recherche.
Instruction d'analyse	Pour utiliser l'analyse, collectez les journaux dans un Logstore standard et activez l'option Enable Analytics pour les champs requis lors de la configuration de l'index. Une instruction d'analyse calcule et examine les résultats de requête ou l'ensemble du jeu de données. Fonctions et syntaxe prises en charge : Fonctions SQL : elles servent généralement à calculer, transformer et formater des données (sommes, moyennes, opérations sur les chaînes, traitement des dates). Clauses SQL : ces clauses constituent des instructions complètes d'interrogation ou de manipulation des données. Elles définissent la source des données, les conditions, le regroupement, le tri, etc. Sous-requêtes imbriquées : une sous-requête imbriquée est une instruction SELECT intégrée dans une autre instruction SELECT pour réaliser des analyses complexes. Interrogation et analyse fédérées des données Logstore et MySQL : exécutez des requêtes fédérées sur des données Logstore et MySQL à l'aide de la syntaxe `JOIN` et enregistrez les résultats dans MySQL. Utiliser SPL pour interroger et analyser des journaux : le langage SLS Processing Language (SPL) permet d'extraire des informations structurées, de manipuler des champs et de filtrer les données de journal. Important Par défaut, une instruction d'analyse traite les données du Logstore actuel. Les clauses `FROM` et `WHERE` ne sont pas obligatoires. Les instructions d'analyse ne respectent pas la casse, ne prennent pas en charge le paramètre `offset` et ne nécessitent pas de point-virgule final.

Simple Log Service fournit des fichiers de grammaire ANTLR pour développer des applications personnalisées basées sur les requêtes SLS.

Fichiers de grammaire ANTLR :

Exemple

* | SELECT status, count(*) AS PV GROUP BY status

Dans l'onglet Statistical Chart, les résultats de l'interrogation et de l'analyse s'affichent sous forme de graphique linéaire illustrant la distribution des PV par codes d'état HTTP (499, 200, 301, 302, 304, 400). Le panneau General Configuration situé à droite permet de changer le type de graphique et de configurer les champs des axes X et Y.

Fonctionnalités avancées

LiveTail : surveillez les journaux en temps réel afin de réduire la charge d'exploitation et de maintenance.
LogReduce : extrayez des modèles à partir de journaux similaires lors de la collecte pour obtenir rapidement une vue d'ensemble des données.
Requête contextuelle : affichez le contexte des journaux pour faciliter le dépannage.
Analyse des champs : visualisez la distribution des champs, les métriques statistiques et les cinq principaux graphiques de séries chronologiques.
Configuration des événements : configurez des événements pour extraire des détails spécifiques des journaux bruts.
Vue d'ensemble de StoreView : utilisez StoreView pour effectuer des requêtes fédérées interrégionales et inter-magasins.

Limites d'interrogation

Élément	Description
Nombre de mots-clés	Jusqu'à 30 conditions par requête, hors opérateurs logiques.
Taille de la valeur de champ	Taille maximale d'une valeur de champ unique : 512 Ko. Le contenu dépassant cette limite n'est pas indexé. Les journaux dont les valeurs de champ excèdent 512 Ko peuvent ne pas apparaître dans les recherches par mots-clés, mais leurs données restent intactes. Remarque Pour configurer la longueur maximale des valeurs de champ, consultez la rubrique Pourquoi les valeurs de champ sont-elles tronquées lors de l'interrogation et de l'analyse ?
Opérations simultanées	Un seul projet prend en charge jusqu'à 100 requêtes simultanées. Par exemple, 100 utilisateurs peuvent interroger différents Logstores du même projet en même temps.
Résultats renvoyés	Jusqu'à 100 résultats par page. Naviguez entre les pages pour consulter l'ensemble des résultats.
Recherche floue	Lors d'une recherche floue, Simple Log Service fait correspondre jusqu'à 100 termes et renvoie les journaux contenant ces termes qui satisfont aux critères de recherche. Consultez la rubrique Recherche floue.
Tri des résultats	Les résultats sont triés par ordre chronologique décroissant, avec une précision à la seconde ou à la nanoseconde.

Limites

Limite	Instance polyvalente	SQL dédié
Limite	Instance polyvalente	Amélioration SQL	Full Precision
Simultanéité	Jusqu'à 15 requêtes simultanées par projet.	Jusqu'à 100 requêtes simultanées par projet.	Jusqu'à 5 requêtes simultanées par projet.
Volume de données	Jusqu'à 400 Mo par requête (hors données mises en cache). Les données excédentaires sont tronquées et marquées comme résultat de requête incomplet.	Jusqu'à 2 Go par requête (hors données mises en cache). Les données excédentaires sont tronquées et marquées comme résultat de requête incomplet.	Illimité.
Activation du mode	Activé par défaut.	Activation via un bouton bascule. Consultez la rubrique Amélioration SQL.	Activation via un bouton bascule. Consultez la rubrique Précision complète SQL.
Tarification	Gratuit.	Facturation basée sur le temps CPU réellement consommé.	Facturation basée sur le temps CPU réellement consommé.
Efficacité des données	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser des données historiques, vous devez réindexer les données.	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser des données historiques, vous devez réindexer les données.	S'applique uniquement aux données écrites après l'activation de la fonctionnalité. Pour analyser des données historiques, vous devez réindexer les données.
Résultats renvoyés	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo génèrent une erreur. Pour renvoyer davantage de données, utilisez la clause LIMIT.	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo génèrent une erreur. Pour renvoyer davantage de données, utilisez la clause LIMIT.	Par défaut, une requête renvoie jusqu'à 100 lignes et 100 Mo. Les requêtes dépassant 100 Mo génèrent une erreur. Pour renvoyer davantage de données, utilisez la clause LIMIT.
Taille de la valeur de champ	La longueur maximale par défaut d'une valeur de champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant cette limite est exclu de l'analyse et de la récupération. Remarque Pour modifier cette limite, définissez le paramètre Maximum Length of Text Field. Le nouveau paramétrage ne s'applique qu'aux données incrémentielles. Consultez la rubrique Créer un index.	La longueur maximale par défaut d'une valeur de champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant cette limite est exclu de l'analyse et de la récupération. Remarque Pour modifier cette limite, définissez le paramètre Maximum Length of Text Field. Le nouveau paramétrage ne s'applique qu'aux données incrémentielles. Consultez la rubrique Créer un index.	La longueur maximale par défaut d'une valeur de champ est de 2 Ko (2 048 octets), configurable jusqu'à 16 Ko (16 384 octets). Le contenu dépassant cette limite est exclu de l'analyse et de la récupération. Remarque Pour modifier cette limite, définissez le paramètre Maximum Length of Text Field. Le nouveau paramétrage ne s'applique qu'aux données incrémentielles. Consultez la rubrique Créer un index.
Longueur de l'instruction de requête	Le paramètre query de l'API `GetLogs` est limité à 65 536 octets (64 Ko). Les requêtes dépassant cette limite renvoient une erreur `ParameterInvalid` : « The length of query cannot be greater than 65536 ». Divisez les requêtes longues en plusieurs requêtes plus courtes et exécutez-les par lots. Cette limite s'applique aussi bien aux instances polyvalentes qu'au SQL dédié.
Délai d'expiration	Délai d'expiration maximal : 55 secondes.	Délai d'expiration maximal : 55 secondes.	Délai d'expiration maximal : 55 secondes.
Nombre de bits pour les valeurs de champ de type double	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés sur plus de 52 bits perdent en précision.	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés sur plus de 52 bits perdent en précision.	Maximum de 52 bits pour les valeurs de champ de type double. Les nombres à virgule flottante encodés sur plus de 52 bits perdent en précision.

Simple Log Service:Interrogation et analyse basées sur un index