Principe de fonctionnement de l'analyse textuelle dans l'analyse intelligente des anomalies de Simple Log Service - Simple Log Service

Simple Log Service propose l'analyse textuelle pour détecter automatiquement les anomalies dans le contenu textuel de grands volumes de journaux.

Important

À compter du 15 juillet 2025 (UTC+8), l'analyse intelligente des anomalies ne sera plus disponible pour les nouveaux utilisateurs. Les utilisateurs existants peuvent continuer à l'utiliser.

Portée de l'impact

Les fonctionnalités principales suivantes seront retirées : vérification intelligente de l'état de santé, analyse textuelle et prévision de séries chronologiques.
Solutions de migration des fonctionnalités

La syntaxe d'apprentissage automatique, la requête et analyse planifiées (SQL planifié) ainsi que les tableaux de bord de SLS peuvent remplacer intégralement les fonctionnalités retirées.

Contexte

L'exécution des services génère d'importants volumes de journaux système et métier destinés à la surveillance et au dépannage. L'analyse traditionnelle des journaux repose sur l'évaluation des niveaux de risque et la recherche de mots-clés tels que Error, Failed et Unsuccessfully. Dans les environnements de microservices distribués, cette approche présente les défis suivants :

Des téraoctets, voire des pétaoctets de journaux sont générés quotidiennement, ce qui rend l'analyse manuelle très coûteuse en main-d'œuvre.
Dans un environnement distribué avec déploiement de microservices, les journaux Warning ou Error n'indiquent pas nécessairement des exceptions système. Ces journaux peuvent être générés lors de la mise à l'échelle, des mises à jour ou des itérations du système. Des connaissances professionnelles sont requises lors de l'analyse manuelle pour identifier les anomalies dans les journaux.

L'analyse automatisée et intelligente des journaux répond à ces défis en réduisant les coûts de main-d'œuvre et en exploitant tout le potentiel des données de journalisation. Ce type d'analyse présente les caractéristiques suivantes :

Traitement efficace de grands volumes de journaux.
Identification des anomalies dans les journaux ou réduction de la portée des journaux utilisés pour le dépannage.
Personnalisation des paramètres pour l'analyse textuelle.

L'analyse textuelle de Simple Log Service simplifie l'intégration des journaux et la détection des anomalies. Il vous suffit de configurer les objets surveillés et quelques paramètres d'algorithme. L'algorithme détecte alors automatiquement les anomalies, ce qui vous permet de vous concentrer sur le contenu important.

Présentation de la fonctionnalité

L'analyse textuelle extrait le contenu textuel des journaux via des groupes de consommateurs, sans nécessiter d'index. Les tâches récupèrent les données et les alimentent dans le modèle d'analyse textuelle selon une planification configurée. Le modèle écrit les résultats dans le logstore cible (internal-ml-log) et les visualise sur un tableau de bord.

Configuration des objets de surveillance : spécifiez les champs de journal à analyser (les valeurs des champs doivent être du contenu textuel), configurez les paramètres de l'algorithme si nécessaire et démarrez la tâche. La configuration des champs basée sur les groupes de consommateurs ne nécessite pas d'index.
Analyse des données planifiée : les algorithmes d'analyse textuelle traitent les données à l'aide de fenêtres temporelles.
Sortie des résultats : les résultats de l'analyse sont écrits dans le logstore cible et un tableau de bord est généré pour les visualiser.

Termes

Terme	Description
Tâche	Une tâche d'analyse textuelle comprend des caractéristiques de données et des paramètres de modèle d'algorithme.
Instance	Une tâche d'analyse textuelle crée une instance basée sur la configuration de la tâche. L'instance extrait les données à intervalles réguliers, exécute le modèle d'algorithme et distribue les résultats. Une seule instance peut s'exécuter dans une tâche à la fois, qu'elle soit exécutée selon la planification ou relancée en raison d'une anomalie. Vous ne pouvez pas exécuter plusieurs instances simultanément dans une seule tâche. Vous ne pouvez pas modifier la configuration d'une tâche pendant son exécution. Si vous modifiez la configuration, la tâche recrée une instance et exécute le nouveau modèle d'algorithme. La nouvelle instance est indépendante de la précédente. Pour savoir comment différentes opérations affectent la planification et l'exécution des instances, consultez la section Planification et exécution.
ID d'instance	Chaque instance est identifiée par un ID unique.
Heure de création	Heure à laquelle une instance est créée. Généralement, les instances sont créées selon les règles de planification de la tâche. Si des données historiques doivent être traitées ou si une instance précédente a expiré, une instance est créée immédiatement.
Heure d'exécution	Heure à laquelle une instance commence à s'exécuter. Si la tâche est relancée, cette valeur reflète l'heure de début la plus récente.
Heure de fin	Heure à laquelle une instance arrête de s'exécuter. Si la tâche est relancée, cette valeur reflète l'heure de fin la plus récente.
Statut	État actuel d'une instance. Valeurs possibles : RUNNING STARTING SUCCEEDED FAILED

Cas d'utilisation de la planification et de l'exécution

Chaque tâche peut créer une ou plusieurs instances, mais une seule instance s'exécute à la fois. Voici les cas d'utilisation courants de la planification et de l'exécution :

Démarrage immédiat : le démarrage immédiat d'une tâche d'analyse textuelle signifie que le modèle d'algorithme ne peut pas accéder aux données historiques. Il s'entraîne sur les données des fenêtres d'initialisation configurées, supprime les anomalies, puis se met à jour dynamiquement avec les nouvelles données.
Modification des paramètres de planification : lorsque vous modifiez les règles de planification d'une tâche, une nouvelle instance est générée en fonction des paramètres mis à jour. Le modèle reprend à partir du dernier point analysé pour traiter les nouvelles données.
Nouvelle tentative en cas d'échec : si une instance échoue en raison de problèmes tels que des erreurs d'autorisation, des logstores indisponibles ou des problèmes de configuration, Simple Log Service effectue automatiquement une nouvelle tentative. Si une instance reste dans l'état STARTING, cela indique un échec de configuration et un journal d'erreur est créé. Vérifiez la configuration et réessayez. Le statut de l'instance passe à SUCCEEDED ou FAILED en fonction du résultat de la nouvelle tentative.

Remarques d'utilisation

Pour améliorer l'efficacité de l'analyse textuelle :

Spécifiez uniquement les champs textuels que vous souhaitez analyser. L'inclusion de champs redondants peut réduire l'efficacité et la vitesse de l'analyse.
Examinez les données de série chronologique des objets surveillés pour vérifier la stabilité et la périodicité des données. Cela vous aidera à configurer les paramètres d'algorithme appropriés.