La fonctionnalité de détection intelligente des anomalies de Simple Log Service propose l'entraînement de modèles et la vérification d'intégrité en temps réel. Elle prend en charge l'entraînement automatisé, intelligent et adaptatif des modèles, ainsi que la détection d'anomalies pour les données telles que les journaux et les métriques.
À compter du 15 juillet 2025 (UTC+8), la fonctionnalité d'analyse intelligente des anomalies ne sera plus disponible pour les nouveaux utilisateurs. Les utilisateurs existants peuvent continuer à l'utiliser.
-
Portée de l'impact
Les fonctionnalités principales suivantes seront supprimées : vérification d'intégrité intelligente, analyse de texte et prévision de séries chronologiques.
-
Solutions de migration des fonctionnalités
Les fonctionnalités syntaxe d'apprentissage automatique, requête et analyse planifiées (SQL planifié) et tableau de bord de SLS peuvent remplacer entièrement les fonctionnalités supprimées.
Contexte
Les données temporelles, telles que les journaux et les métriques, s'accumulent au fil du temps. Par exemple, si un service génère 10 millions d'entrées de données par jour, le volume annuel atteint 3,6 milliards d'entrées. L'utilisation de règles fixes pour vérifier ces données peut entraîner les problèmes suivants :
Faible efficacité : Vous devez configurer manuellement diverses règles pour identifier et détecter les anomalies.
Manque de réactivité : La plupart des données de séries chronologiques sont sensibles au temps. Les pannes et les modifications affectent les modèles de métriques. Une anomalie identifiée par une règle spécifique peut être considérée comme normale ultérieurement.
Configuration difficile : Les données de séries chronologiques se présentent sous diverses formes, telles que des pics, des points d'inflexion et des changements périodiques. Les plages de seuils varient également. Pour les modèles complexes, la configuration des règles est souvent difficile.
Performances médiocres : Les flux de données changent dynamiquement et les modèles commerciaux évoluent rapidement, ce qui rend les règles fixes inefficaces dans les nouveaux scénarios commerciaux. Cela peut entraîner de nombreux faux positifs ou faux négatifs. La tolérance aux anomalies varie selon les scénarios et les utilisateurs. Lors du dépannage, la détection de davantage de points d'anomalie valides aide l'enquête. Lors du traitement des alertes, des points d'anomalie moins nombreux mais plus importants améliorent l'efficacité du traitement des alertes.
Pour résoudre ces problèmes, Simple Log Service propose la fonctionnalité de vérification d'intégrité intelligente. Cette fonctionnalité utilise des algorithmes d'IA propriétaires pour agréger, vérifier et créer des alertes pour les données en streaming telles que les journaux et les métriques. Il vous suffit de spécifier les éléments surveillés. Le modèle d'algorithme détecte automatiquement les anomalies, s'adapte aux changements commerciaux et affine les alertes sans configuration manuelle des règles.
Fonctionnement
Simple Log Service utilise des instructions SQL pour construire et agréger les métriques de surveillance. Il extrait les données vers un modèle à intervalles réguliers en fonction des règles de planification, écrit les résultats de la vérification d'intégrité dans un Logstore de destination (internal-ml-log) en fonction des normes d'événements et envoie des notifications d'alerte pour les anomalies.
Fonctionnalités
La vérification d'intégrité intelligente offre les fonctionnalités suivantes.
|
Fonctionnalité |
Description |
|
Configurer les objets surveillés |
Utilisez SQL ou des instructions de requête et d'analyse pour convertir les données de journal en métriques de surveillance et lancer des tâches. |
|
Analyser les données à intervalles réguliers |
Configurez les caractéristiques des données, les champs d'entité et les champs de métriques selon vos besoins. L'instance de vérification d'intégrité découvre automatiquement les nouvelles entités surveillées, extrait les données à intervalles réguliers et effectue une modélisation automatique et une analyse intelligente. Le modèle prend en charge des intervalles d'extraction aussi courts qu'une seconde. |
|
Paramètres et aperçu des performances du modèle |
Prévisualisez les effets des différents paramètres du modèle et visualisez la courbe de série chronologique des métriques et la courbe de score d'anomalie. Cela vous aide à configurer les paramètres du modèle qui conviennent le mieux aux caractéristiques de vos données. |
|
Sortie de résultats multicanaux |
Les résultats de la vérification d'intégrité sont stockés dans le Logstore de destination. Les informations sur les anomalies vous sont envoyées via des notifications d'alerte. |
Termes
Le tableau suivant décrit les termes clés utilisés dans la vérification d'intégrité intelligente.
|
Terme |
Description |
|
Tâche |
Une tâche de vérification d'intégrité comprend des informations telles que les caractéristiques des données, les paramètres du modèle et les politiques d'alerte. |
|
Instance |
Une tâche de vérification d'intégrité génère une instance d'exécution basée sur la configuration de la tâche. Chaque instance extrait les données, exécute le modèle d'algorithme et distribue les résultats de la vérification d'intégrité à intervalles réguliers en fonction de la configuration de la tâche.
|
|
ID d'instance |
L'identifiant unique d'une instance d'exécution. |
|
Heure de création |
L'heure à laquelle l'instance est créée. Une instance est généralement créée en fonction des règles de tâche que vous configurez. Une instance est créée immédiatement pour les exécutions de remplissage ou pour rattraper les retards. |
|
Temps d'exécution |
L'heure à laquelle l'instance commence à s'exécuter. Si une tâche est réessayée, il s'agit de l'heure de début de la dernière exécution. |
|
Heure de fin |
L'heure à laquelle l'instance termine son exécution. Si une tâche est réessayée, il s'agit de l'heure de fin de la dernière exécution. |
|
État d'exécution |
L'état d'exécution de l'instance. Valeurs possibles :
|
|
Caractéristiques des données |
Les caractéristiques des données incluent les configurations suivantes :
|
|
Configuration de l'algorithme |
Différents algorithmes ont différents éléments de configuration. Pour plus d'informations sur les éléments de configuration de chaque algorithme, consultez Utiliser SQL pour agréger les données de métriques pour la détection en temps réel. |
|
Événement d'inspection |
Un événement de vérification d'intégrité comprend les informations suivantes :
|
Scénarios de planification et d'exécution
Le tableau suivant décrit les scénarios courants de planification et d'exécution pour les tâches de vérification d'intégrité.
|
Scénario |
Description |
|
Démarrer une tâche de vérification d'intégrité à partir d'un point historique |
Après avoir créé une tâche de vérification d'intégrité, elle traite les données historiques en fonction des règles de tâche. Le modèle d'algorithme consomme rapidement les données historiques, effectue l'entraînement du modèle et rattrape progressivement l'heure actuelle. Après l'heure de création de la tâche ou l'heure de fin d'apprentissage du modèle, des événements de vérification d'intégrité sont générés. |
|
Modifier la configuration de planification |
Après avoir modifié la configuration de planification, l'instance suivante est générée en fonction de la nouvelle configuration. Le modèle d'algorithme mémorise l'heure de consommation actuelle et continue de vérifier les nouvelles données. |
|
Réessayer une instance ayant échoué |
Si une instance échoue en raison de problèmes tels que des permissions insuffisantes, une base de données source ou de destination inexistante ou une configuration invalide, le système réessaie automatiquement. Si l'état reste Starting, la configuration peut être incorrecte. Le journal d'erreur est écrit dans le Logstore internal-etl-log. Vérifiez la configuration et redémarrez la tâche. Après une planification et une exécution réussies, le système met à jour l'état de l'instance sur Succeeded ou Failed en fonction du résultat. |
Recommandations d'utilisation
Pour tirer le meilleur parti de la vérification d'intégrité intelligente, suivez ces recommandations :
Avant de configurer une tâche de vérification d'intégrité, comprenez le format des données dans le Logstore, clarifiez la signification des champs et déterminez l'intervalle d'observation.
Pour configurer efficacement les paramètres de l'algorithme, comprenez les changements de données de séries chronologiques de vos objets surveillés, y compris la stabilité et la périodicité, et ayez une attente préliminaire des modèles d'anomalie.
Alignez la fenêtre de temps de la tâche de vérification d'intégrité sur des unités de temps entières, telles que des secondes, des minutes ou des heures entières. Cela garantit la réactivité des alertes d'événements d'anomalie et la précision de la corrélation multi-événements.
Entraînement du modèle
Vous pouvez utiliser l'entraînement du modèle pour améliorer l'apprentissage des anomalies et augmenter la précision des futures alertes d'anomalie. L'entraînement du modèle offre les avantages suivants.
Si la précision de la détection d'anomalie ne répond pas à vos attentes avec la seule fonctionnalité de vérification d'intégrité en temps réel, utilisez des tâches d'entraînement de modèle pour l'améliorer.
Si les anomalies détectées par une tâche de vérification d'intégrité en temps réel diffèrent de ce que vous considérez comme anormal, exécutez d'abord une tâche d'entraînement de modèle pour détecter de manière adaptative les types d'anomalie requis.
Processus de base
Entrée de données : Fournissez les données requises pour le service d'entraînement de modèle. Cela inclut les données de métriques étiquetées et non étiquetées. Ces données sont stockées dans Simple Log Service et doivent être récupérées à l'aide de requêtes SQL. Les données de métriques étiquetées peuvent être envoyées directement au service d'algorithme. Les données de métriques non étiquetées doivent être étiquetées à l'aide d'une simulation d'injection d'anomalie avant de pouvoir être envoyées au service d'algorithme.
Service d'algorithme : Ce service se compose de deux parties principales : l'ingénierie des caractéristiques et un modèle supervisé. Dans le service d'algorithme, un modèle est entraîné pour chaque entité. L'ID d'entité est utilisé pour identifier le modèle correspondant.
Stockage et visualisation des résultats : Une fois une tâche d'entraînement de modèle terminée, le système stocke le modèle entraîné sur le cloud. Le système enregistre également les résultats de validation de l'ensemble de données et les événements de l'exécution de la tâche sous forme de journaux dans un Logstore nommé internal-ml-log. Vous pouvez également afficher les résultats de visualisation dans les détails de la tâche.
Créer une tâche de prédiction : Une fois une tâche d'entraînement de modèle terminée, vous obtenez le modèle entraîné pour chaque entité de la tâche. Vous pouvez ensuite créer une tâche de prédiction pour effectuer une détection d'anomalie en temps réel sur les futures données de métriques. Utilisez l'outil d'étiquetage de Simple Log Service pour étiqueter les résultats, obtenir plus de données étiquetées et entraîner le modèle à plusieurs reprises pour améliorer sa précision.
Aperçu du service d'algorithme
Le service d'algorithme se compose des trois parties principales suivantes.
-
Ensemble de données : Un ensemble de données est construit en fonction d'une plage de temps spécifiée et est divisé en un ensemble d'entraînement et un ensemble de validation.
L'ensemble d'entraînement doit couvrir une période de plus de 12 jours car la tâche d'entraînement de modèle nécessite une semaine de données historiques comme condition préalable à l'ingénierie des caractéristiques. L'ensemble de validation doit couvrir une période de plus de 3 jours car trois jours de données sont nécessaires pour générer un rapport de validation qui explique mieux l'ajustement, la robustesse et les performances du modèle.
Ingénierie des caractéristiques : Cela inclut les caractéristiques de comparaison périodique, les caractéristiques de décalage, les caractéristiques de tendance, les caractéristiques de fenêtre et les caractéristiques temporelles.
Modèle d'ensemble : Un modèle d'ensemble est construit en intégrant plusieurs modèles basés sur des arbres.