Simple Log Service utilise trois algorithmes pour détecter les anomalies dans les métriques et les journaux métier : le graphe de flux, la décomposition de flux et la détection d'anomalies supervisée. Chaque algorithme convient à des scénarios différents en fonction du volume de données, du niveau de bruit et des modèles cycliques.
Algorithme de graphe de flux
L'algorithme de graphe de flux repose sur Time-Series Event Prediction with Evolutionary State Graph (Time2Graph). Il réduit le bruit des données et calcule l'écart des échantillons anormaux. Cet algorithme convient aux scénarios comportant un grand nombre de séries temporelles bruyantes et présentant peu de variations cycliques.
Scénarios
L'algorithme de graphe de flux analyse chaque échantillon en temps réel grâce à l'apprentissage automatique en ligne. Il identifie les anomalies dans les types de séries temporelles suivants :
Métriques au niveau de la machine, telles que l'utilisation du CPU, l'utilisation de la mémoire et les vitesses de lecture et d'écriture sur disque
Métriques de performance, telles que les requêtes par seconde (QPS), le volume de trafic, les taux de réussite et la latence
Métriques clés (Golden metrics)
Paramètres
Configurez les paramètres du graphe de flux dans la section Algorithm Configurations de l'assistant Create Intelligent Inspection Job. Utilisez des instructions SQL pour agréger les métriques destinées à l'inspection en temps réel.
|
Parameter |
Subparameter |
Description |
|
(Required) Advanced Parameters |
Time Series Segments |
Nombre de segments dans lesquels la série temporelle est discrétisée. La discrétisation aide à construire les graphiques de métriques.
|
|
Observation Length |
Nombre d'échantillons historiques utilisés pour la détection d'anomalies.
|
|
|
Period-over-period Comparison Length |
Période (en jours) pour la comparaison période par période lors de la détection d'anomalies. Définissez la valeur sur 0 pour désactiver l'analyse période par période. |
|
|
Major Capture Type |
Types d'anomalies à prioriser. Valeurs valides :
|
|
|
Trees |
Nombre d'arbres de décision utilisés pour l'inspection auxiliaire des anomalies. |
|
|
Sample Size per Tree |
Nombre d'échantillons collectés par arbre de détection lors de la construction. |
|
|
Overall Anomaly Rate |
Taux d'anomalies estimé dans la série temporelle. Valeurs valides : 0,001 à 0,01. |
|
|
Minimum Window of Anomaly Type Check |
Longueur minimale de la série temporelle référencée lors de la capture d'anomalies. |
|
|
Maximum Window of Anomaly Type Check |
Longueur maximale de la série temporelle référencée lors de la capture d'anomalies. |
|
|
Minimum Window for Anomaly Confirmation |
Longueur minimale de la série temporelle inspectée lors de la confirmation d'anomalie. |
|
|
Maximum Window for Anomaly Confirmation |
Longueur maximale de la série temporelle inspectée lors de la confirmation d'anomalie. |
|
|
Single-dimension Feature Configuration |
- |
Fonctionnalités de série temporelle à inspecter. Configurez chaque fonctionnalité séparément :
|
|
Notification Sensitivity Configuration |
- |
Seuil de notification d'alerte. Configurez différents seuils pour différentes périodes. Par exemple, supprimez les alertes pendant les fenêtres de maintenance planifiées. |
Algorithme de décomposition de flux
L'algorithme de décomposition de flux repose sur RobustSTL: A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series. Il prend en charge le traitement par lots à un coût plus élevé que l'algorithme de graphe de flux et convient à l'inspection précise d'un petit nombre de métriques de performance. Pour les grands ensembles de données, divisez les données en lots ou utilisez l'algorithme de graphe de flux.
Scénarios
Utilisez l'algorithme de décomposition de flux pour les données présentant des variations cycliques majeures, telles que les métriques de performance avec des modèles périodiques forts.
Exemples de données cycliques : nombre de visites de jeux et volumes de commandes clients.
Paramètres
Configurez les paramètres de décomposition de flux dans la section Algorithm Configurations de l'assistant Create Intelligent Inspection Job. Utilisez des instructions SQL pour agréger les métriques destinées à l'inspection en temps réel.
-
Configurez l'algorithme.
Parameter
Subparameter
Description
Automatic period detection
-
Activez la détection automatique de période pour les données de série temporelle présentant un modèle périodique. Si la série temporelle a une période constante, désactivez cette fonctionnalité et définissez manuellement la longueur de la période.
Period detection frequency
-
Ce paramètre prend effet lorsque la détection automatique de période est activée. L'algorithme met à jour la période de la série temporelle à la fréquence spécifiée. Par exemple, si vous définissez la fréquence de détection de période sur 12 heures, l'algorithme détecte et met à jour la période de la série toutes les 12 heures.
Period length
-
Ce paramètre prend effet lorsque la détection automatique de période est désactivée. Définissez la longueur de la période de la série. Si la série n'a pas de période, définissez cette valeur sur 0.
Observation length
-
Longueur des données historiques à référencer pour la détection d'anomalies. Si la série est périodique, définissez la longueur d'observation sur trois fois la longueur de la période. Par exemple, si la série a une longueur de période d'un jour, définissez la longueur d'observation sur 3 jours.
Sensitivity
-
Une valeur de sensibilité plus élevée entraîne davantage d'anomalies détectées et des scores d'anomalie plus élevés. Cela augmente le taux de rappel pour les anomalies mais diminue le taux de précision.
Advanced parameters
Trend component sensitivity
L'algorithme décompose une série en composantes de tendance, de périodicité et de bruit. Ce paramètre ajuste la sensibilité de la détection d'anomalies sur la composante de tendance. Une valeur plus élevée entraîne davantage d'anomalies détectées et des scores d'anomalie plus élevés, ce qui augmente le taux de rappel mais diminue le taux de précision.
Noise component sensitivity
L'algorithme décompose une série en composantes de tendance, de périodicité et de bruit. Ce paramètre ajuste la sensibilité de la détection d'anomalies sur la composante de bruit. Une valeur plus élevée entraîne davantage d'anomalies détectées et des scores d'anomalie plus élevés, ce qui augmente le taux de rappel mais diminue le taux de précision.
Trend component sample length
L'algorithme décompose une série en composantes de tendance, de périodicité et de bruit. Si la longueur d'observation est trop longue, l'analyse de la tendance peut être lente. Une longueur d'échantillon plus longue accélère l'analyse mais peut réduire la précision. Par exemple, si la longueur de l'échantillon est de 8, l'algorithme analyse un point de données pour chaque groupe de 8 points dans la série originale.
Periodicity component sample length
L'algorithme décompose une série en composantes de tendance, de périodicité et de bruit. Si la longueur d'observation est trop longue, l'analyse de la périodicité peut être lente. Une longueur d'échantillon plus longue accélère l'analyse mais peut réduire la précision. Par exemple, si la longueur de l'échantillon est de 8, l'algorithme analyse un point de données pour chaque groupe de 8 points dans la série originale. Définissez cette valeur sur 5 ou moins.
Window length
Si la longueur d'observation de la série est trop longue, la détection d'anomalies peut être lente. Définissez une longueur de fenêtre pour que l'algorithme de détection utilise une fenêtre glissante. L'algorithme détecte les anomalies dans des segments de la série de données, ce qui améliore la vitesse de détection. Définissez cette valeur sur 5000 ou moins. Si vous n'avez pas besoin d'utiliser une fenêtre glissante, définissez cette valeur sur 0.
-
Prévisualisez les performances de l'algorithme avec les paramètres actuels.
Définissez une plage de temps pour spécifier les heures de début et de fin de la série temporelle. Cliquez sur Data Query. Les instructions de requête et d'analyse que vous avez définies dans Data Feature Settings sont utilisées pour traiter les données dans la plage de temps spécifiée et générer des données de série temporelle.
Sélectionnez Entity Information et Feature pour spécifier la série de fonctionnalités à détecter. Cliquez sur Preview. L'algorithme de détection traite la série de fonctionnalités spécifiée et affiche les résultats ci-dessous. Cliquez sur Show Parameters pour afficher les paramètres actuels de l'algorithme.
Les résultats de détection affichent les aperçus Trend Component Preview, Periodicity Component Preview et Noise Component Preview. Ajustez le seuil d'anomalie dans les aperçus Trend Component Preview et Noise Component Preview. Seuls les événements anormaux dont le score est supérieur au seuil peuvent générer des alertes.
Algorithme de détection d'anomalies supervisée
Algorithme de détection d'anomalies supervisée
L'algorithme de détection d'anomalies supervisée construit des fonctionnalités à partir des données de série temporelle et utilise ces fonctionnalités ainsi que les étiquettes d'anomalie pour entraîner des modèles de classification tels que les arbres de décision et les forêts aléatoires. Les modèles entraînés effectuent ensuite la détection d'anomalies.
Scénarios
L'algorithme de détection d'anomalies supervisée convient aux données de série temporelle étiquetées que les algorithmes de graphe de flux ou de décomposition de flux ne peuvent pas traiter efficacement.
Paramètres
Configurez les paramètres de détection d'anomalies supervisée dans la section Algorithm Configurations de l'assistant Create Model Training Job. Utilisez des instructions SQL pour agréger les métriques destinées à l'entraînement du modèle.