Les systèmes génèrent des anomalies : pics soudains de CPU, inondations réseau, transitions d'état inattendues. Pour les détecter avant qu'elles ne s'aggravent, il est essentiel de disposer d'un modèle capable de surveiller vos métriques en temps réel et de signaler les écarts avant qu'ils ne deviennent des incidents. Ce tutoriel vous guide pas à pas dans la construction et l'évaluation d'un modèle de classification binaire sur PAI (Platform for AI) afin de détecter les anomalies système à partir des journaux de surveillance.
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Une connaissance des fondamentaux du machine learning, en particulier de l'ingénierie des variables et des algorithmes de classification binaire
Plus de 1 000 enregistrements de données étiquetés (chaque enregistrement étant étiqueté
anomalyounormal)D'un à deux jours disponibles pour le développement de bout en bout
D'un espace de travail PAI actif avec accès à Visualized Modeling (Designer)
Jeu de données
Ce tutoriel utilise un jeu de données de journaux de surveillance au niveau du système comptant 22 544 enregistrements, dont 9 711 sont identifiés comme des anomalies. La figure suivante présente un échantillon de ces données.
| Paramètre | Description |
|---|---|
protocol_type |
Protocole utilisé pour la connexion réseau. Valeurs possibles : tcp, icmp, udp. |
service |
Protocole de service. Valeurs possibles : http, finger, pop, private, smtp. |
flage |
État de la connexion. Valeurs possibles : SF, RSTO, REJ. |
a2–a38 |
Métriques système. |
class |
Champ d'étiquette. normal indique un événement système normal ; anomaly indique une anomalie système. |
Fonctionnement du pipeline
Le pipeline s'exécute en quatre étapes :
Ingestion des données — Importe le jeu de données de journaux de surveillance étiquetés.
-
Ingénierie des variables — Prépare les données pour l'entraînement :
One Hot Encoding convertit les variables de type chaîne (telles que
protocol_typeetservice) en valeurs numériques.Normalization met à l'échelle toutes les valeurs numériques dans la plage 0–1, afin qu'aucune métrique unique ne domine le modèle en raison de son amplitude.
-
SQL Script convertit l'étiquette
classen entier binaire :anomaly→1,normal→0. L'instruction SQL est la suivante :SELECT (CASE class WHEN 'anomaly' THEN 1 ELSE 0 END) AS class FROM ${t1};
Entraînement du modèle — Entraîne un modèle de classification binaire par régression logistique sur les données préparées pour distinguer les événements normaux des anomalies.
Évaluation — Mesure la qualité du modèle à l'aide de l'aire sous la courbe (AUC), de la statistique de Kolmogorov-Smirnov (KS) et du score F1.
Construire et exécuter le pipeline
Ouvrir Visualized Modeling (Designer)
Connectez-vous à la console PAI.
Dans le volet de navigation de gauche, cliquez sur Workspaces, puis sélectionnez l'espace de travail que vous souhaitez utiliser.
Dans le volet de navigation de gauche, choisissez Model Training > Visualized Modeling (Designer).
Créer le pipeline à partir d'un modèle
Sous l'onglet Preset Templates, repérez le modèle Abnormal Behavior Risk Control et cliquez sur Create.
-
Dans la boîte de dialogue Create Pipeline, examinez les paramètres.
Le paramètre Data Storage spécifie le chemin d'accès au bucket Object Storage Service (OSS) où le pipeline stocke les données temporaires et les artefacts de modèle générés lors de l'exécution.
Cliquez sur OK. La création du pipeline prend environ 10 secondes.
-
Sous l'onglet Pipelines, double-cliquez sur Abnormal Behavior Risk Control pour ouvrir le pipeline. Le canevas affiche les composants du pipeline, comme illustré dans la figure suivante.
Exécuter le pipeline
Dans le coin supérieur gauche du canevas, cliquez sur
pour démarrer l'exécution.Une fois le pipeline terminé, faites un clic droit sur le composant Evaluate et sélectionnez Visual Analysis.
Dans la boîte de dialogue Evaluate, cliquez sur l'onglet Index data pour afficher les métriques d'évaluation du modèle.
Évaluer le modèle
La figure suivante présente les résultats de l'évaluation.
La valeur AUC est supérieure à 0,9, ce qui indique que la précision de prédiction du modèle dépasse 90 %.
Lorsque le modèle atteint votre seuil de précision, déployez-le en tant que service de prédiction en ligne pour activer le contrôle des risques en quasi-temps réel sur les métriques système en direct.