Realtime Compute for Apache Flink:Configurations et modèles d'alertes

Scénario

Nom de la métrique/de l'événement

Configuration de la règle

Sévérité

Actions

Échec du job

Événement d'état d'exécution du job

= FAILED (Alerte basée sur un événement)

P0

1. Vérifiez si la politique de redémarrage est mal configurée. Nous vous recommandons d'utiliser la configuration par défaut.

2. Déterminez si l'échec est dû à la politique de redémarrage ou à une exception du JobManager/TaskManager.

3. Restaurez le job à partir du dernier savepoint ou d'un checkpoint réussi.

Pic de basculements

Overview / NumOfRestart

≥ 1 pendant 1 période consécutive

P0

1. Identifiez la cause racine.

• Analysez les journaux de basculement, du JobManager et du TaskManager pour obtenir des détails sur les erreurs.

• Ignorer : Pannes matérielles peu fréquentes et auto-récupérables.

• Corriger : Bugs de code, goulots d'étranglement liés aux ressources ou erreurs de configuration.

2. Restaurez le job à partir du dernier savepoint ou d'un checkpoint réussi.

Échecs consécutifs de checkpoints

NumOfCheckpoints (agrégat sur 5 minutes)

≤ 0 pendant 1 période consécutive

P0

1. Consultez la section Checkpoints système pour identifier la cause racine des échecs de checkpoint.

2. Identifiez et résolvez le problème.

• Problèmes de paramètres (par exemple, délai d'expiration) : Ajustez les configurations liées aux checkpoints.

• Mise à l'échelle des ressources (par exemple, contre-pression) : Utilisez la mise à l'échelle dynamique pour ajouter des ressources à l'opérateur soumis à la contre-pression.

3. Mettez à jour la configuration de manière dynamique ou restaurez le job à partir du dernier checkpoint réussi.

Latence élevée (avec ingestion de données)

Overview / CurrentEmitEventTimeLag && NumOfRecordsInFromSourcePerSecond

Latence maximale ≥ 180 000 ms

Enregistrements d'entrée > 0

pendant 3 périodes consécutives

P1

1. Consultez les métriques de surveillance pour identifier la cause de la latence.

• Données : Les horodatages d'événements sont-ils désordonnés ?

• Trafic : Observez-vous une augmentation soudaine du trafic en amont ou une contre-pression provenant d'un système en aval ?

• Interne : Ajustez les options WITH du connecteur ou augmentez la capacité de l'opérateur constituant le goulot d'étranglement.

• Externe : Optimisez les configurations des services externes, par exemple en ajustant les politiques de limitation de débit ou en augmentant le nombre de connexions.

Interruption du flux de données en amont

Overview / NumOfRecordsInFromSourcePerSecond &&

SourceIdleTime

Enregistrements d'entrée ≤ 0 (selon votre logique métier)

Temps d'inactivité maximal ≥ 60 000 ms

pendant 5 périodes consécutives

P1

1. Examinez le fichier taskmanager.log, les graphiques en flammes et les métriques du service en amont pour confirmer si le problème est lié à une absence de données en amont, une limitation de débit ou une exception, ou à une pile de threads bloquée.

• Problèmes de connecteur : Optimisez les paramètres du connecteur (par exemple, délai d'expiration, concurrence) ou ajoutez des ressources TaskManager.

• Problèmes de service en amont : Informez le propriétaire du service en amont afin qu'il résolve le problème.

• Goulots d'étranglement internes à Flink (par exemple, contre-pression ou blocage du système) : Résolvez la cause racine du goulot d'étranglement (tel qu'un problème en aval), puis redémarrez le job à partir du dernier checkpoint.

Absence de sortie de données

Overview / NumOfRecordsOutToSinkPerSecond

≤ 0 pendant 5 périodes consécutives

P1

1. Vérifiez si les données atteignent l'opérateur sink.

• Filtrage par la logique métier : Utilisez les journaux ou les métriques pour confirmer si toutes les données d'entrée sont filtrées car elles ne remplissent pas certaines conditions.

• Données tardives supprimées : Vérifiez les configurations des watermarks et des fenêtres pour confirmer si les données sont supprimées car elles sont arrivées en retard.

2. Vérifiez si le sink peut écrire dans le système externe.

• Niveau connexion : Le pool de connexions du sink est-il épuisé ? La connexion réseau est-elle stable ?

• Niveau système de destination : Vérifiez la base de données ou le service en aval pour détecter d'éventuels verrous de table, un manque d'espace disque, une limitation des écritures ou d'autres erreurs.

3. Pour une solution de secours temporaire, mettez en œuvre une double écriture vers un système de stockage de sauvegarde.

Goulot d'étranglement des performances CPU

CPU / TMCPUUsage

≥ 85 % pendant 10 périodes consécutives

P2

1. Utilisez un graphique en flammes ou l'interface utilisateur Flink pour identifier l'opérateur point chaud.

• Logique métier : Calculs complexes, analyse JSON ou fonctions définies par l'utilisateur (UDF) inefficaces.

• Déséquilibre des données : Une clé très sollicitée surcharge une tâche unique avec un grand volume de données.

• Ressources insuffisantes : Le parallélisme actuel et les ressources TaskManager correspondent-ils au trafic de données ? La contre-pression est-elle sévère ?

• GC fréquents : Utilisez les journaux ou les métriques JVM pour vérifier si la pression mémoire provoque des Full GC fréquents, qui consomment beaucoup de CPU.

2. Augmentez le parallélisme de l'opérateur constituant le goulot d'étranglement ou allouez plus de cœurs CPU au TaskManager.

Goulot d'étranglement des performances mémoire

TMHeapMemoryUsed

≥ 90 % pendant 10 périodes consécutives

P2

1. Analysez les journaux GC pour identifier le problème.

• Fuite de mémoire : Utilisez l'interface utilisateur Flink ou les tableaux de bord de surveillance pour observer si la mémoire tas ne revient pas à sa ligne de base après le GC et si cette ligne de base continue d'augmenter.

• Capacité insuffisante : Si l'utilisation de la mémoire tas reste constamment élevée, cela peut déclencher des Full GC fréquents et dégrader les performances.

• OOM soudain : Vérifiez si le traitement d'un enregistrement spécifique ou d'un lot de données épuise instantanément la mémoire, entraînant directement une erreur OutOfMemoryError.

2. Augmentez la taille du tas ou le parallélisme pour réduire le volume de données par slot.