Flink Advisor diagnostique vos déploiements Realtime Compute for Apache Flink en analysant les journaux, les événements, les métriques et les configurations en temps réel. Il surveille l'état de santé du déploiement tout au long de son cycle de vie, détecte les exceptions et les risques, et fournit des suggestions d'optimisation exploitables pour réduire le temps de dépannage et le temps moyen de réparation (MTTR).
Limites
Seuls les déploiements en streaming prennent en charge le diagnostic intelligent des déploiements. Les déploiements par lots ne sont pas pris en charge.
Fonctionnement
Flink Advisor évalue en continu l'état de santé de votre déploiement. Le score de santé commence à 100 et est réduit en fonction du nombre et de la gravité des risques détectés au cours des 30 dernières minutes.
Le score s'affiche sous forme d'un badge codé par couleur dans la liste des déploiements :
|
Couleur |
Plage de scores |
Signification |
|
Vert |
Supérieur à 80 |
Aucun risque potentiel. Des suggestions de configuration peuvent être fournies. |
|
Jaune |
60–80 |
Problèmes ou risques potentiels détectés. Vérifiez le déploiement. |
|
Rouge |
Inférieur à 60 |
Problèmes graves détectés. Agissez immédiatement pour éviter l'annulation du déploiement. |
Diagnostiquer les journaux d'exceptions d'un brouillon
Utilisez ce flux de travail pour diagnostiquer les erreurs SQL avant de publier un déploiement.
Connectez-vous à la console Realtime Compute for Apache Flink. Recherchez l'espace de travail que vous souhaitez gérer et cliquez sur Console Console dans la colonne Actions Actions.
Dans le volet de navigation de gauche, choisissez Développement Development > ETL ETL. Créez un brouillon, rédigez vos instructions SQL et cliquez sur Valider Validate.
-
Dans la partie inférieure de la page de l'éditeur SQL, examinez les détails des erreurs, les causes possibles et les suggestions d'optimisation.
Par exemple, la section Deep Check affiche une icône d'erreur rouge avec un statut de vérification (tel que « Échec de la vérification de la syntaxe SQL et de la connectivité réseau ») et des messages d'erreur détaillés. La section Analysis Result répertorie les causes possibles (telles que « La table ou la vue référencée dans l'instruction SQL n'existe pas ») et les solutions suggérées (telles que « Vérifiez que le nom de la table ou de la vue a été créé »). Une section SQL Optimization réductible apparaît en bas de la page.
Si vous ne parvenez pas à identifier la cause à partir des résultats de la vérification de la syntaxe, sélectionnez les journaux correspondants et cliquez sur Rechercher dans la documentation Search in Documentation pour trouver les informations pertinentes.
Diagnostiquer les journaux d'exceptions d'un déploiement
Utilisez ce flux de travail pour enquêter sur les exceptions au niveau des journaux dans un déploiement en cours d'exécution ou ayant échoué.
Connectez-vous à la console Realtime Compute for Apache Flink. Recherchez l'espace de travail que vous souhaitez gérer et cliquez sur Console Console dans la colonne Actions Actions.
Dans le volet de navigation de gauche, choisissez O&M O&M > Deployments Deployments. Cliquez sur le nom du déploiement que vous souhaitez examiner.
-
Cliquez sur l'onglet Logs Logs. Dans le volet de gauche, cliquez sur Logs Logs, Startup Logs Startup Logs ou JM Exceptions JM Exceptions pour afficher les journaux pertinents.
La zone principale affiche la trace de la pile d'exceptions. En dessous, la section Analysis based on current logs répertorie les causes possibles et les solutions suggérées. En bas, une table Exception History affiche les exceptions historiques avec leur heure de première occurrence, leur nom, leur type d'exception et leur nombre d'occurrences.
Pour plus d'informations sur les types de journaux, consultez Afficher les journaux de démarrage et les journaux opérationnels d'un déploiement. Pour enquêter sur les journaux d'exceptions, consultez Afficher les journaux d'exceptions d'un déploiement. Pour accéder aux enregistrements historiques, consultez Afficher les journaux d'un déploiement historique.
Exécuter un diagnostic intelligent sur un déploiement anormal
Utilisez ce flux de travail lorsqu'un déploiement est dans un état anormal et que vous devez identifier la cause racine.
-
Accédez à l'onglet Diagnosis Diagnosis en utilisant l'une des méthodes suivantes :
Dans la liste des déploiements, recherchez le déploiement et cliquez sur son score dans la colonne Health Health.
Cliquez sur le nom du déploiement, puis cliquez sur l'onglet Diagnosis Diagnosis.
Sur la page Diagnosis, vous pouvez consulter le Health Score (par exemple, 99) et l'heure du diagnostic. Cliquez sur Diagnose pour exécuter une vérification de diagnostic. Les résultats affichent le nombre total d'éléments vérifiés (par exemple, 5), avec des catégories telles que Resource Analysis nécessitant une attention particulière, tandis que Startup Analysis, Deployment Analysis, State Analysis et Exception Analysis réussissent la vérification de diagnostic.
Cliquez sur Diagnose Diagnose. Flink Advisor fournit divers référentiels de journaux pour les journaux d'exceptions Flink. Pour la liste complète des éléments de diagnostic et des étapes de remédiation, consultez Éléments de diagnostic Flink Advisor.
Examinez les résultats du diagnostic et les suggestions d'optimisation. Pour appliquer une suggestion, cliquez sur Apply Apply à côté de celle-ci.
Éléments de diagnostic Flink Advisor
Les éléments de diagnostic se répartissent en deux catégories :
Exception Exception : L'exécution du déploiement est affectée. Une action immédiate est requise.
Risque : Le déploiement est actuellement en cours d'exécution, mais un problème potentiel a été détecté. Traitez-le de manière proactive pour éviter de futures défaillances.
|
Type |
Phase |
Élément de diagnostic |
Description |
|
Exception Exception (l'exécution du déploiement est affectée) |
Démarrage |
Analyse du fichier de démarrage |
Le package JAR requis est manquant dans le répertoire Object Storage Service (OSS). Téléchargez à nouveau le package JAR avant de démarrer le déploiement. |
|
Démarrage |
Analyse des ressources |
Les ressources disponibles restantes sont insuffisantes. Réduisez les valeurs de configuration des ressources pour le déploiement ou augmentez la taille du cluster. |
|
|
Démarrage |
Analyse des ressources |
L'interface réseau de conteneur (CNI) n'a pas pu se lier au déploiement. Vérifiez si le nombre d'adresses IP du vSwitch associé a atteint sa limite supérieure. |
|
|
Démarrage |
Analyse des ressources |
Le nombre d'adresses IP d'interface réseau élastique (ENI) dépasse la limite supérieure. Augmentez le nombre d'ENI et réessayez. |
|
|
Démarrage |
Analyse du réseau topologique |
Aucune connexion réseau n'est établie entre le TaskManager et le JobManager. Le déploiement est anormal. |
|
|
Démarrage |
Analyse du réseau topologique |
La liaison ENI aux instances Elastic Compute Service (ECS) a expiré au cours des 10 dernières minutes. Le déploiement démarre lentement. Attendez que l'opération soit terminée. |
|
|
Démarrage |
Analyse réseau des services amont et aval |
La détection du port TCP est normale, mais le connecteur amont ou aval n'est pas connecté. Vérifiez les configurations réseau des services amont et aval. |
|
|
Démarrage |
Détection des autorisations des services amont et aval |
La source de données amont n'est pas connectée. Vérifiez la configuration des autorisations du service amont. |
|
|
Démarrage |
Détection des autorisations des services amont et aval |
La source de données aval n'est pas connectée. Vérifiez la configuration des autorisations du service aval. |
|
|
Démarrage |
Analyse de la vitesse de démarrage |
Le package JAR est excessivement volumineux, ce qui ralentit le démarrage. Compressez le package JAR et téléchargez-le à nouveau, ou attendez que le démarrage soit terminé. |
|
|
Démarrage |
Vérification JobGraph |
Le fichier de configuration d'une version antérieure de Realtime Compute for Apache Flink peut être manquant. Le déploiement peut ne pas récupérer après un basculement. Annulez et redémarrez manuellement le déploiement. |
|
|
Démarrage |
Vérification du cluster de session |
Un cluster de session d'une version antérieure de Realtime Compute for Apache Flink peut être anormal, ce qui rend le déploiement anormal. |
|
|
Icône d'exécution |
Vérification de l'état de haute disponibilité (HA) |
La haute disponibilité n'est pas activée. Le déploiement ne peut pas récupérer après une défaillance. Publiez à nouveau le brouillon, puis annulez et redémarrez manuellement le déploiement. |
|
|
Icône d'exécution |
Vérification du point de contrôle |
La fonctionnalité de point de contrôle d'une version antérieure de Realtime Compute for Apache Flink peut être anormale, ce qui peut entraîner l'échec du point de contrôle. |
|
|
Icône d'exécution |
Détection des autorisations des services amont et aval |
La détection du port TCP est normale, mais le connecteur amont ou aval n'est pas connecté. Vérifiez les configurations d'autorisation des services amont et aval. |
|
|
Icône d'exécution |
Vérification de l'état d'exécution |
Une erreur d'épuisement de la mémoire (OOM) s'est produite dans un TaskManager. Vérifiez la configuration du déploiement et augmentez la mémoire du TaskManager. |
|
|
Annulation |
Analyse de la vitesse d'annulation |
L'annulation est lente dans une version antérieure de Realtime Compute for Apache Flink. Annulez et redémarrez manuellement le déploiement. |
|
|
Risque (l'exécution du déploiement n'est pas affectée) |
Configurations |
Vérification JobGraph |
Le déploiement fonctionne normalement. Cependant, le fichier de configuration d'une version antérieure peut être manquant. Le déploiement peut ne pas récupérer après une défaillance. Annulez et redémarrez manuellement le déploiement. |
|
Configurations |
Vérification de l'état HA |
Le déploiement fonctionne normalement. Cependant, la haute disponibilité n'est pas activée. Le déploiement peut ne pas récupérer après une défaillance. Publiez à nouveau le brouillon, puis annulez et redémarrez manuellement le déploiement. |
|
|
Configurations |
Vérification de la version |
Le déploiement fonctionne normalement. Cependant, un défaut majeur est détecté dans la version actuelle de Realtime Compute for Apache Flink. |
|
|
Icône d'exécution |
Vérification du point de contrôle |
Le déploiement fonctionne normalement. Cependant, une exception de point de contrôle dans une version antérieure de Realtime Compute for Apache Flink peut provoquer un problème de stabilité potentiel. |
|
|
Icône d'exécution |
Vérification du point de contrôle |
Le déploiement fonctionne normalement. Cependant, aucun point de contrôle n'a été créé depuis une période prolongée. |
|
|
Icône d'exécution |
Analyse de la vitesse d'annulation |
Le déploiement fonctionne normalement. Cependant, un risque est détecté qui peut provoquer une annulation lente dans une version antérieure de Realtime Compute for Apache Flink. Annulez et redémarrez manuellement le déploiement. |
|
|
Icône d'exécution |
Analyse de l'environnement d'exécution |
Le déploiement a basculé en raison d'une exception sur la machine hôte. Le déploiement peut être automatiquement restauré après le basculement. Aucune action n'est requise. |
|
|
Icône d'exécution |
Analyse de l'environnement d'exécution |
Une mise à niveau de la machine peut provoquer le basculement du déploiement en quelques minutes. Le déploiement peut être automatiquement restauré après le basculement. Pour éviter cela, annulez et redémarrez manuellement le déploiement avant la mise à niveau de la machine. |
|
|
Icône d'exécution |
Analyse de l'environnement d'exécution |
Une défaillance matérielle s'est produite sur la machine hôte. Le déploiement a basculé. Annulez et redémarrez manuellement le déploiement. |
|
|
Icône d'exécution |
Vérification de la version |
La version est en fin de service (EOS). Des problèmes de stabilité peuvent survenir ou le support produit peut ne plus être disponible. Pour plus d'informations, consultez Opérations de la console. |
Étapes suivantes
Surveillez les métriques de performance du JobManager et du TaskManager pour les déploiements en cours d'exécution. Pour plus d'informations, consultez Surveiller les performances du déploiement.
Configurez le réglage automatique pour permettre au système de reconfigurer les ressources automatiquement ou selon un calendrier. Pour plus d'informations, consultez Activer le réglage automatique des performances.
Optimisez les déploiements Flink SQL en ajustant les configurations de déploiement et la logique SQL. Pour plus d'informations, consultez Optimiser Flink SQL.