AnalyticDB for MySQL Enterprise Edition, Basic Edition, and Data Lakehouse Edition (V3.0) propose une fonctionnalité de diagnostic des applications Spark. Si une application Spark soumise rencontre des problèmes de performance, utilisez les informations de diagnostic pour identifier et analyser rapidement les goulots d'étranglement, optimiser l'application et accélérer la résolution des incidents. Cette rubrique explique comment diagnostiquer les performances des applications Spark et fournit des exemples concrets.
Prérequis
Un cluster AnalyticDB for MySQL Data Lakehouse Edition (V3.0) a été créé. Pour plus d'informations, consultez la rubrique Créer un cluster.
Un groupe de ressources de tâches disposant d'au moins 8 ACU de ressources de calcul réservées a été créé. Pour plus d'informations, consultez la rubrique Créer et gérer des groupes de ressources.
L'autorisation AliyunADBDeveloperAccess a été accordée à un utilisateur Resource Access Management (RAM). Pour plus d'informations, consultez la rubrique Utilisateurs RAM et autorisations.
Un compte de base de données a été créé pour le cluster AnalyticDB for MySQL Enterprise Edition, Basic Edition, or Data Lakehouse Edition.
AnalyticDB for MySQL est autorisé à endosser le rôle AliyunADBSparkProcessingDataRole pour accéder à d'autres ressources cloud.
Cas d'utilisation
Cette fonctionnalité s'applique principalement aux scénarios suivants :
Analyse des performances des jeux de données : lors du traitement de volumes importants de données avec Spark, l'analyse des performances est essentielle. L'outil de diagnostic vous aide à identifier rapidement les goulots d'étranglement, tels que les pics de mémoire ou les déversements sur disque, afin d'améliorer l'efficacité du traitement des données.
Équilibrage de charge pour les applications à grande échelle : lorsque les applications Spark s'exécutent sous des charges de travail hautement concurrentielles, des problèmes de performance peuvent survenir, tels qu'une asymétrie des données (data skew), des tâches à longue traîne ou un déséquilibre de charge. Le diagnostic de l'application permet d'identifier rapidement ces problèmes afin d'optimiser l'application.
Limites
Vous ne pouvez diagnostiquer que les applications Spark qui se sont terminées avec succès au cours des 14 derniers jours.
Seules les applications par lots (batch) et en continu (streaming) sont prises en charge.
Procédure
Connectez-vous à la console AnalyticDB for MySQL. Dans le coin supérieur gauche de la console, sélectionnez une région. Dans le volet de navigation de gauche, cliquez sur Clusters. Repérez le cluster à gérer et cliquez sur son ID.
Dans le volet de navigation de gauche, choisissez Job Development>Spark JAR Development.
Dans la section Applications, repérez l'application cible et choisissez More > History dans la colonne Actions.
-
Dans la section Tuning History, repérez la tâche cible et cliquez sur Diagnose dans la colonne Actions.
RemarqueUne fois le diagnostic terminé, le panneau Diagnostic Optimization Details s'ouvre automatiquement. Si l'application présente des problèmes de performance, utilisez les informations affichées dans ce panneau pour l'optimiser.