EMR Doctor est un gestionnaire de cluster Big Data open source qui propose un service intelligent de diagnostic et d'optimisation de bout en bout. Il génère des rapports de santé quotidiens et effectue des analyses en temps réel pour détecter les problèmes avant qu'ils n'affectent vos charges de travail. Pour les clusters Hadoop exécutant EMR V3.x (antérieur à la version V3.41.0), V4.x ou V5.x (antérieur à la version V5.6.0), vous devez demander l'activation auprès de l'équipe Alibaba Cloud EMR Doctor.
EMR Doctor est activé par défaut pour les clusters DataLake, les clusters DataServing et les clusters personnalisés. Cette rubrique s'applique uniquement aux versions de cluster Hadoop répertoriées ci-dessus.
Prérequis
Avant de commencer, assurez-vous que :
-
Votre cluster Hadoop exécute l'une des versions suivantes :
EMR V3.x antérieur à la version V3.41.0
EMR V4.x (toutes les versions mineures)
EMR V5.x antérieur à la version V5.6.0
Rejoignez le groupe DingTalk 44846846 pour contacter l'équipe EMR Doctor.
Fonctionnement d'EMR Doctor
EMR Doctor collecte les métriques et les événements issus des tâches de calcul de votre cluster, puis attribue un score à chaque tâche côté backend. Cela vous offre deux types de visibilité :
Rapports de santé quotidiens : Analyse les moteurs de stockage et de calcul, effectue des contrôles de santé à l'échelle du cluster et génère un rapport quotidien sur l'état de santé du cluster.
Rapports de cluster en temps réel : Analyse en continu les tâches de calcul et les services pour identifier les problèmes et notifier le personnel des opérations et de la maintenance (O&M) afin qu'il effectue le dépannage.
Impacts de l'activation
EMR Doctor n'affecte pas les tâches existantes dans votre cluster. Il collecte uniquement les métriques et les événements des tâches, puis les analyse et les note côté backend. L'installation est transparente pour les tâches en cours d'exécution et celles en file d'attente.
Modifications de configuration appliquées lors de l'installation
Lorsque EMR Doctor est installé, il ajoute automatiquement les paramètres suivants aux fichiers de configuration des services de votre cluster :
| Service | Fichier de configuration | Paramètres ajoutés |
|---|---|---|
| Hive | hive-env.sh | Variables d'environnement |
| YARN | mapred-site.xml | yarn.app.mapreduce.am.command-opts, mapreduce.map.java.opts, mapreduce.reduce.java.opts → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr |
| YARN | yarn-env.sh | Variables d'environnement |
| Spark | spark-defaults.conf | spark.driver.extraJavaOptions, spark.executor.extraJavaOptions, spark.yarn.am.extraJavaOptions → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark |
| Tez | tez-site.xml | tez.task.launch.cmd-opts, tez.am.launch.cmd-opts → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez |
Configurations en attente
Pendant l'installation, EMR peut appliquer des configurations de service enregistrées mais pas encore déployées sur votre cluster. Avant l'activation, vérifiez s'il existe des configurations en attente pour Hive, Spark, YARN ou Tez, et évaluez l'impact de leur application.
Redémarrages des services après l'installation
Après l'installation, redémarrez les services suivants :
App Timeline Server
HiveServer2
Spark Thrift Server
Planifiez les redémarrages pendant les heures creuses ou une fenêtre de maintenance. EMR Doctor fonctionne sans ces redémarrages, mais certaines données peuvent ne pas être collectées pour certaines tâches, par exemple les tâches Hive on MapReduce.
L'équipe Alibaba Cloud EMR Doctor vous informera lorsque l'installation sera terminée et confirmera quels services doivent être redémarrés.
Demander l'activation
L'équipe Alibaba Cloud EMR Doctor gère l'installation de bout en bout pour garantir la stabilité du cluster.
Rejoignez le groupe DingTalk 44846846. Un ingénieur de l'équipe EMR Doctor vous contactera.
L'ingénieur examine l'état de votre cluster et planifie une fenêtre d'installation.
L'équipe EMR Doctor installe EMR Doctor à l'heure convenue.
Après l'installation, connectez-vous à la console EMR pour consulter les rapports générés par l'analyse EMR Doctor.
Nous contacter
L'équipe Alibaba Cloud EMR fournit une assistance complète à l'installation pour vous aider à activer cette fonctionnalité. Si vous avez besoin d'aide, recherchez le numéro de groupe 44846846 sur DingTalk et rejoignez le groupe. Un ingénieur sera affecté pour définir un plan spécifique avec vous.