DataWorks:Configurer une file d'attente de ressources YARN globale

Contexte

Yet Another Resource Negotiator (YARN) est un système de gestion des ressources distribué et un composant central de Hadoop. Dans un cluster Hadoop, il gère les ressources, planifie les travaux et surveille les tâches. Pour plus d'informations sur YARN dans E-MapReduce, consultez la section Planificateurs YARN.

Dans DataWorks, vous pouvez configurer la file d'attente de ressources YARN pour les tâches planifiées de l'une des manières suivantes :

• Méthode 1 : Configurer une file d'attente de ressources YARN globale

  Définissez une file d'attente de ressources YARN au niveau de l'espace de travail pour qu'un module DataWorks l'utilise pour les tâches EMR, et indiquez si cette configuration globale remplace les paramètres spécifiques au module. Pour plus d'informations, reportez-vous à la section Configurer une file d'attente de ressources YARN globale de cette rubrique.

• Méthode 2 : Configurer une file d'attente YARN au sein d'un module produit

  • Data Studio : Pour les nœuds Hive et Spark, spécifiez la file d'attente de ressources YARN pour une tâche de nœud unique en définissant le paramètre queue dans les paramètres DataWorks de la section Scheduling Settings située à droite de la page d'édition du nœud.

  • Data Quality : Dans les règles de surveillance des partitions pour une table E-MapReduce, spécifiez la YARN Resource Queue à l'aide du paramètre Queue. Pour plus d'informations, consultez la section Configurer des règles de surveillance pour une seule table.

  • Autres modules produit : Vous ne pouvez pas configurer de YARN Resource Queue distincte au sein d'autres modules.

Limites

• Seuls les comptes et rôles suivants peuvent configurer les files d'attente de ressources YARN :

  • Un compte Alibaba Cloud.

  • Un utilisateur RAM ou un rôle RAM disposant de la stratégie AliyunDataWorksFullAccess.

  • Un utilisateur RAM doté du rôle Workspace Administrator.

• Modification de la priorité maximale des applications pour YARN.

  Lorsque vous modifiez la priorité YARN pour les tâches E-MapReduce dans DataWorks, vous devez également ajouter l'élément de configuration yarn.cluster.max-application-priority au fichier yarn-site.xml de votre cluster E-MapReduce et définir sa valeur sur un nombre supérieur à la valeur par défaut (0). Sinon, la priorité que vous configurez dans DataWorks ne sera pas prise en compte.

  Remarque

  Vous devez redémarrer le service YARN pour que les modifications prennent effet.

• Vous pouvez configurer des files d'attente de ressources YARN globales uniquement pour Data Studio, Data Quality, DataAnalysis et Operation Center.

Prérequis

Vous devez associer un cluster E-MapReduce à votre espace de travail DataWorks. Pour plus d'informations, consultez la section Lier un moteur de calcul E-MapReduce.

Configurer une file d'attente de ressources YARN globale

1. Accédez à la page de configuration de la file d'attente de ressources YARN globale.

   1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur More > Management Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Management Center.

   2. Dans le volet de navigation de gauche, cliquez sur Computing Resources.

   3. Recherchez le cluster E-MapReduce cible et cliquez sur l'onglet YARN Resource Queue.

      La section Production and development environments de cette page répertorie les paramètres Resource Queue et Global Settings Take Precedence pour les modules tels que Data Studio, Data Quality, DataAnalysis et Operation Center. Pour modifier la configuration, cliquez sur Edit YARN Resource Queues dans le coin supérieur droit.

2. Configurez la file d'attente de ressources YARN globale.

   Sur la page YARN Resource Queues, cliquez sur Edit YARN Resource Queues dans le coin supérieur droit pour configurer la file d'attente de ressources YARN globale et la priorité pour chaque module.

   Remarque

   Ces paramètres s'appliquent globalement à l'ensemble de l'espace de travail. Avant de poursuivre, assurez-vous d'avoir sélectionné l'espace de travail approprié.

   Paramètre	Description
   Resource Queue	La file d'attente de ressources YARN utilisée pour exécuter les tâches E-MapReduce pour chaque module. Vous pouvez trouver les files d'attente disponibles dans la console EMR on ECS.
   Global Settings Take Precedence	Si vous sélectionnez cette option, les configurations globales remplacent tous les paramètres spécifiques au module. Toutes les tâches utiliseront alors la file d'attente de ressources YARN configurée globalement. Configuration globale : La file d'attente de ressources YARN configurée dans l'onglet YARN Resource Queue pour le cluster E-MapReduce. Vous pouvez accéder à cet onglet en naviguant vers Management Center > Computing Resources. Remarque Vous pouvez configurer des files d'attente de ressources YARN globales uniquement pour Data Studio, Data Quality, DataAnalysis et Operation Center. Configuration spécifique au module : Data Studio : Pour les nœuds Hive et Spark, spécifiez la file d'attente de ressources YARN pour une tâche de nœud unique en définissant le paramètre queue dans les paramètres DataWorks de la section Scheduling Settings située à droite de la page d'édition du nœud. Data Quality : Dans les règles de surveillance des partitions pour une table E-MapReduce, spécifiez la YARN Resource Queue à l'aide du paramètre Queue. Pour plus d'informations, consultez la section Configurer des règles de surveillance pour une seule table. Autres modules produit : Vous ne pouvez pas configurer de YARN Resource Queue distincte au sein d'autres modules.

Documentation connexe

Mapper les priorités de ligne de base aux priorités de file d'attente YARN