:Configurer un mappage de priorité entre une ligne de base et une file d'attente YARN

Informations générales

YARN est un système distribué de gestion des ressources utilisé pour gérer et planifier les ressources dans un cluster EMR, ainsi que pour allouer des ressources aux différents types de tâches exécutées sur YARN. Dans YARN, les priorités des files d'attente déterminent les tâches auxquelles YARN alloue les ressources en priorité. Les tâches à haute priorité sont ainsi planifiées en premier. Pour plus d'informations sur YARN, consultez la page Présentation.

Dans DataWorks, vous pouvez utiliser l'une des méthodes suivantes pour configurer les files d'attente YARN utilisées pour planifier les nœuds :

• Méthode 1 : Configurer une file d'attente YARN globale. Vous pouvez définir une file d'attente YARN utilisée par un service DataWorks pour exécuter des nœuds EMR au niveau de l'espace de travail, depuis la page Workspace. Pour plus d'informations, consultez la section Étape suivante : Spécifier les files d'attente YARN.

• Méthode 2 : Configurer une file d'attente YARN pour un nœud unique. Vous pouvez définir une file d'attente YARN pour un seul nœud EMR et configurer sa priorité directement dans l'onglet de configuration du nœud EMR. Pour plus d'informations, consultez les pages Créer un nœud EMR Hive, Créer un nœud EMR Spark ou Créer un nœud EMR Spark SQL.

Si la fonctionnalité Global Settings Take Precedence est activée pour l'espace de travail auquel appartient le nœud EMR cible, la file d'attente YARN configurée au niveau de l'espace de travail est utilisée en priorité pour planifier ce nœud. Si cette fonctionnalité n'est pas activée, c'est la file d'attente YARN configurée spécifiquement pour le nœud EMR qui est utilisée.

Les priorités finales des files d'attente YARN utilisées pour planifier les nœuds EMR sont déterminées selon les principes suivants :

• Lorsqu'une ligne de base à laquelle appartient un nœud EMR est activée, si un mappage de priorité est configuré entre cette ligne de base et une file d'attente YARN, la priorité finale de la file d'attente YARN utilisée pour planifier le nœud est déterminée par ce mappage.

  Remarque

  Dans l'onglet de configuration d'un nœud EMR, vous pouvez définir le paramètre ENABLE_TASK_PRIORITY sur true afin que la priorité de la file d'attente YARN configurée pour une tâche sur le nœud soit prise en compte avant le mappage de priorité entre la ligne de base et la file d'attente YARN lors de la planification du nœud.

• Si aucun mappage de priorité n'est configuré entre la ligne de base à laquelle appartient un nœud EMR et une file d'attente YARN, la priorité de la file d'attente YARN configurée pour le nœud EMR est utilisée.

Prérequis

Un nœud EMR doit être créé et la priorité de la file d'attente YARN configurée pour ce nœud doit être spécifiée. Pour plus d'informations, consultez les pages Créer un nœud EMR Hive, Créer un nœud EMR Spark ou Créer un nœud EMR Spark SQL.

Limites

Tenez compte des limites suivantes lors de la configuration d'un mappage de priorité entre une ligne de base et une file d'attente YARN :

• Fonctionnalité

  • Cette fonctionnalité est disponible uniquement pour les nœuds EMR Hive, EMR Spark et EMR Spark SQL.

  • Vous devez configurer la priorité la plus élevée pour une file d'attente YARN dans le cluster EMR avant de pouvoir configurer un mappage de priorité entre une ligne de base et cette file d'attente YARN.

  • Vous devez vous connecter à la console EMR pour modifier la priorité de la file d'attente YARN. Après avoir modifié la priorité, vous devez redémarrer le service YARN. La nouvelle priorité ne s'applique qu'à la file d'attente YARN spécifiée.

  Remarque

  Pour savoir comment configurer la priorité d'une file d'attente YARN, consultez la page Configurer un cluster DataLake EMR.

• Autorisations

  • Seul un tenant administrator peut configurer un mappage de priorité. Si vous souhaitez configurer un mappage de priorité à l'aide d'un compte membre, ce dernier doit disposer du rôle tenant administrator. Pour plus d'informations, consultez la section Gérer les autorisations des membres du locataire.

  • Cette fonctionnalité est disponible au niveau du locataire. La relation de mappage configurée s'applique à l'ensemble du locataire.

  • Seuls les utilisateurs auxquels la stratégie AliyunDataWorksAccessingEMRReadOnlyPolicy est associée peuvent configurer un mappage de priorité. Pour plus d'informations, consultez la page Gérer les autorisations des utilisateurs RAM.

• Groupes de ressources

  Les groupes de ressources exclusifs pour la planification achetés avant le 31 août 2023 ne prennent pas en charge cette fonctionnalité. Si le groupe de ressources exclusif pour la planification que vous utilisez pour exécuter un nœud EMR a été acheté avant cette date, contactez l'équipe technique de DataWorks pour mettre à niveau le groupe de ressources et activer la fonctionnalité. Sans cette mise à niveau, le mappage configuré ne sera pas pris en compte. Dans ce cas, c'est la priorité de la file d'attente YARN configurée pour le nœud EMR qui sera utilisée.

Point d'entrée pour configurer un mappage de priorité

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Operation Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante, puis cliquez sur Go to Operation Center.

2. Dans le volet de navigation de gauche, cliquez sur Smart Baseline.

Logique de configuration d'un mappage de priorité

Vous pouvez configurer un mappage de priorité dans l'onglet Baseline Priority Mapping de la page Smart Baseline.

Sélectionnez un cluster et une file d'attente YARN utilisés pour exécuter un nœud EMR en fonction de vos besoins métier, puis configurez un mappage de priorité entre la ligne de base à laquelle appartient le nœud EMR et la file d'attente YARN. Logique de configuration :

• La priorité de la file d'attente YARN configurée ne peut pas dépasser la priorité la plus élevée définie pour les files d'attente YARN dans le cluster EMR.

• Plus le chiffre est élevé, plus la priorité de la file d'attente YARN est grande. Les ressources sont allouées en priorité pour planifier le nœud exécuté dans la file d'attente YARN ayant la priorité la plus élevée.

• La priorité de la file d'attente YARN mappée à une priorité de ligne de base faible ne peut pas être supérieure à celle mappée à une priorité de ligne de base élevée.

Pour plus d'informations sur les configurations YARN, consultez la page Présentation.