:Configurar una asignación de prioridades entre una línea base y una cola de YARN

Contexto

YARN es un sistema distribuido de gestión de recursos. Se utiliza para gestionar y programar los recursos de un clúster de EMR, además de asignarlos a los diversos tipos de trabajos que se ejecutan en YARN. En este sistema, las prioridades de las colas determinan a qué trabajos se les asignan recursos primero. Los trabajos con mayor prioridad se programan antes para su ejecución. Para obtener más información sobre YARN, consulte Descripción general.

En DataWorks, puede usar uno de los métodos a continuación para configurar las colas de YARN que se utilizan al programar nodos:

• Método 1: configurar una cola de YARN global. Desde la página Workspace, defina a nivel de espacio de trabajo la cola de YARN que utilizará un servicio de DataWorks para ejecutar nodos de EMR. Para obtener más información, consulte Operación posterior: especificar colas de YARN.

• Método 2: configurar una cola de YARN para un solo nodo. Asigne una cola de YARN a un nodo de EMR específico y establezca su prioridad desde la pestaña de configuración del propio nodo. Para obtener más información, consulte Crear un nodo EMR Hive, Crear un nodo EMR Spark o Crear un nodo EMR Spark SQL.

Si la función Global Settings Take Precedence está habilitada en el espacio de trabajo al que pertenece el nodo de EMR deseado, se usa preferentemente la cola de YARN configurada a nivel de espacio de trabajo para programar dicho nodo. Si esta función no está habilitada, se utiliza la cola de YARN configurada directamente en el nodo de EMR.

Las prioridades finales de las colas de YARN utilizadas para programar nodos de EMR se determinan según los principios a continuación:

• Cuando se habilita la línea base a la que pertenece un nodo de EMR y existe una asignación de prioridades configurada entre esa línea base y una cola de YARN, la prioridad final de la cola utilizada para programar el nodo se determina con base en dicha asignación.

  Nota

  En la pestaña de configuración de un nodo de EMR, puede establecer el parámetro ENABLE_TASK_PRIORITY en true. Esto garantiza que la prioridad de la cola de YARN configurada para una tarea del nodo tenga precedencia sobre la asignación de prioridades entre la línea base y la cola cuando se programe la ejecución del nodo.

• Si no se configura ninguna asignación de prioridades entre la línea base del nodo de EMR y una cola de YARN, se utiliza la prioridad de la cola configurada directamente en el nodo.

Requisitos previos

Debe haber creado un nodo de EMR y especificado la prioridad de la cola de YARN configurada para dicho nodo. Para obtener más información, consulte Crear un nodo EMR Hive, Crear un nodo EMR Spark o Crear un nodo EMR Spark SQL.

Límites

Tenga en cuenta los límites a continuación al configurar una asignación de prioridades entre una línea base y una cola de YARN:

• Función

  • Esta función solo está disponible para nodos EMR Hive, EMR Spark y EMR Spark SQL.

  • Antes de configurar una asignación de prioridades entre una línea base y una cola de YARN, debe definir la prioridad máxima de dicha cola en el clúster de EMR.

  • Para modificar la prioridad de una cola de YARN, inicie sesión en la consola de EMR. Una vez modificada la prioridad, reinicie el servicio de YARN. El cambio solo surte efecto en la cola de YARN especificada.

  Nota

  Para obtener información sobre cómo configurar la prioridad de una cola de YARN, consulte Configurar un clúster EMR DataLake.

• Permisos

  • Solo un tenant administrator puede configurar una asignación de prioridades. Si desea hacerlo con una cuenta de miembro, asígnele primero el rol de tenant administrator. Para obtener más información, consulte Gestionar permisos de los miembros del inquilino.

  • Esta función opera a nivel de inquilino. La relación de asignación configurada surte efecto únicamente dentro de dicho inquilino.

  • Solo los usuarios que tengan adjunta la política AliyunDataWorksAccessingEMRReadOnlyPolicy pueden configurar una asignación de prioridades. Para obtener más información, consulte Gestionar permisos de usuarios de RAM.

• Resource groups

  Los resource group exclusivos para programación adquiridos antes del 31 de agosto de 2023 no son compatibles con esta función. Si el resource group exclusivo que utiliza para ejecutar un nodo de EMR se compró antes de esa fecha, comuníquese con el equipo técnico de DataWorks para actualizarlo y habilitar la función. De lo contrario, la asignación configurada no surtirá efecto y se utilizará la prioridad de la cola de YARN definida en el nodo de EMR.

Punto de entrada para configurar una asignación de prioridades

1. Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en Data Development and O&M > Operation Center en el panel de navegación izquierdo. Seleccione un espacio de trabajo en la lista desplegable y haga clic en Go to Operation Center.

2. En el panel de navegación izquierdo, haga clic en Smart Baseline.

Lógica para configurar una asignación de prioridades

La asignación de prioridades se configura en la pestaña Baseline Priority Mapping de la página Smart Baseline.

Seleccione el clúster y la cola de YARN que se utilizarán para ejecutar el nodo de EMR según sus necesidades de negocio. Después, configure la asignación de prioridades entre la línea base a la que pertenece el nodo y dicha cola. A continuación se detalla la lógica de configuración:

• La prioridad configurada para la cola de YARN no puede superar la prioridad máxima definida para las colas de YARN en el clúster de EMR.

• Un valor numérico mayor indica una prioridad más alta para la cola de YARN. Los recursos se asignan preferentemente para programar el nodo que se ejecute en la cola con mayor prioridad.

• La prioridad de la cola de YARN asignada a una línea base de baja prioridad no puede ser superior a la de una línea base de alta prioridad.

Para obtener más información sobre las configuraciones de YARN, consulte Descripción general.