DataWorks:Configurar una cola de recursos YARN global

Contexto

Yet Another Resource Negotiator (YARN) es un sistema de gestión de recursos distribuidos y un componente central de Hadoop. En un clúster de Hadoop, gestiona los recursos, programa los trabajos y supervisa las tareas. Para obtener más información sobre YARN en E-MapReduce, consulte YARN schedulers.

En DataWorks, puede configurar la cola de recursos YARN para las tareas programadas de una de las siguientes maneras:

• Método 1: Configurar una cola de recursos YARN global

  Establezca una cola de recursos YARN a nivel de espacio de trabajo para que un módulo de DataWorks la use en las tareas de EMR y especifique si esta configuración global anula los ajustes específicos del módulo. Para obtener más información, consulte la sección Configure a global YARN resource queue de este tema.

• Método 2: Configurar una cola YARN dentro de un módulo de producto

  • Data Studio: Para nodos Hive y Spark, puede especificar la cola de recursos YARN para una tarea de nodo individual mediante el parámetro queue en los parámetros de DataWorks, dentro de la sección Scheduling Settings ubicada en el lado derecho de la página de edición del nodo.

  • Data Quality: En las reglas de monitoreo de particiones para una tabla de E-MapReduce, puede especificar la YARN Resource Queue mediante la configuración de Queue. Para obtener más información, consulte Configure monitoring rules for a single table.

  • Other product modules: You cannot configure a separate YARN Resource Queue within other modules.

Límites

• Only the following accounts and roles can configure YARN resource queues:
  • An Alibaba Cloud account.

  • A RAM user or RAM role with the AliyunDataWorksFullAccess policy.

  • A RAM user with the Workspace Administrator role.

• Modify la prioridad máxima de aplicación para YARN.

  Cuando modifica la prioridad de YARN para las tareas de E-MapReduce en DataWorks, you must also add the yarn.cluster.max-application-priority configuration item to the yarn-site.xml file in your E-MapReduce cluster and set its value to a number greater than the default of 0. Otherwise, the priority you configure in DataWorks will not take effect.

  Nota

  Debe reiniciar el servicio YARN para que los cambios surtan efecto.

• Solo puede configurar colas de recursos YARN globales para Data Studio, Data Quality, DataAnalysis y Operation Center.

Requisitos previos

Debe asociar un clúster de E-MapReduce con su espacio de trabajo de DataWorks. Para obtener más información, consulte Bind an E-MapReduce compute engine.

Configurar una cola de recursos YARN global

1. Vaya a la página de configuración de la cola de recursos YARN global.

   1. Inicie sesión en la consola de DataWorks. En la región objetivo, haga clic en More > Management Center en el panel de navegación izquierdo. Seleccione un espacio de trabajo en la lista desplegable y haga clic en Go to Management Center.

   2. En el panel de navegación izquierdo, haga clic en Computing Resources.

   3. Find the target clúster de E-MapReduce y haga clic en YARN Resource Queue tab.

      La sección Production and development environments de esta página muestra las configuraciones de Resource Queue y Global Settings Take Precedence para módulos como Data Studio, Data Quality, DataAnalysis y Operation Center. Para cambiar la configuración, haga clic en Edit YARN Resource Queues en la esquina superior derecha.

2. Configure la cola de recursos YARN global.

   En la página YARN Resource Queues, haga clic en Edit YARN Resource Queues en la esquina superior derecha para configurar la cola de recursos YARN global y la prioridad de cada módulo.

   Nota

   Estos ajustes se aplican globalmente a todo el espacio de trabajo. Antes de continuar, asegúrese de haber seleccionado el espacio de trabajo correcto.

   Parámetro	Descripción
   Resource Queue	Cola de recursos YARN que se utiliza para ejecutar tareas de E-MapReduce en cada módulo. Puede consultar las colas de recursos disponibles en la consola de EMR on ECS.
   Global Settings Take Precedence	Si selecciona esta opción, las configuraciones globales anulan cualquier ajuste específico del módulo. Todas las tareas utilizarán entonces la cola de recursos YARN configurada globalmente. Configuración global: La cola de recursos YARN configurada en la pestaña YARN Resource Queue del clúster de E-MapReduce. Puede encontrar esta pestaña al navegar a Management Center > Computing Resources. Nota Solo puede configurar colas de recursos YARN globales para Data Studio, Data Quality, DataAnalysis y Operation Center. Configuración específica del módulo: Data Studio: Para nodos Hive y Spark, puede especificar la cola de recursos YARN para una tarea de nodo individual mediante el parámetro queue en los parámetros de DataWorks, dentro de la sección Scheduling Settings ubicada en el lado derecho de la página de edición del nodo. Data Quality: En las reglas de monitoreo de particiones para una tabla de E-MapReduce, puede especificar la YARN Resource Queue mediante la configuración de Queue. Para obtener más información, consulte Configure monitoring rules for a single table. Otros módulos de producto: No es posible configurar una YARN Resource Queue independiente dentro de otros módulos.

Documentación relacionada

Map baseline priorities to YARN queue priorities