DataWorks:Configurar uma fila de recursos YARN global

Informações básicas

O Yet Another Resource Negotiator (YARN) é um sistema de gerenciamento de recursos distribuídos e um componente central do Hadoop. Em um cluster Hadoop, ele gerencia recursos, agenda jobs e monitora tarefas. Para obter mais informações sobre o YARN no E-MapReduce, consulte Agendadores YARN.

No DataWorks, você pode configurar a fila de recursos YARN para tarefas agendadas de uma das seguintes maneiras:

• Método 1: Configurar uma fila de recursos YARN global

  Defina uma fila de recursos YARN no nível do workspace para uso por um módulo do DataWorks em tarefas do EMR e especifique se essa configuração global substitui as definições específicas do módulo. Para mais detalhes, veja a seção Configurar uma fila de recursos YARN global neste tópico.

• Método 2: Configurar uma fila YARN dentro de um módulo de produto

  • Data Studio: Para nós Hive e Spark, especifique a fila de recursos YARN para uma tarefa de nó único definindo o parâmetro queue nos parâmetros do DataWorks, na seção Scheduling Settings, no lado direito da página de edição do nó.

  • Data Quality: Nas regras de monitoramento de partição para uma tabela do E-MapReduce, especifique a YARN Resource Queue usando a configuração Queue. Para mais informações, consulte Configurar regras de monitoramento para uma única tabela.

  • Outros módulos de produto: Não é possível configurar uma YARN Resource Queue separada em outros módulos.

Limites

• Apenas as contas e funções a seguir podem configurar filas de recursos YARN:

  • Uma conta Alibaba Cloud.

  • Um usuário RAM ou função RAM com a política AliyunDataWorksFullAccess.

  • Um usuário RAM com a função Workspace Administrator.

• Modifique a prioridade máxima de aplicação para o YARN.

  Ao modificar a prioridade do YARN para tarefas do E-MapReduce no DataWorks, adicione também o item de configuração yarn.cluster.max-application-priority ao arquivo yarn-site.xml no seu cluster E-MapReduce e defina seu valor como um número maior que o padrão 0. Caso contrário, a prioridade configurada no DataWorks não terá efeito.

  Nota

  Execute o reinício do serviço YARN para que as alterações entrem em vigor.

• Filas de recursos YARN globais podem ser configuradas apenas para Data Studio, Data Quality, DataAnalysis e Operation Center.

Pré-requisitos

Associe um cluster E-MapReduce ao seu workspace do DataWorks. Para mais informações, consulte Vincular um mecanismo de computação E-MapReduce.

Configurar uma fila de recursos YARN global

1. Acesse a página de configuração da fila de recursos YARN global.

   1. Faça login no console do DataWorks. Na região desejada, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

   2. No painel de navegação à esquerda, clique em Computing Resources.

   3. Localize o cluster E-MapReduce desejado e clique na aba YARN Resource Queue.

      A seção Production and development environments nesta página lista as configurações Resource Queue e Global Settings Take Precedence para módulos como Data Studio, Data Quality, DataAnalysis e Operation Center. Para alterar a configuração, clique em Edit YARN Resource Queues no canto superior direito.

2. Configure a fila de recursos YARN global.

   Na página YARN Resource Queues, clique em Edit YARN Resource Queues no canto superior direito para configurar a fila de recursos YARN global e a prioridade de cada módulo.

   Nota

   Essas configurações se aplicam globalmente a todo o workspace. Antes de continuar, certifique-se de ter selecionado o workspace correto.

   Parâmetro	Descrição
   Resource Queue	Fila de recursos YARN usada para executar tarefas do E-MapReduce em cada módulo. As filas de recursos disponíveis podem ser encontradas no console EMR on ECS.
   Global Settings Take Precedence	Ao selecionar esta opção, as configurações globais substituem quaisquer definições específicas do módulo. Todas as tarefas passarão a usar a fila de recursos YARN configurada globalmente. Configuração global: A fila de recursos YARN configurada na aba YARN Resource Queue do cluster E-MapReduce. Essa aba está disponível navegando até Management Center > Computing Resources. Nota Filas de recursos YARN globais podem ser configuradas apenas para Data Studio, Data Quality, DataAnalysis e Operation Center. Configuração específica do módulo: Data Studio: Para nós Hive e Spark, especifique a fila de recursos YARN para uma tarefa de nó único definindo o parâmetro queue nos parâmetros do DataWorks, na seção Scheduling Settings, no lado direito da página de edição do nó. Data Quality: Nas regras de monitoramento de partição para uma tabela do E-MapReduce, especifique a YARN Resource Queue usando a configuração Queue. Para mais informações, consulte Configurar regras de monitoramento para uma única tabela. Outros módulos de produto: Não é possível configurar uma YARN Resource Queue separada em outros módulos.

Documentação relacionada

Mapear prioridades de linha de base para prioridades de fila YARN