:Configure um mapeamento de prioridade entre uma linha de base e uma fila YARN

Informações básicas

O YARN é um sistema distribuído de gerenciamento de recursos que gerencia e agenda recursos em um cluster EMR, além de alocar recursos para diversos tipos de jobs executados no YARN. Nesse sistema, as prioridades das filas determinam quais jobs recebem alocação preferencial de recursos. Jobs com alta prioridade são agendados e executados primeiro. Para mais informações sobre o YARN, consulte Visão geral.

No DataWorks, utilize um dos métodos abaixo para configurar as filas YARN usadas no agendamento de nós:

• Método 1: Configurar uma fila YARN global. Na página Workspace, no nível do workspace, configure uma fila YARN que o serviço DataWorks utilizará para executar nós EMR. Para mais detalhes, consulte Operação subsequente: Especificar filas YARN.

• Método 2: Configurar uma fila YARN para um único nó. Defina uma fila YARN específica para um nó EMR individual e ajuste sua prioridade na aba de configuração desse nó. Para mais informações, consulte Criar um nó EMR Hive, Criar um nó EMR Spark ou Criar um nó EMR Spark SQL.

Se o recurso Global Settings Take Precedence estiver ativado no workspace ao qual o nó EMR desejado pertence, a fila YARN configurada no nível do workspace terá precedência no agendamento do nó. Caso contrário, o sistema usará a fila YARN configurada diretamente no nó EMR.

As prioridades finais das filas YARN utilizadas para agendar nós EMR seguem os princípios abaixo:

• Quando a linha de base de um nó EMR está ativa e existe um mapeamento de prioridade definido entre ela e uma fila YARN, a prioridade final da fila usada no agendamento segue esse mapeamento.

  Nota

  Na aba de configuração de um nó EMR, defina o parâmetro ENABLE_TASK_PRIORITY como true para garantir que a prioridade da fila YARN configurada para uma tarefa no nó tenha precedência sobre o mapeamento de prioridade entre a linha de base e a fila YARN durante o agendamento.

• Se não houver mapeamento de prioridade entre a linha de base do nó EMR e uma fila YARN, o sistema aplicará a prioridade da fila YARN configurada no próprio nó.

Pré-requisitos

Crie um nó EMR e especifique a prioridade da fila YARN correspondente. Para mais detalhes, consulte Criar um nó EMR Hive, Criar um nó EMR Spark ou Criar um nó EMR Spark SQL.

Limites

Observe as restrições a seguir ao configurar o mapeamento de prioridade entre uma linha de base e uma fila YARN:

• Recurso

  • Disponível apenas para nós EMR Hive, EMR Spark e EMR Spark SQL.

  • Defina a prioridade máxima da fila YARN no cluster EMR antes de estabelecer o mapeamento de prioridade com a linha de base.

  • Acesse o console EMR para alterar a prioridade da fila YARN. Após a modificação, reinicie o serviço YARN. A nova prioridade valerá somente para a fila YARN especificada.

  Nota

  Para saber como configurar a prioridade de uma fila YARN, consulte Configurar um cluster EMR DataLake.

• Permissões

  • Somente um tenant administrator pode configurar o mapeamento de prioridade. Para configurar esse mapeamento com uma conta de membro, atribua a ela a função de tenant administrator. Para mais informações, consulte Gerenciar permissões de membros do tenant.

  • Esse recurso opera no nível do tenant. O mapeamento configurado tem validade dentro do escopo do tenant.

  • Apenas usuários com a política AliyunDataWorksAccessingEMRReadOnlyPolicy vinculada podem configurar o mapeamento de prioridade. Para mais detalhes, consulte Gerenciar permissões de usuários RAM.

• Grupos de recursos

  Grupos de recursos exclusivos para agendamento adquiridos antes de 31 de agosto de 2023 não suportam este recurso. Caso o grupo de recursos exclusivo usado para executar o nó EMR tenha sido comprado antes dessa data, entre em contato com a equipe técnica do DataWorks para atualizá-lo e habilitar a funcionalidade. Sem essa atualização, o mapeamento configurado não entrará em vigor e o sistema utilizará a prioridade da fila YARN definida no próprio nó EMR.

Ponto de entrada para configurar o mapeamento de prioridade

1. Faça login no console DataWorks. Na região desejada, clique em Data Development and O&M > Operation Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.

2. No painel de navegação à esquerda, clique em Smart Baseline.

Lógica de configuração do mapeamento de prioridade

Configure o mapeamento de prioridade na aba Baseline Priority Mapping da página Smart Baseline.

Selecione o cluster e a fila YARN adequados para executar o nó EMR conforme suas necessidades de negócio e estabeleça o mapeamento de prioridade entre a linha de base do nó e a fila YARN. Lógica de configuração:

• A prioridade configurada para a fila YARN não pode ultrapassar a prioridade máxima definida no cluster EMR.

• Valores numéricos maiores indicam maior prioridade na fila YARN. O sistema aloca recursos preferencialmente para agendar o nó executado na fila com prioridade mais alta.

• A prioridade da fila YARN associada a uma linha de base de baixa prioridade não pode ser superior à de uma linha de base de alta prioridade.

Para mais detalhes sobre configurações do YARN, consulte Visão geral.