:Configure um mapeamento de prioridade entre uma linha de base e uma fila YARN

Informações básicas

O YARN é um sistema de gerenciamento de recursos distribuídos usado para gerenciar e agendar recursos em um cluster EMR e alocar recursos para vários tipos de jobs executados no YARN. No YARN, as prioridades das filas determinam os jobs que recebem alocação preferencial de recursos. Jobs com alta prioridade são agendados para execução preferencialmente. Para mais informações sobre o YARN, consulte Overview.

No DataWorks, use um dos seguintes métodos para configurar as filas YARN usadas no agendamento de nós:

• Método 1: Configurar uma fila YARN global. Configure uma fila YARN para ser usada por um service do DataWorks na execução de nós EMR na página Workspace, no nível do workspace. Para mais informações, consulte Operação subsequente: Especifique filas YARN.

• Método 2: Configurar uma fila YARN para um único nó. Configure uma fila YARN para um nó EMR específico e defina a prioridade dessa fila na guia de configuração do nó. Para mais informações, consulte Crie um nó EMR Hive, Crie um nó EMR Spark ou Crie um nó EMR Spark SQL.

Se o recurso Global Settings Take Precedence estiver ativado para o workspace do nó EMR desejado, a fila YARN configurada no nível do workspace será usada preferencialmente para agendar o nó. Caso contrário, a fila YARN configurada especificamente para o nó EMR será utilizada.

As prioridades finais das filas YARN usadas para agendar nós EMR seguem os seguintes princípios:

• Quando a linha de base de um nó EMR está ativada e há um mapeamento de prioridade configurado entre ela e uma fila YARN, a prioridade final da fila usada para agendar o nó é determinada por esse mapeamento.

  Nota

  Na guia de configuração de um nó EMR, defina o parâmetro ENABLE_TASK_PRIORITY como true. Isso garante que a prioridade da fila YARN configurada para uma tarefa no nó tenha precedência sobre o mapeamento de prioridade entre a linha de base e a fila YARN durante o agendamento do nó.

• Se não houver mapeamento de prioridade configurado entre a linha de base do nó EMR e uma fila YARN, a prioridade da fila YARN configurada para o nó será usada.

Pré-requisitos

Crie um nó EMR e especifique a prioridade da fila YARN configurada para ele. Para mais informações, consulte Crie um nó EMR Hive, Crie um nó EMR Spark ou Crie um nó EMR Spark SQL.

Limites

Observe os seguintes limites ao configurar um mapeamento de prioridade entre uma linha de base e uma fila YARN:

• Recurso

  • Este recurso está disponível apenas para nós EMR Hive, EMR Spark e EMR Spark SQL.

  • Configure a prioridade mais alta de uma fila YARN no cluster EMR antes de configurar o mapeamento de prioridade entre uma linha de base e a fila YARN.

  • Acesse o EMR console para modificar a prioridade da fila YARN. Após a modificação, reinicie o service do YARN. A nova prioridade entra em vigor apenas para a fila YARN especificada.

  Nota

  Para mais informações sobre como configurar a prioridade de uma fila YARN, consulte Configure um cluster EMR DataLake.

• Permissões

  • Apenas um tenant administrator pode configurar um mapeamento de prioridade. Para configurar esse mapeamento com uma conta de membro, atribua a função de tenant administrator à conta. Para mais informações, consulte Gerencie permissões em membros do tenant.

  • Este recurso está disponível no nível do tenant. O mapeamento configurado entra em vigor em todo o tenant.

  • Apenas usuários com a política AliyunDataWorksAccessingEMRReadOnlyPolicy anexada podem configurar um mapeamento de prioridade. Para mais informações, consulte Gerencie permissões de usuário RAM.

• Grupos de recursos

  Grupos de recursos exclusivos para agendamento comprados antes de 31 de agosto de 2023 não suportam este recurso. Se o grupo de recursos exclusivo usado para executar um nó EMR foi comprado antes dessa data, entre em contato com a equipe técnica do DataWorks para atualizá-lo e habilitar o recurso. Sem a atualização, o mapeamento configurado não entrará em vigor e a prioridade da fila YARN configurada para o nó EMR será usada.

Ponto de entrada para a configuração de mapeamento de prioridade

1. Acesse o DataWorks console. Na região de destino, clique em Data Development and O&M > Operation Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.

2. No painel de navegação à esquerda, clique em Smart Baseline.

Lógica de configuração do mapeamento de prioridade

Configure um mapeamento de prioridade na guia Baseline Priority Mapping, na página Smart Baseline.

Selecione um cluster e uma fila YARN para executar um nó EMR de acordo com seus requisitos de negócios e configure o mapeamento de prioridade entre a linha de base do nó e a fila YARN. Lógica de configuração:

• A prioridade da fila YARN configurada não pode exceder a prioridade mais alta das filas YARN no cluster EMR.

• Um número maior indica uma prioridade mais alta para a fila YARN. O sistema aloca recursos preferencialmente para agendar o nó executado na fila com maior prioridade.

• A prioridade da fila YARN mapeada para uma prioridade de linha de base baixa não pode ser superior à prioridade mapeada para uma linha de base alta.

Para mais informações sobre as configurações do YARN, consulte Overview.