Todos os produtos
Search

Este produto

    E-MapReduce:Gerencie partições do YARN no console

    Central de documentação

    E-MapReduce:Gerencie partições do YARN no console

    Última atualização: Aug 20, 2026

    O EMR oferece uma interface visual no console para gerenciar partições do YARN. Mapeie grupos de nós para partições em lote e defina as propriedades da partição diretamente no grupo de nós. Após um evento de scale-out ou Auto Scaling, o EMR aplica automaticamente um rótulo de nó aos novos nós, eliminando a reconfiguração manual. Este tópico descreve como gerenciar partições do YARN no console do EMR.

    Contexto

    Este recurso é adequado para os seguintes cenários:

    • Clusters heterogêneos

      Clusters frequentemente são heterogêneos e compostos por diferentes tipos de máquinas. Por exemplo, um cluster pode conter uma combinação de máquinas otimizadas para computação, memória e armazenamento.

    • Vários frameworks de computação compartilhando recursos do cluster

      Um job em lote que consome muitos recursos, como uma aplicação Flink, pode utilizar excessivamente a rede ou a CPU e prejudicar cargas de trabalho quase em tempo real no mesmo cluster.

    • Recursos garantidos para jobs críticos

      Para evitar a execução de jobs críticos em nós elásticos, configure uma partição dedicada com apenas nós não elásticos e atribua os jobs a ela. Isso impede que eventos de scale-in atrasem jobs críticos.

    O gerenciamento de partições do YARN permite dividir os nós em partições com base em características como funções e capacidades de processamento. Isso assegura a execução dos jobs em nós específicos e possibilita um melhor agendamento de recursos em clusters com tipos mistos de máquinas ou aplicações diversas.

    Pré-requisitos

    O cluster deve estar no status Running. Para mais informações sobre como criar um cluster, consulte Crie um cluster.

    Limitações

    • Recurso disponível nas versões EMR V5.11.1 ou posterior e EMR V3.45.1 ou posterior.

    • O cluster precisa estar no status Running.

    • O agendador do YARN deve utilizar o capacity scheduler.

    Observações

    • Após adicionar ou editar uma partição, clique em Deploy. Execute essa operação fora dos horários de pico.

    • Caso o agendador do YARN seja alterado para fair scheduler, desative a chave Node Labels.

    Adicione uma partição

    1. Acesse a página de configuração do service YARN.

      1. Faça login no console do E-MapReduce.

      2. Na barra de navegação superior, selecione uma região e grupo de recursos.

      3. Na página EMR on ECS, localize o cluster desejado e clique em Services na coluna Actions.

      4. Na página Services, clique em Configure na seção YARN.

    2. Clique na aba Partitions.

    3. Clique em Add Partition. Na caixa de diálogo Add Partition, configure os parâmetros.

      Parâmetro

      Descrição

      Partition Name

      Nome da partição.

      O nome deve ter entre 1 e 255 caracteres e conter apenas letras, dígitos, hifens (-) e sublinhados (_).

      Nota

      • É permitido criar uma partição chamada DEFAULT.

      • O nome da partição não pode começar com hífen (-) ou sublinhado (_).

      Partition Type

      • Exclusive (Padrão): Permite agendar nos nós apenas containers que solicitam explicitamente esta partição.

      • Non Exclusive: Compartilha recursos ociosos com containers que solicitam a partição DEFAULT.

      Associated Node Groups

      Selecione os grupos de nós para associar à partição. Cada grupo de nós pode ser associado a apenas uma partição, mas é possível modificar essa associação posteriormente.

    4. Clique em OK.

    5. Clique em Deploy.

      Após o sistema aplicar a atualização de configuração, a nova partição aparecerá na UI do YARN.

      Por padrão, as alterações entram em vigor após 10 minutos. Para acelerar a efetivação das mudanças, adicione os itens de configuração yarn.nodemanager.node-labels.resync-interval-ms e yarn.nodemanager.node-labels.provider.fetch-interval-ms ao arquivo yarn-site.xml na aba Configure. Em seguida, acesse a aba Status e reinicie manualmente o componente NodeManager.

    Edite uma partição

    1. Na aba Partitions do service YARN no console do EMR, localize a partição a modificar e clique em Edit na coluna Actions.

    2. Na caixa de diálogo Edit Partition, modifique apenas os grupos de nós associados.

    3. Clique em OK.

    4. Clique em Deploy para aplicar as alterações.

    Exclua uma partição

    1. Na aba Partitions do service YARN no console do EMR, localize a partição a excluir e clique em Delete na coluna Actions.

    2. Na caixa de diálogo de confirmação exibida, clique em OK.

    3. Clique em Deploy para aplicar a alteração.

      Nota

      • Excluir uma partição desassocia os grupos de nós vinculados a ela.

      • Se a partição estiver vinculada a uma fila, acesse a aba Edit Resource Queue e desative a chave Partition-queue Association Management antes de excluir a partição.

    Visualize a lista de partições

    Na aba Partitions do service YARN, visualize informações como nomes das partições, filas acessíveis, grupos de nós, tipos de partição e total de recursos.

    Desative o gerenciamento de partições

    Para alternar do capacity scheduler para o fair scheduler, desative a chave Node Labels na aba Partitions do service YARN. Em seguida, clique no ícone de notificação image.png acima da aba Edit Resource Queue. No painel Configurations to Take Effect, selecione todos os itens de configuração e clique em batch para aplicar as alterações e desativar o gerenciamento de partições.

    Remova a aba Partitions

    Para gerenciar partições com scripts personalizados e impedir a validação pelo console do EMR, acesse a aba Configure do service YARN e altere o parâmetro node_labels_managed_by_emr em yarn-operator-conf para false. Após atualizar a página, a aba Partitions fica oculta e o sistema deixa de validar o arquivo node-labels.xml. Para mais informações sobre como configurar Node Labels, consulte Use the Node Labels feature.