E-MapReduce:Uso de rótulos de nó

Contexto

Os rótulos de nó do YARN particionam os nós do YARN NodeManager. Como um nó pode ser atribuído a apenas um rótulo de nó, você pode usar os rótulos de nó para dividir um cluster YARN em conjuntos disjuntos de nós. Por padrão, os nós pertencem à partição DEFAULT (partition="", uma string vazia).

O Capacity Scheduler é o único agendador que oferece suporte ao agendamento baseado em partições com rótulos de nó. Configure o agendador ou use o parâmetro node-label-expression do mecanismo de computação para atribuir os contêineres de uma fila às partições acessíveis.

Para obter mais informações sobre os rótulos de nó, consulte YARN Node Labels.

Limitações

• Este tópico se aplica às versões do EMR anteriores ao EMR-5.11.1 e EMR-3.45.1, desde que o parâmetro yarn.node-labels.configuration-type no arquivo yarn-site.xml esteja definido como centralized.

• As versões do EMR 5.11.1 e posteriores, bem como 3.45.1 e posteriores, oferecem suporte ao gerenciamento de partições do YARN no console do EMR. Para obter mais informações, consulte Manage YARN partitions in the EMR console.

Procedimento

Ative os rótulos de nó no console

Adicione rótulos de nó e mapeie nós usando comandos

Para atribuir partições automaticamente aos nós do NodeManager em um grupo de nós elásticos durante o dimensionamento, adicione o comando replaceLabelsOnNode a um script de bootstrap para esse grupo de nós após a criação das partições. O script é executado após a inicialização dos componentes do nó.

# Run commands as the default YARN administrator: hadoop
sudo su - hadoop
# Add partitions
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# List the YARN nodes
yarn node -list
# Map specific nodes to a partition
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

Configure as partições de fila

Para usar o Capacity Scheduler, certifique-se de que a propriedade yarn.resourcemanager.scheduler.class no arquivo yarn-site.xml esteja definida como org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.

No arquivo capacity-scheduler.xml, use as propriedades a seguir para configurar as partições acessíveis e a capacidade de uma fila. Substitua <queue-path> pelo caminho da fila e <label> pelo nome da partição. Para a partição DEFAULT, você pode usar as propriedades regulares capacity ou maximum-capacity.

• Para que uma fila especificada tenha uma capacidade de recursos real maior que 0, configure a capacidade para a mesma partição em todas as suas filas ancestrais. Isso ocorre porque o valor padrão do parâmetro yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity é 0. Portanto, configure yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity=100 para que suas filas filhas possam ter uma capacidade diferente de zero na partição. (Teoricamente, qualquer valor maior que 0 é suficiente, mas configurar um valor menor que 100 reduz a capacidade real calculada para as filas filhas e tem pouca utilidade). Se a configuração de capacidade para uma fila ancestral estiver ausente e o padrão for 0, a capacidade real calculada para a fila de destino nesta partição também será 0.

• Após definir yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity com um valor maior que 0, a mesma regra se aplica à propriedade regular yarn.scheduler.capacity.<queue-path>.capacity: a soma dos valores de capacity para a mesma partição em todas as filas filhas diretas deve ser 100.

  Exemplo de configuração:

  <configuration>
    <!-- Add node label properties in XML -->
    <property>
      <!-- Allow the default queue to access the DEMO partition (required) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
      <value>DEMO</value>
    </property>
    <property>
      <!-- Set the DEMO partition capacity on all ancestor queues of the default queue (required) -->
      <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Set the DEMO partition capacity for the default queue (required) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Optional: set the maximum capacity for the default queue in the DEMO partition. The default is 100. -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Optional: set the default partition for container requests of jobs submitted to the default queue. The default is the DEFAULT partition "" -->
      <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
      <value>DEMO</value>
    </property>
  <configuration>
                          

Perguntas frequentes

Armazenamento de dados de rótulos de nó em clusters HA

Especificação da porta do NodeManager

Em um cluster EMR, cada nó executa no máximo um processo do NodeManager, portanto, especificar uma porta é desnecessário. Caso especifique uma porta incorreta ou aleatória, o comando replaceLabelsOnNode falhará ao mapear o nó para a partição. Execute yarn node -list -showDetails para visualizar a partição atual de um nó.

Casos de uso para rótulos de nó

Na maioria dos casos, os rótulos de nó são desnecessários em um cluster EMR. Muitas métricas no Hadoop YARN de código aberto não consideram as partições e relatam apenas o status da partição DEFAULT, o que aumenta a complexidade operacional. O agendamento baseado em partições também pode reduzir a utilização geral de recursos e levar ao desperdício. Os casos de uso típicos incluem o isolamento de jobs em lote e jobs de streaming por partição, a fixação de jobs críticos em nós não elásticos e a acomodação de diferentes tipos de instância em partições separadas para evitar o desequilíbrio de recursos.

Documentação relacionada

Gerencie os nós do cluster por partição; para isso, consulte Use node labels to partition nodes.