E-MapReduce:Düğüm etiketlerini kullanın

Arka plan

YARN düğüm etiketleri, YARN NodeManager düğümlerini bölümlere ayırır. Bir düğüm yalnızca tek bir düğüm etiketine atanabildiğinden, düğüm etiketlerini kullanarak bir YARN kümesini birbirinden ayrı düğüm kümelerine bölebilirsiniz. Varsayılan olarak, düğümler DEFAULT bölümüne (partition="", boş bir dize) aittir.

Bölüm tabanlı zamanlamayı düğüm etiketleriyle destekleyen tek zamanlayıcı Capacity Scheduler'dır. Zamanlayıcıyı yapılandırarak veya bir hesaplama motorunun node-label-expression parametresini kullanarak bir kuyruğun konteynerlerini erişilebilir bölümlere atayabilirsiniz.

Düğüm etiketleri hakkında daha fazla bilgi için bkz. YARN Node Labels.

Sınırlamalar

• Bu konu, yarn-site.xml dosyanızdaki yarn.node-labels.configuration-type parametresi centralized olarak ayarlandığı sürece EMR-5.11.1 ve EMR-3.45.1 öncesi EMR sürümleri için geçerlidir.

• EMR 5.11.1 ve sonraki sürümleri ile 3.45.1 ve sonraki sürümleri, EMR konsolunda YARN bölümlerinin yönetilmesini destekler. Daha fazla bilgi için bkz. Manage YARN partitions in the EMR console.

Yordam

Konsolda düğüm etiketlerini etkinleştirin

Komutlarla düğüm etiketleri ekleyin ve düğümleri eşleyin

Ölçeklendirme sırasında esnek düğüm grubundaki NodeManager düğümlerine bölümlerin otomatik olarak atanmasını sağlamak için, bölümleri oluşturduktan sonra ilgili düğüm grubunun önyükleme betiğine replaceLabelsOnNode komutunu ekleyin. Betik, düğüm bileşenleri başladıktan sonra çalışır.

# Run commands as the default YARN administrator: hadoop
sudo su - hadoop
# Add partitions
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# List the YARN nodes
yarn node -list
# Map specific nodes to a partition
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

Kuyruk bölümlerini yapılandırın

Capacity Scheduler'ı kullanmak için, yarn-site.xml dosyasındaki yarn.resourcemanager.scheduler.class özelliğinin org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler olarak ayarlandığından emin olun.

capacity-scheduler.xml dosyasında, bir kuyruğun erişilebilir bölümlerini ve kapasitesini yapılandırmak için aşağıdaki özellikleri kullanın. <queue-path> ifadesini kuyruk yoluyla, <label> ifadesini ise bölüm adıyla değiştirin. DEFAULT bölümü için normal capacity veya maximum-capacity özelliklerini kullanabilirsiniz.

• Belirtilen bir kuyruğun gerçek kaynak kapasitesinin 0'dan büyük olması için, aynı bölümün kapasitesini tüm üst kuyruklarda da yapılandırmanız gerekir. Bunun nedeni, yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity parametresinin varsayılan değerinin 0 olmasıdır. Bu nedenle, alt kuyrukların bölüm üzerinde sıfırdan farklı bir kapasiteye sahip olabilmesi için yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity=100 şeklinde bir yapılandırma yapmalısınız. (Teorik olarak 0'dan büyük herhangi bir değer yeterlidir, ancak 100'den küçük bir değer yapılandırmak, alt kuyruklar için hesaplanan gerçek kapasiteyi azaltır ve çok fazla fayda sağlamaz). Bir üst kuyruk için kapasite yapılandırması eksikse ve varsayılan değer 0 ise, hedef kuyruğun bu bölümdeki hesaplanan gerçek kapasitesi de 0 olacaktır.

• yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity değeri 0'dan büyük bir değere ayarlandıktan sonra, normal yarn.scheduler.capacity.<queue-path>.capacity özelliğinde olduğu gibi aynı kural geçerlidir: aynı bölüm için tüm doğrudan alt kuyruklardaki capacity değerlerinin toplamı 100 olmalıdır.

  Örnek yapılandırma:

  <configuration>
    <!-- Add node label properties in XML -->
    <property>
      <!-- Allow the default queue to access the DEMO partition (required) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
      <value>DEMO</value>
    </property>
    <property>
      <!-- Set the DEMO partition capacity on all ancestor queues of the default queue (required) -->
      <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Set the DEMO partition capacity for the default queue (required) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Optional: set the maximum capacity for the default queue in the DEMO partition. The default is 100. -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Optional: set the default partition for container requests of jobs submitted to the default queue. The default is the DEFAULT partition "" -->
      <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
      <value>DEMO</value>
    </property>
  <configuration>
                          

SSS

HA kümelerinde düğüm etiketi verilerinin depolanması

NodeManager bağlantı noktasının belirtilmesi

Bir EMR kümesinde her düğümde en fazla bir NodeManager işlemi çalıştığından, bir bağlantı noktası belirtmek gerekli değildir. Yanlış veya rastgele bir bağlantı noktası belirtirseniz, replaceLabelsOnNode komutu düğümü bölüme eşleyemez. Bir düğümün mevcut bölümünü görüntülemek için yarn node -list -showDetails komutunu çalıştırabilirsiniz.

Düğüm etiketlerinin kullanım alanları

Çoğu durumda, bir EMR kümesinde düğüm etiketlerine gerek yoktur. Açık kaynaklı Hadoop YARN'deki birçok ölçüm bölümleri hesaba katmaz ve yalnızca DEFAULT bölümü için durum bildirir; bu durum operasyonel karmaşıklığı artırır. Bölüm tabanlı zamanlama ayrıca genel kaynak kullanımını azaltabilir ve kaynak israfına yol açabilir. Tipik kullanım alanları arasında toplu işler ile akış işlerinin bölümlerle ayrıştırılması, kritik işlerin esnek olmayan düğümlere sabitlenmesi ve kaynak dengesizliğini önlemek için farklı örnek türlerinin ayrı bölümlerde barındırılması yer alır.

İlgili belgeler

Küme düğümlerini bölümlere göre yönetmek için bkz. Use node labels to partition nodes.