E-MapReduce:Gunakan label node

Latar Belakang

Label node YARN mempartisi node NodeManager YARN. Karena satu node hanya dapat ditetapkan ke satu label node, Anda dapat menggunakan label node untuk membagi kluster YARN menjadi himpunan node yang saling terpisah. Secara default, node termasuk dalam partisi DEFAULT (partition="", string kosong).

Capacity Scheduler adalah satu-satunya penjadwal yang mendukung penjadwalan berbasis partisi dengan label node. Anda dapat mengonfigurasi penjadwal tersebut atau menggunakan parameter node-label-expression pada compute engine untuk menetapkan kontainer antrean ke partisi yang dapat diakses.

Untuk informasi lebih lanjut tentang label node, lihat YARN Node Labels.

Batasan

• Topik ini berlaku untuk versi EMR sebelum EMR-5.11.1 dan EMR-3.45.1, asalkan parameter yarn.node-labels.configuration-type dalam file yarn-site.xml Anda diatur ke centralized.

• Versi EMR 5.11.1 ke atas dan 3.45.1 ke atas mendukung pengelolaan partisi YARN melalui Konsol EMR. Untuk informasi lebih lanjut, lihat Kelola partisi YARN di Konsol EMR.

Prosedur

Aktifkan label node di konsol

Tambahkan label node dan petakan node menggunakan perintah

Untuk secara otomatis menetapkan partisi ke node NodeManager dalam grup node elastis selama scale-out, tambahkan perintah replaceLabelsOnNode ke skrip bootstrap untuk grup node tersebut setelah Anda membuat partisi. Skrip tersebut dijalankan setelah komponen node dimulai.

# Jalankan perintah sebagai administrator YARN default: hadoop
sudo su - hadoop
# Tambahkan partisi
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# Daftar node YARN
yarn node -list
# Petakan node tertentu ke partisi
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

Konfigurasi partisi antrean

Untuk menggunakan Capacity Scheduler, pastikan properti yarn.resourcemanager.scheduler.class dalam file yarn-site.xml diatur ke org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.

Dalam file capacity-scheduler.xml, gunakan properti berikut untuk mengonfigurasi partisi yang dapat diakses oleh antrean dan kapasitasnya. Ganti <queue-path> dengan path antrean dan <label> dengan nama partisi. Untuk partisi DEFAULT, Anda dapat menggunakan properti capacity atau maximum-capacity biasa.

• Agar antrean tertentu memiliki kapasitas resource aktual lebih besar dari 0, Anda harus mengonfigurasi kapasitas untuk partisi yang sama pada semua antrean leluhurnya. Hal ini karena nilai default parameter yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity adalah 0. Oleh karena itu, Anda harus mengonfigurasi yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity=100 agar antrean anaknya dapat memiliki kapasitas non-nol pada partisi tersebut. (Secara teoretis, nilai apa pun yang lebih besar dari 0 sudah cukup, tetapi mengonfigurasi nilai kurang dari 100 mengurangi kapasitas aktual yang dihitung untuk antrean anak dan tidak banyak berguna). Jika konfigurasi kapasitas untuk antrean leluhur tidak ada dan default-nya 0, maka kapasitas aktual yang dihitung untuk antrean target pada partisi ini juga akan menjadi 0.

• Setelah yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity diatur ke nilai lebih besar dari 0, aturan yang sama berlaku seperti pada properti yarn.scheduler.capacity.<queue-path>.capacity biasa: jumlah nilai capacity untuk partisi yang sama di semua antrean anak langsung harus 100.

  Contoh konfigurasi:

  <configuration>
    <!-- Tambahkan properti label node dalam XML -->
    <property>
      <!-- Izinkan antrean default mengakses partisi DEMO (wajib) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
      <value>DEMO</value>
    </property>
    <property>
      <!-- Tetapkan kapasitas partisi DEMO pada semua antrean leluhur antrean default (wajib) -->
      <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Tetapkan kapasitas partisi DEMO untuk antrean default (wajib) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Opsional: tetapkan kapasitas maksimum untuk antrean default di partisi DEMO. Default-nya adalah 100. -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- Opsional: tetapkan partisi default untuk permintaan kontainer pekerjaan yang dikirimkan ke antrean default. Default-nya adalah partisi DEFAULT "" -->
      <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
      <value>DEMO</value>
    </property>
  <configuration>
                          

FAQ

Penyimpanan data label node di kluster HA

Menentukan port NodeManager

Di kluster EMR, setiap node menjalankan paling banyak satu proses NodeManager, sehingga menentukan port tidak diperlukan. Jika Anda menentukan port yang salah atau acak, perintah replaceLabelsOnNode akan gagal memetakan node ke partisi. Anda dapat menjalankan yarn node -list -showDetails untuk melihat partisi saat ini dari suatu node.

Kasus penggunaan label node

Dalam kebanyakan kasus, label node tidak diperlukan di kluster EMR. Banyak metrik di YARN Hadoop open-source tidak memperhitungkan partisi dan hanya melaporkan status untuk partisi DEFAULT, yang meningkatkan kompleksitas operasional. Penjadwalan berbasis partisi juga dapat mengurangi pemanfaatan resource secara keseluruhan dan menyebabkan pemborosan resource. Kasus penggunaan khas meliputi mengisolasi pekerjaan batch dan pekerjaan streaming berdasarkan partisi, menempelkan pekerjaan kritis ke node non-elastis, serta menampung tipe instans berbeda pada partisi terpisah untuk mencegah ketidakseimbangan resource.

Dokumentasi terkait

Untuk mengelola node kluster berdasarkan partisi, lihat Gunakan label node untuk mempartisi node.