E-MapReduce:Penjadwal YARN

Mode penjadwalan

MainScheduler pada Capacity Scheduler mendukung tiga mode pemicu:

Penjadwalan global memerlukan semua konfigurasi penjadwalan asinkron selain pengaturannya sendiri. Lihat Penjadwalan global untuk detailnya.

Arsitektur (penjadwalan global)

Gambar berikut menunjukkan arsitektur penjadwalan global berdasarkan YARN 3.2 atau versi lebih baru.

MainScheduler berjalan sebagai framework multi-threaded asinkron:

• Thread alokasi mengidentifikasi permintaan sumber daya dengan prioritas tertinggi, memilih node kandidat berdasarkan ukuran sumber daya dan batasan penempatan, menghasilkan proposal alokasi, lalu menempatkannya dalam antrean sementara.

• Thread pengiriman mengambil proposal alokasi, memeriksa ulang batasan penempatan dan persyaratan aplikasi/node, lalu melakukan commit atau membuang setiap proposal serta memperbarui status penjadwal.

ReScheduler berjalan secara periodik sebagai framework pemantauan sumber daya dinamis. Komponen ini menerapkan kebijakan preemption antar-antrian, intra-antrian, dan preemption sumber daya yang dicadangkan.

Node Sorting Manager dan Placement Constraint Manager adalah plugin penjadwalan global untuk MainScheduler. Keduanya menangani load balancing dan manajemen batasan penempatan kompleks.

Proses alokasi Kontainer

Gambar berikut menunjukkan proses penjadwalan global Capacity Scheduler.

MainScheduler mengalokasikan kontainer dalam enam langkah:

1. Pilih partisi (label node). Kluster dapat memiliki satu atau lebih partisi. MainScheduler mengalokasikan kontainer ke partisi secara bergiliran.

2. Pilih antrian leaf. Dengan menelusuri dari antrian root ke bawah, antrian anak di setiap level dikunjungi dalam urutan naik berdasarkan persentase sumber daya terjamin mereka. Antrian dengan utilisasi lebih rendah (ditampilkan hijau pada gambar di atas) menerima sumber daya sebelum antrian dengan utilisasi lebih tinggi (ditampilkan merah).

3. Pilih aplikasi. Di dalam suatu antrian, MainScheduler memilih aplikasi berdasarkan kebijakan pengurutan antrian tersebut:

   • Kebijakan fair: urutan naik berdasarkan sumber daya memori yang dialokasikan

   • Kebijakan FIFO: urutan turun berdasarkan prioritas, lalu urutan naik berdasarkan ID aplikasi

4. Pilih permintaan. MainScheduler memilih permintaan dalam aplikasi yang dipilih berdasarkan prioritas.

5. Pilih node kandidat yang telah diurutkan. MainScheduler mencari semua node yang telah diurutkan untuk menemukan kandidat yang memenuhi persyaratan sumber daya dan batasan penempatan permintaan tersebut.

6. Alokasikan sebuah kontainer. Untuk setiap node kandidat, MainScheduler memeriksa sumber daya yang dialokasikan, sedang digunakan, dan belum dikonfirmasi milik antrian dan node tersebut. Jika pemeriksaan lolos, sistem menghasilkan proposal alokasi dan menempatkannya dalam antrean proposal.

Setelah alokasi, thread pengiriman memverifikasi setiap proposal terhadap persyaratan aplikasi, node, dan batasan penempatan. Proposal yang gagal diverifikasi akan dibuang; proposal yang disetujui diterapkan dan memperbarui akuntansi sumber daya untuk aplikasi dan node tersebut.

Preemption

ReScheduler memantau sumber daya kluster dan memicu preemption ketika total sumber daya tersedia turun di bawah ambang batas tertentu dan aplikasi tertentu kekurangan sumber daya.

Konfigurasi global

Konfigurasikan pengaturan berikut di yarn-site.xml dan capacity-scheduler.xml.

Konfigurasi heartbeat node

Penjadwalan asinkron

Penjadwalan global

Penjadwalan global memerlukan semua konfigurasi penjadwalan asinkron yang tercantum dalam tabel sebelumnya.

Konfigurasi partisi node

Untuk konfigurasi partisi node (label node), lihat Label Node.

Konfigurasi antrian

Konfigurasi dasar antrian

Konfigurasi dasar antrian menentukan hierarki antrian, kapasitas terjamin, dan kapasitas maksimum. Contoh berikut menunjukkan antrian root dengan empat antrian anak yang dibagikan di antara departemen organisasi.

Struktur antrian contoh:

Antrian	Sumber daya terjamin	Sumber daya maksimum	Antrian anak
root	100%	100%	dev, test, support, default
root.dev	50%	100%	training, services
root.dev.training	40% dari dev	100% pengembangan	—
root.dev.services	60% dari dev	100% dari dev	—
root.test	30%	50%	—
root.support	10%	30%	—
root.default	10%	100%	—

Contoh capacity-scheduler.xml berikut mengonfigurasi struktur ini. Salin dan sesuaikan agar sesuai dengan tata letak antrian organisasi Anda.

<configuration>
  <!-- Antrian anak level root -->
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>dev,test,support,default</value>
  </property>

  <!-- Antrian dev: 50% terjamin, 100% maks -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.capacity</name>
    <value>50</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
    <value>100</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.queues</name>
    <value>training,services</value>
  </property>

  <!-- dev.training: 40% dari dev terjamin, 100% dari dev maks -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.training.capacity</name>
    <value>40</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.training.maximum-capacity</name>
    <value>100</value>
  </property>

  <!-- dev.services: 60% dari dev terjamin, 100% dari dev maks -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.services.capacity</name>
    <value>60</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.services.maximum-capacity</name>
    <value>100</value>
  </property>

  <!-- Antrian test: 30% terjamin, 50% maks -->
  <property>
    <name>yarn.scheduler.capacity.root.test.capacity</name>
    <value>30</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.test.maximum-capacity</name>
    <value>50</value>
  </property>

  <!-- Antrian support: 10% terjamin, 30% maks -->
  <property>
    <name>yarn.scheduler.capacity.root.support.capacity</name>
    <value>10</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.support.maximum-capacity</name>
    <value>30</value>
  </property>

  <!-- Antrian default: 10% terjamin, 100% maks -->
  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>10</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>100</value>
  </property>
</configuration>

Di halaman Application Queues YARN ResourceManager, Anda dapat memverifikasi bahwa konfigurasi antrian telah diterapkan. Pohon hierarki antrian menampilkan antrian berikut di bawah root: default, test, support, dev, dan di bawah dev terdapat sub-antrian training dan services. Perluas antrian dev.services untuk melihat detail status berjalannya:

• Status Antrian: RUNNING

• Kapasitas Efektif: memory:7864, vCores:4 (60,0%)

• Kapasitas Maks Efektif: memory:26214, vCores:16 (100,0%)

• Kapasitas Terkonfigurasi Absolut: 30,0%

• Maks Aplikasi: 3000

• Kebijakan Pengurutan: FifoOrderingPolicy

• Preemption: disabled

Tabel berikut menjelaskan parameter capacity-scheduler.xml untuk struktur ini.

File konfigurasi	Item konfigurasi	Nilai contoh	Deskripsi
capacity-scheduler.xml	yarn.scheduler.capacity.root.queues	dev,test,support,default	Antrian anak dari antrian root. Pisahkan beberapa antrian dengan koma.
	yarn.scheduler.capacity.root.dev.capacity	50	Persentase sumber daya terjamin untuk antrian dev relatif terhadap total sumber daya kluster.
	yarn.scheduler.capacity.root.dev.maximum-capacity	100	Persentase sumber daya maksimum untuk antrian dev relatif terhadap total sumber daya kluster.
	yarn.scheduler.capacity.root.dev.queues	training,services	Antrian anak dari antrian dev.
	yarn.scheduler.capacity.root.dev.training.capacity	40	Persentase sumber daya terjamin untuk training relatif terhadap sumber daya terjamin dev.
	yarn.scheduler.capacity.root.dev.training.maximum-capacity	100	Persentase sumber daya maksimum untuk training relatif terhadap sumber daya maksimum dev.
	yarn.scheduler.capacity.root.dev.services.capacity	60	Persentase sumber daya terjamin untuk services relatif terhadap sumber daya terjamin dev.
	yarn.scheduler.capacity.root.dev.services.maximum-capacity	100	Persentase sumber daya maksimum untuk services relatif terhadap sumber daya maksimum dev.
	yarn.scheduler.capacity.root.test.capacity	30	Persentase sumber daya terjamin untuk test relatif terhadap total sumber daya kluster.
	yarn.scheduler.capacity.root.test.maximum-capacity	50	Persentase sumber daya maksimum untuk test relatif terhadap total sumber daya kluster.
	yarn.scheduler.capacity.root.support.capacity	10	Persentase sumber daya terjamin untuk support relatif terhadap total sumber daya kluster.
	yarn.scheduler.capacity.root.support.maximum-capacity	30	Persentase sumber daya maksimum untuk support relatif terhadap total sumber daya kluster.
	yarn.scheduler.capacity.root.default.capacity	10	Persentase sumber daya terjamin untuk default relatif terhadap total sumber daya kluster.
	yarn.scheduler.capacity.root.default.maximum-capacity	100	Persentase sumber daya maksimum untuk default relatif terhadap total sumber daya kluster.

Konfigurasi preemption

Preemption memastikan distribusi sumber daya yang adil di antara penyewa dan menghormati prioritas aplikasi. Aktifkan untuk kluster dengan persyaratan penjadwalan ketat. Preemption memerlukan YARN V2.8.0 atau versi lebih baru.

Kelola konfigurasi antrian dengan RESTful API

Mulai dari YARN V3.2.0, Anda dapat menggunakan RESTful API untuk menerapkan pembaruan konfigurasi inkremental dan melihat semua pengaturan aktif saat ini di capacity-scheduler.xml. Versi sebelumnya hanya mendukung pembaruan penuh melalui operasi RefreshQueues, tanpa cara untuk memeriksa konfigurasi aktif.

Untuk mengaktifkan manajemen antrian RESTful API, tambahkan pengaturan berikut ke yarn-site.xml:

Lihat konfigurasi aktif:

• RESTful API: http://<rm-address>/ws/v1/cluster/scheduler-conf

• HDFS: ${yarn.scheduler.configuration.fs.path}/capacity-scheduler.xml.<timestamp> — file dengan timestamp terbesar adalah versi terbaru.

Perbarui konfigurasi secara inkremental:

Contoh berikut mengubah yarn.scheduler.capacity.maximum-am-resource-percent menjadi 0,2 dan menghapus parameter yarn.scheduler.capacity.xxx. Untuk menghapus parameter, hilangkan field value.

curl -X PUT -H "Content-type: application/json" 'http://<rm-address>/ws/v1/cluster/scheduler-conf' -d '
{
  "global-updates": [
    {
      "entry": [{
        "key": "yarn.scheduler.capacity.maximum-am-resource-percent",
        "value": "0.2"
      },{
        "key": "yarn.scheduler.capacity.xxx"
      }]
    }
  ]
}'

Batas sumber daya per kontainer

Sumber daya maksimum untuk satu kontainer ditentukan oleh pengaturan berikut. Jika permintaan kontainer melebihi batas, penjadwal mencatat error InvalidResourceRequestException: Invalid resource request....