E-MapReduce:YARN schedulers

Planlama modları

Capacity Scheduler'ın MainScheduler bileşeni üç tetikleme modunu destekler:

Genel planlama, kendi ayarlarına ek olarak tüm asenkron planlama yapılandırmalarını gerektirir. Ayrıntılar için Genel planlama bölümüne bakın.

Mimari (genel planlama)

Aşağıdaki şekil, YARN 3.2 veya sonraki sürümlere dayalı genel planlama mimarisini göstermektedir.

MainScheduler, asenkron çok iş parçacıklı bir çerçeve olarak çalışır:

• Tahsis iş parçacıkları, en yüksek öncelikli kaynak isteğini belirler; kaynak boyutu ve yerleştirme kısıtlamalarına göre aday düğümleri seçer, tahsis önerileri oluşturur ve bunları bir ara kuyruğa yerleştirir.

• Gönderim iş parçacığı, tahsis önerilerini tüketir; yerleştirme kısıtlamalarını ve uygulama/düğüm gereksinimlerini yeniden denetler, ardından her öneriyi ya onaylar ya da reddeder ve planlayıcı durumunu günceller.

ReScheduler, dinamik bir kaynak izleme çerçevesi olarak periyodik çalışır. Kuyruklar arası preemptasyon, kuyruk içi preemptasyon ve ayrılmış kaynak preemptasyonu ilkelerini uygular.

Node Sorting Manager ve Placement Constraint Manager, MainScheduler için genel planlama eklentileridir. Yük dengeleme ve karmaşık yerleştirme kısıtlama yönetimini gerçekleştirirler.

Konteyner tahsis süreci

Aşağıdaki şekil, Capacity Scheduler'ın genel planlama sürecini göstermektedir.

MainScheduler, konteynerleri altı adımda tahsis eder:

1. Bölümleri (düğüm etiketlerini) seçin. Bir kümede bir veya daha fazla bölüm bulunabilir. MainScheduler, konteynerleri sırayla bölümlere tahsis eder.

2. Yaprak kuyrukları seçin. Kök kuyruktan başlayarak aşağıya doğru ilerlerken, her düzeydeki alt kuyruklar garanti edilen kaynak yüzdelerine göre artan sırada ziyaret edilir. Daha düşük kullanıma sahip kuyruklar (yukarıdaki şekilde yeşil gösterilenler), daha yüksek kullanıma sahip olanlardan (kırmızı gösterilenler) önce kaynak alır.

3. Uygulamaları seçin. Bir kuyruk içinde MainScheduler, kuyruğun sıralama ilkesine göre uygulamaları seçer:

   • Adalet ilkesi: Tahsis edilen bellek kaynaklarına göre artan sıra

   • FIFO ilkesi: Önceliğe göre azalan, ardından uygulama kimliğine göre artan sıra

4. İstekleri seçin. MainScheduler, seçilen uygulama içindeki istekleri önceliğe göre belirler.

5. Sıralanmış aday düğümleri seçin. MainScheduler, isteğin kaynak gereksinimlerini ve yerleştirme kısıtlamalarını karşılayan adayları bulmak için sıralanmış tüm düğümlerde arama yapar.

6. Bir konteyner tahsis edin. Her aday düğüm için MainScheduler, kuyruğun ve düğümün tahsis edilmiş, kullanılan ve onaylanmamış kaynaklarını kontrol eder. Kontrol başarılı olursa bir tahsis önerisi oluşturur ve bunu öneri kuyruğuna yerleştirir.

Tahsis işleminden sonra gönderim iş parçacığı, her öneriyi uygulama, düğüm ve yerleştirme kısıtlaması gereksinimlerine göre doğrular. Doğrulama başarısız olan öneriler iptal edilir; onaylanan öneriler geçerli hale gelir ve uygulama ile düğüm için kaynak muhasebesini günceller.

Preemptasyon

ReScheduler, küme kaynaklarını izler; toplam kullanılabilir kaynaklar belirli bir eşiğin altına düştüğünde ve belirli uygulamalar yetersiz kaynağa sahip olduğunda preemptasyonu tetikler.

Genel yapılandırmalar

Aşağıdaki ayarları yarn-site.xml ve capacity-scheduler.xml dosyalarında yapılandırın.

Düğüm kalp atışı yapılandırmaları

Asenkron planlama

Genel planlama

Genel planlama, önceki tabloda listelenen tüm asenkron planlama yapılandırmalarını gerektirir.

Düğüm bölümü yapılandırmaları

Düğüm bölümü (düğüm etiketi) yapılandırmaları için Düğüm etiketleri konusuna bakın.

Kuyruk yapılandırmaları

<configuration>
  <!-- Root-level child queues -->
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>dev,test,support,default</value>
  </property>

  <!-- dev queue: 50% guaranteed, 100% max -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.capacity</name>
    <value>50</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
    <value>100</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.queues</name>
    <value>training,services</value>
  </property>

  <!-- dev.training: 40% of dev guaranteed, 100% of dev max -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.training.capacity</name>
    <value>40</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.training.maximum-capacity</name>
    <value>100</value>
  </property>

  <!-- dev.services: 60% of dev guaranteed, 100% of dev max -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.services.capacity</name>
    <value>60</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.services.maximum-capacity</name>
    <value>100</value>
  </property>

  <!-- test queue: 30% guaranteed, 50% max -->
  <property>
    <name>yarn.scheduler.capacity.root.test.capacity</name>
    <value>30</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.test.maximum-capacity</name>
    <value>50</value>
  </property>

  <!-- support queue: 10% guaranteed, 30% max -->
  <property>
    <name>yarn.scheduler.capacity.root.support.capacity</name>
    <value>10</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.support.maximum-capacity</name>
    <value>30</value>
  </property>

  <!-- default queue: 10% guaranteed, 100% max -->
  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>10</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>100</value>
  </property>
</configuration>

Preemptasyon yapılandırmaları

Preemptasyon, kiracılar arasında adil kaynak dağılımı sağlar ve uygulama önceliklerine saygı gösterir. Sıkı planlama gereksinimleri olan kümeler için etkinleştirin. Preemptasyon, YARN V2.8.0 veya sonraki bir sürümü gerektirir.

Kuyruk yapılandırmalarını RESTful API ile yönetin

YARN V3.2.0'dan itibaren RESTful API'yi kullanarak artımlı yapılandırma güncellemeleri uygulayabilir ve capacity-scheduler.xml dosyasındaki tüm şu anda etkin olan ayarları görüntüleyebilirsiniz. Daha eski sürümler yalnızca RefreshQueues işlemi aracılığıyla tam güncellemeleri destekler ve etkin yapılandırmaları inceleme imkanı sunmaz.

RESTful API kuyruk yönetimini etkinleştirmek için yarn-site.xml dosyasına aşağıdaki ayarları ekleyin:

Etkin yapılandırmaları görüntüleyin:

• RESTful API: http://<rm-address>/ws/v1/cluster/scheduler-conf

• HDFS: ${yarn.scheduler.configuration.fs.path}/capacity-scheduler.xml.<timestamp> — en büyük zaman damgasına sahip dosya en son sürümdür.

Yapılandırmaları artımlı olarak güncelleyin:

Aşağıdaki örnek, yarn.scheduler.capacity.maximum-am-resource-percent değerini 0.2 olarak değiştirir ve yarn.scheduler.capacity.xxx parametresini siler. Bir parametreyi silmek için value alanını belirtmeyin.

curl -X PUT -H "Content-type: application/json" 'http://<rm-address>/ws/v1/cluster/scheduler-conf' -d '
{
  "global-updates": [
    {
      "entry": [{
        "key": "yarn.scheduler.capacity.maximum-am-resource-percent",
        "value": "0.2"
      },{
        "key": "yarn.scheduler.capacity.xxx"
      }]
    }
  ]
}'

Konteyner başına kaynak sınırları

Tek bir konteyner için maksimum kaynaklar aşağıdaki ayarlarla belirlenir. Bir konteyner isteği limiti aşarsa planlayıcı InvalidResourceRequestException: Invalid resource request... hatasını günlüğe kaydeder.