：Konfigurasikan pemetaan prioritas antara baseline dan antrian YARN

Informasi latar belakang

YARN adalah sistem manajemen sumber daya terdistribusi yang digunakan untuk mengelola dan menjadwalkan sumber daya dalam kluster EMR serta mengalokasikan sumber daya untuk berbagai jenis pekerjaan yang dijalankan pada YARN. Dalam YARN, prioritas antrian menentukan pekerjaan mana yang mendapatkan alokasi sumber daya secara preferensial. Pekerjaan dengan prioritas tinggi dapat dijadwalkan lebih awal untuk dijalankan. Untuk informasi lebih lanjut tentang YARN, lihat Ikhtisar.

Di DataWorks, Anda dapat menggunakan salah satu metode berikut untuk mengonfigurasi antrian YARN yang digunakan untuk menjadwalkan node:

• Metode 1: Konfigurasikan antrian YARN global. Anda dapat mengonfigurasi antrian YARN yang digunakan oleh layanan DataWorks untuk menjalankan node EMR di halaman Workspace pada tingkat workspace. Untuk informasi lebih lanjut, lihat Operasi Selanjutnya: Tentukan Antrian YARN.

• Metode 2: Konfigurasikan antrian YARN untuk satu node. Anda dapat mengonfigurasi antrian YARN untuk satu node EMR dan menetapkan prioritas antrian YARN di tab konfigurasi node EMR. Untuk informasi lebih lanjut, lihat Buat Node EMR Hive, Buat Node EMR Spark, atau Buat Node EMR Spark SQL.

Jika fitur Pengaturan Global Lebih Diutamakan diaktifkan untuk workspace tempat node EMR yang diinginkan termasuk, antrian YARN yang dikonfigurasi di tingkat workspace akan digunakan secara preferensial untuk menjadwalkan node EMR. Jika fitur Pengaturan Global Lebih Diutamakan tidak diaktifkan, antrian YARN yang dikonfigurasi untuk node EMR digunakan.

Prioritas akhir antrian YARN yang digunakan untuk menjadwalkan node EMR ditentukan berdasarkan prinsip-prinsip berikut:

• Saat baseline tempat node EMR termasuk diaktifkan, jika pemetaan prioritas antara baseline dan antrian YARN dikonfigurasi, prioritas akhir antrian YARN yang digunakan untuk menjadwalkan node ditentukan berdasarkan pemetaan prioritas.

  Catatan

  Di tab konfigurasi node EMR, Anda dapat mengatur parameter ENABLE_TASK_PRIORITY menjadi true untuk memastikan bahwa prioritas antrian YARN yang dikonfigurasi untuk tugas pada node lebih diutamakan, bukan pemetaan prioritas antara baseline dan antrian YARN saat node dijadwalkan untuk dijalankan.

• Jika tidak ada pemetaan prioritas yang dikonfigurasi antara baseline tempat node EMR termasuk dan antrian YARN, prioritas antrian YARN yang dikonfigurasi untuk node EMR digunakan.

Prasyarat

Node EMR dibuat, dan prioritas antrian YARN yang dikonfigurasi untuk node EMR telah ditentukan. Untuk informasi lebih lanjut, lihat Buat Node EMR Hive, Buat Node EMR Spark, atau Buat Node EMR Spark SQL.

Batasan

Perhatikan batasan berikut saat Anda mengonfigurasi pemetaan prioritas antara baseline dan antrian YARN:

• Fitur

  • Fitur ini hanya tersedia untuk node EMR Hive, node EMR Spark, dan node EMR Spark SQL.

  • Anda harus mengonfigurasi prioritas tertinggi antrian YARN di kluster EMR sebelum Anda dapat mengonfigurasi pemetaan prioritas antara baseline dan antrian YARN.

  • Anda harus masuk ke Konsol EMR untuk memodifikasi prioritas antrian YARN. Setelah Anda memodifikasi prioritas antrian YARN, Anda harus memulai ulang layanan YARN. Prioritas yang dimodifikasi hanya berlaku untuk antrian YARN tertentu.

  Catatan

  Untuk informasi tentang cara mengonfigurasi prioritas antrian YARN, lihat Konfigurasikan Kluster EMR DataLake.

• Izin

  • Hanya tenant administrator yang dapat mengonfigurasi pemetaan prioritas. Jika Anda ingin mengonfigurasi pemetaan prioritas menggunakan akun anggota, akun anggota tersebut harus diberi peran tenant administrator. Untuk informasi lebih lanjut, lihat Kelola Izin pada Anggota Penyewa.

  • Fitur ini tersedia di tingkat penyewa. Hubungan pemetaan yang dikonfigurasi berlaku di dalam penyewa.

  • Hanya pengguna yang memiliki kebijakan AliyunDataWorksAccessingEMRReadOnlyPolicy yang dapat mengonfigurasi pemetaan prioritas. Untuk informasi lebih lanjut, lihat Berikan Izin kepada Pengguna RAM.

• Grup Sumber Daya

  Grup sumber daya eksklusif untuk penjadwalan yang dibeli sebelum 31 Agustus 2023 tidak mendukung fitur ini. Jika grup sumber daya eksklusif untuk penjadwalan yang Anda gunakan untuk menjalankan node EMR dibeli sebelum tanggal ini, hubungi personel teknis DataWorks untuk meningkatkan grup sumber daya agar fitur ini tersedia. Jika grup sumber daya tidak ditingkatkan, pemetaan yang dikonfigurasi tidak akan berlaku. Dalam hal ini, prioritas antrian YARN yang dikonfigurasi untuk node EMR digunakan.

Titik masuk untuk mengonfigurasi pemetaan prioritas

1. Pergi ke halaman Pusat Operasi.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Operation Center. Di halaman yang muncul, pilih workspace yang diinginkan dari daftar drop-down dan klik Go to Operation Center.

2. Di panel navigasi kiri, klik Smart Baseline.

Logika untuk mengonfigurasi pemetaan prioritas

Anda dapat mengonfigurasi pemetaan prioritas di tab Baseline Priority Mapping pada halaman Smart Baseline.

Pilih kluster dan antrian YARN yang digunakan untuk menjalankan node EMR berdasarkan kebutuhan bisnis Anda, dan konfigurasikan pemetaan prioritas antara baseline tempat node EMR termasuk dan antrian YARN. Logika konfigurasi:

• Prioritas antrian YARN yang dikonfigurasi tidak boleh melebihi prioritas antrian YARN tertinggi di kluster EMR.

• Angka yang lebih besar menunjukkan prioritas lebih tinggi untuk antrian YARN. Sumber daya dialokasikan secara preferensial untuk menjadwalkan node yang dijalankan di antrian YARN dengan prioritas lebih tinggi.

• Prioritas antrian YARN yang dipetakan ke prioritas baseline rendah tidak boleh lebih tinggi daripada prioritas baseline tinggi.

Untuk informasi lebih lanjut tentang konfigurasi YARN, lihat Ikhtisar.