DataWorks：Konfigurasikan antrian YARN global

Informasi latar belakang

YARN adalah sistem manajemen sumber daya terdistribusi, komponen inti dari Hadoop yang digunakan untuk mengelola sumber daya di kluster Hadoop serta menjadwalkan dan memantau pekerjaan di dalam kluster. Untuk informasi tentang EMR YARN, lihat Penjadwal YARN.

Di DataWorks, Anda dapat menggunakan salah satu metode berikut untuk mengonfigurasi antrian YARN yang digunakan untuk menjadwalkan node:

• Metode 1: Konfigurasikan Antrian YARN Global

  Anda dapat mengonfigurasi antrian YARN global yang digunakan oleh layanan DataWorks untuk menjalankan tugas EMR di tingkat ruang kerja, serta menentukan apakah antrian YARN global memiliki prioritas lebih tinggi daripada antrian YARN yang dikonfigurasi untuk menjalankan satu tugas dalam layanan DataWorks yang sama. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Antrian YARN Global dalam topik ini.

• Metode 2: Konfigurasikan Antrian YARN untuk Menjalankan Satu Tugas dalam Layanan DataWorks

  • Di Data Studio, untuk node Hive dan Spark, Anda dapat menentukan antrian sumber daya YARN untuk tugas node tunggal dengan menyetel parameter queue di sebelah kanan halaman pengeditan node di bawah Scheduling.

  • Di Data Quality, Anda dapat mengonfigurasi parameter Queue untuk menentukan antrian YARN saat mengonfigurasi aturan pemantauan untuk partisi tabel EMR. Untuk informasi lebih lanjut, lihat Konfigurasikan Aturan Pemantauan untuk Satu Tabel.

  • Anda tidak dapat menentukan antrian YARN yang ingin digunakan untuk menjalankan satu tugas di layanan DataWorks lainnya.

Batasan

• Anda hanya dapat menggunakan akun dan peran berikut untuk mengonfigurasi antrian YARN:

  • Akun Alibaba Cloud

  • Pengguna RAM atau Peran RAM yang memiliki kebijakan AliyunDataWorksFullAccess yang disambungkan

  • Pengguna RAM yang diberi peran Workspace Administrator.

• Anda perlu memodifikasi prioritas aplikasi maksimum di kluster EMR Anda.

  Jika Anda ingin mengubah prioritas antrian YARN yang digunakan untuk menjalankan tugas EMR di DataWorks, Anda harus menambahkan item konfigurasi yarn.cluster.max-application-priority ke file yarn-site.xml di kluster EMR Anda dan ganti nilai default 0 dengan nilai yang lebih besar. Jika Anda tidak menambahkan item konfigurasi atau mengganti nilai default, pengaturan prioritas di DataWorks tidak akan berlaku pada tugas EMR.

  Catatan

  Setelah modifikasi selesai, Anda harus memulai ulang layanan YARN agar modifikasi tersebut berlaku.

• Anda hanya dapat mengonfigurasi antrian YARN global untuk Data Studio, Data Quality, DataAnalysis, dan Operation Center.

Prasyarat

Kluster EMR telah didaftarkan ke DataWorks. Untuk informasi lebih lanjut, lihat Data Studio: Mengikat Sumber Daya Komputasi EMR.

Konfigurasikan antrian YARN global

1. Pergi ke halaman untuk mengonfigurasi antrian YARN global.

   1. Pergi ke halaman SettingCenter.

      Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi di sebelah kiri, pilih More > Management Center. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Management Center.

   2. Di panel navigasi di sebelah kiri halaman SettingCenter, klik Computing Resources.

   3. Temukan kluster EMR yang diinginkan dan klik tab YARN Resource Queues.

      

2. Konfigurasikan antrian YARN global.

   Klik Edit YARN Resource Queues di pojok kanan atas tab Antrian Sumber Daya YARN untuk mengonfigurasi antrian YARN global dan prioritas antrian untuk layanan DataWorks.

   Catatan

   Konfigurasi ini berlaku secara global di ruang kerja. Anda harus mengonfirmasi ruang kerja sebelum mengonfigurasi parameter.

   Parameter	Deskripsi
   Resource Queue	Antrian YARN global yang ingin Anda gunakan untuk menjalankan tugas EMR dalam layanan DataWorks. Anda dapat pergi ke halaman EMR on ECS di Konsol EMR untuk mendapatkan antrian YARN yang ada.
   Global Settings Take Precedence	Menentukan apakah antrian YARN global yang Anda konfigurasikan untuk layanan DataWorks memiliki prioritas lebih tinggi daripada antrian YARN yang Anda konfigurasikan untuk menjalankan satu tugas dalam layanan DataWorks yang sama. Jika Anda memilih Ya, antrian YARN global digunakan untuk menjalankan tugas dalam layanan DataWorks di ruang kerja saat ini. Konfigurasi global: Pergi ke halaman SettingCenter. Di panel navigasi di sebelah kiri, klik Computing Resources. Temukan kluster EMR yang diinginkan dan klik tab YARN Resource Queues. Catatan Anda hanya dapat mengonfigurasi antrian YARN global untuk Data Studio, Data Quality, DataAnalysis, dan Operation Center. Konfigurasi terpisah untuk tugas tunggal dalam layanan DataWorks: Di Data Studio, untuk node Hive dan Spark, Anda dapat menentukan antrian sumber daya YARN untuk tugas node tunggal dengan menyetel parameter queue di sebelah kanan halaman pengeditan node di bawah Scheduling. Di Data Quality, Anda dapat mengonfigurasi parameter Queue untuk menentukan antrian YARN saat Anda mengonfigurasi aturan pemantauan untuk partisi tabel EMR. Untuk informasi lebih lanjut, lihat Konfigurasikan aturan pemantauan untuk satu tabel. Anda tidak dapat menentukan antrian YARN yang ingin Anda gunakan untuk menjalankan satu tugas di layanan DataWorks lainnya.

Referensi

Konfigurasikan Pemetaan Prioritas antara Garis Dasar dan Antrian YARN