DataWorks:Konfigurasikan antrian resource YARN global

Informasi latar belakang

Yet Another Resource Negotiator (YARN) adalah sistem manajemen resource terdistribusi dan komponen inti Hadoop. Di dalam kluster Hadoop, YARN mengelola resource, menjadwalkan pekerjaan, dan memantau tugas. Untuk informasi lebih lanjut tentang YARN di E-MapReduce, lihat YARN schedulers.

Di DataWorks, Anda dapat mengonfigurasi antrian resource YARN untuk tugas terjadwal dengan salah satu cara berikut:

• Metode 1: Konfigurasikan antrian resource YARN global

  Tetapkan antrian resource YARN di tingkat ruang kerja untuk digunakan oleh modul DataWorks dalam menjalankan tugas EMR, dan tentukan apakah konfigurasi global ini menggantikan pengaturan spesifik modul. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan antrian resource YARN global dalam topik ini.

• Metode 2: Konfigurasikan antrian YARN di dalam modul produk

  • Data Studio: Untuk node Hive dan Spark, Anda dapat menentukan antrian resource YARN untuk tugas node tunggal dengan mengatur parameter queue di parameter DataWorks pada bagian Scheduling Settings di sisi kanan halaman pengeditan node.

  • Data Quality: Dalam aturan pemantauan partisi untuk tabel E-MapReduce, Anda dapat menentukan YARN Resource Queue menggunakan pengaturan Queue. Untuk informasi lebih lanjut, lihat Konfigurasikan aturan pemantauan untuk satu tabel.

  • Modul produk lainnya: Anda tidak dapat mengonfigurasi YARN Resource Queue secara terpisah di dalam modul lainnya.

Batasan

• Hanya akun dan peran berikut yang dapat mengonfigurasi antrian resource YARN:

  • Akun Alibaba Cloud.

  • Pengguna RAM atau Peran RAM dengan kebijakan AliyunDataWorksFullAccess.

  • Pengguna RAM dengan peran Workspace Administrator.

• Ubah prioritas aplikasi maksimum untuk YARN.

  Saat Anda mengubah prioritas YARN untuk tugas E-MapReduce di DataWorks, Anda juga harus menambahkan item konfigurasi yarn.cluster.max-application-priority ke file yarn-site.xml di kluster E-MapReduce Anda dan mengatur nilainya ke angka yang lebih besar dari nilai default 0. Jika tidak, prioritas yang Anda konfigurasi di DataWorks tidak akan berlaku.

  Catatan

  Anda harus melakukan restart layanan YARN agar perubahan berlaku.

• Anda hanya dapat mengonfigurasi antrian resource YARN global untuk Data Studio, Data Quality, DataAnalysis, dan Operation Center.

Prasyarat

Anda harus mengaitkan kluster E-MapReduce dengan ruang kerja DataWorks Anda. Untuk informasi lebih lanjut, lihat Bind an E-MapReduce compute engine.

Konfigurasikan antrian resource YARN global

1. Buka halaman konfigurasi antrian resource YARN global.

   1. Masuk ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Management Center.

   2. Di panel navigasi sebelah kiri, klik Computing Resources.

   3. Temukan kluster E-MapReduce target dan klik tab YARN Resource Queue.

      Bagian Production and development environments pada halaman ini mencantumkan pengaturan Resource Queue dan Global Settings Take Precedence untuk modul seperti Data Studio, Data Quality, DataAnalysis, dan Operation Center. Untuk mengubah konfigurasi, klik Edit YARN Resource Queues di pojok kanan atas.

2. Konfigurasikan antrian resource YARN global.

   Pada halaman YARN Resource Queues, klik Edit YARN Resource Queues di pojok kanan atas untuk mengonfigurasi antrian resource YARN global dan prioritasnya untuk setiap modul.

   Catatan

   Pengaturan ini berlaku secara global untuk seluruh ruang kerja. Sebelum melanjutkan, pastikan Anda telah memilih ruang kerja yang benar.

   Parameter	Deskripsi
   Resource Queue	Antrian resource YARN yang digunakan untuk menjalankan tugas E-MapReduce untuk setiap modul. Anda dapat menemukan antrian resource yang tersedia di Konsol EMR on ECS.
   Global Settings Take Precedence	Jika Anda memilih opsi ini, konfigurasi global akan menggantikan semua pengaturan spesifik modul. Semua tugas kemudian akan menggunakan antrian resource YARN yang dikonfigurasi secara global. Konfigurasi global: Antrian resource YARN yang dikonfigurasi pada tab YARN Resource Queue untuk kluster E-MapReduce. Anda dapat menemukan tab ini dengan menavigasi ke Management Center > Computing Resources. Catatan Anda hanya dapat mengonfigurasi antrian resource YARN global untuk Data Studio, Data Quality, DataAnalysis, dan Operation Center. Konfigurasi spesifik modul: Data Studio: Untuk node Hive dan Spark, Anda dapat menentukan antrian resource YARN untuk tugas node tunggal dengan mengatur parameter queue di parameter DataWorks pada bagian Scheduling Settings di sisi kanan halaman pengeditan node. Data Quality: Dalam aturan pemantauan partisi untuk tabel E-MapReduce, Anda dapat menentukan YARN Resource Queue menggunakan pengaturan Queue. Untuk informasi lebih lanjut, lihat Konfigurasikan aturan pemantauan untuk satu tabel. Modul produk lainnya: Anda tidak dapat mengonfigurasi YARN Resource Queue secara terpisah di dalam modul lainnya.

Dokumentasi terkait

Map baseline priorities to YARN queue priorities