All Products
Search

This Product

    E-MapReduce:Kelola partisi YARN di konsol EMR

    Document Center

    E-MapReduce:Kelola partisi YARN di konsol EMR

    Last Updated:Jul 02, 2025

    E-MapReduce (EMR) memungkinkan Anda mengelola partisi Yet Another Resource Negotiator (YARN) secara visual melalui konsol. Anda dapat membuat pemetaan antara beberapa grup node dan partisi sekaligus, serta mengonfigurasi properti partisi untuk setiap grup node. Setelah penambahan manual atau penskalaan otomatis pada grup node, EMR menambahkan label ke node baru, sehingga tidak perlu mengonfigurasi node tersebut secara manual. Topik ini menjelaskan cara mengelola partisi YARN di konsol EMR.

    Informasi latar belakang

    Fitur manajemen partisi YARN dapat digunakan dalam skenario berikut:

    • Jenis instance yang berbeda ada di lingkungan.

      Dalam lingkungan nyata, Anda mungkin perlu menggunakan jenis instance yang berbeda. Misalnya, beberapa instance adalah instance komputasi-teroptimalkan, sementara yang lain adalah instance optimasi memori. Instance baru yang dibeli mungkin memiliki memori besar dan jumlah vCPU yang banyak, sedangkan instance yang sudah ada mungkin merupakan instance optimasi penyimpanan.

    • Sumber daya kluster digunakan bersama oleh beberapa kerangka kerja komputasi.

      Aplikasi seperti Flink yang digunakan untuk menjalankan pekerjaan pemrosesan batch pada kluster offline membutuhkan sejumlah besar sumber daya jaringan atau CPU. Dalam situasi ini, sumber daya yang cukup mungkin tidak tersedia untuk komputasi quasi-real-time.

    • Kinerja pekerjaan penting harus dipastikan.

      Jika Anda ingin mencegah pekerjaan penting dijadwalkan ke node elastis, Anda dapat mengonfigurasi partisi terpisah untuk node non-elastis dan mengizinkan pekerjaan penting menggunakan partisi tersebut. Ini membantu mencegah latensi pada pekerjaan penting akibat aktivitas penskalaan masuk.

    Fitur manajemen partisi YARN memungkinkan Anda mengaitkan node dengan partisi tertentu berdasarkan peran dan kapasitas pemrosesannya. Kemudian, Anda dapat menjalankan pekerjaan pada node di partisi yang ditentukan. Hal ini membantu memenuhi kebutuhan bisnis multi-dimensi serta mengelola dan menjadwalkan berbagai jenis sumber daya dan aplikasi secara lebih efektif.

    Prasyarat

    Sebuah kluster telah dibuat dan berada dalam status Berjalan. Untuk informasi lebih lanjut, lihat Buat Kluster.

    Batasan

    • Kluster harus menjalankan EMR V5.11.1 atau versi minor terbaru, atau EMR V3.45.1 atau versi minor terbaru.

    • Kluster harus dalam status Berjalan.

    • Penjadwal kapasitas harus digunakan sebagai penjadwal YARN.

    Catatan penggunaan

    • Setelah menambah atau mengedit partisi, klik Terapkan agar konfigurasi diterapkan. Kami sarankan melakukan operasi ini selama jam-jam sepi bisnis.

    • Jika Anda menggunakan penjadwal adil sebagai penjadwal YARN, matikan Node Labels.

    Tambahkan partisi

    1. Pergi ke tab Konfigurasi halaman layanan YARN.

      1. Masuk ke konsol EMR. Di panel navigasi kiri, klik EMR on ECS.

      2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih grup sumber daya sesuai kebutuhan bisnis Anda.

      3. Di halaman EMR on ECS, temukan kluster yang ingin Anda kelola dan klik Services di kolom Tindakan.

      4. Di tab Services, klik Configure di bagian YARN.

    2. Klik tab Partitions.

    3. Klik Add Partition. Di kotak dialog Add Partition, konfigurasikan parameter berikut.

      Parameter

      Deskripsi

      Partition Name

      Nama partisi yang akan ditambahkan.

      Nama harus memiliki panjang 1 hingga 255 karakter dan dapat berisi huruf, angka, tanda hubung (-), dan garis bawah (_).

      Catatan

      • Anda dapat membuat partisi bernama DEFAULT.

      • Nama tidak boleh dimulai dengan tanda hubung (-) atau garis bawah (_).

      Partition Type

      • Exclusive: Kontainer hanya dapat dialokasikan ke node partisi eksklusif ketika partisi tersebut ditentukan. Ini adalah nilai default.

      • Non Exclusive: Kontainer dapat dialokasikan ke node partisi non-eksklusif ketika partisi tersebut ditentukan. Jika partisi yang ditentukan untuk alokasi kontainer tidak ditentukan, atau partisi DEFAULT ditentukan sebagai partisi untuk alokasi kontainer, kontainer dapat dialokasikan ke node partisi non-eksklusif yang memiliki sumber daya idle.

      Associated Node Groups

      Grup node yang ingin Anda kaitkan dengan partisi. Setiap grup node hanya dapat dikaitkan dengan satu partisi. Anda dapat memodifikasi grup node terkait.

    4. Klik OK.

    5. Klik Deploy.

      Setelah konfigurasi diterapkan, Anda dapat melihat partisi yang ditambahkan di tab Partisi.

      Secara default, konfigurasi diterapkan dalam 10 menit. Jika Anda ingin konfigurasi diterapkan lebih cepat, tambahkan item konfigurasi yarn.nodemanager.node-labels.resync-interval-ms dan yarn.nodemanager.node-labels.provider.fetch-interval-ms di tab yarn-site.xml dari tab Configure. Ubah waktu yang diperlukan agar konfigurasi diterapkan. Kemudian, mulai ulang komponen NodeManager secara manual di tab Status.

    Edit partisi

    1. Di tab Partitions halaman layanan YARN, temukan partisi yang ingin Anda edit dan klik Edit di kolom Tindakan.

    2. Dalam kotak dialog Edit Partition, ubah kelompok node terkait. Parameter lainnya tidak dapat diubah.

    3. Klik OK.

    4. Klik Deploy.

    Hapus partisi

    1. Di tab Partitions halaman layanan YARN, temukan partisi yang ingin Anda hapus dan klik Delete di kolom Tindakan.

    2. Di pesan Konfirmasi, klik OK.

    3. Klik Deploy.

      Catatan

      • Jika Anda menghapus partisi, grup node yang terkait dengan partisi tersebut dilepaskan.

      • Jika partisi terkait dengan antrian, Anda harus mematikan Disable Partition-queue Association Management di tab Edit Resource Queue sebelum menghapus partisi.

    Lihat informasi partisi

    Di tab Partitions halaman layanan YARN, Anda dapat melihat informasi tentang setiap partisi, termasuk nama partisi, antrian yang dapat mengakses partisi, grup node terkait, tipe partisi, dan jumlah total sumber daya.

    Nonaktifkan fitur manajemen partisi

    Jika Anda ingin beralih penjadwal YARN dari penjadwal kapasitas ke penjadwal adil, matikan Node Labels untuk menonaktifkan fitur manajemen partisi. Kemudian, lakukan langkah berikut agar konfigurasi diterapkan: Klik p692314 di bagian atas tab Edit Resource Queue. Di kotak dialog Configurations to Take Effect, pilih semua item konfigurasi dan klik batch restart.

    Hapus tab Partisi dari konsol EMR

    Jika Anda ingin menggunakan skrip kustom untuk mengelola partisi dan menonaktifkan fitur manajemen partisi konsol EMR, atur parameter node_labels_managed_by_emr di tab yarn-operator-conf menjadi false di tab Configure halaman layanan YARN. Setelah menyegarkan konsol EMR, tab Partisi tidak akan terlihat dan manajemen partisi tidak lagi diverifikasi berdasarkan file node-labels.xml. Untuk informasi lebih lanjut tentang cara menggunakan fitur label node, lihat Label Node.