All Products
Search

This Product

    E-MapReduce:Kelola partisi YARN di konsol

    Document Center

    E-MapReduce:Kelola partisi YARN di konsol

    Last Updated:Aug 21, 2026

    EMR menyediakan antarmuka visual di konsol untuk mengelola partisi YARN. Anda dapat memetakan kelompok node ke partisi secara batch serta mengonfigurasi properti partisi langsung pada kelompok node. Setelah skala keluar (scale-out) atau event auto scaling, EMR secara otomatis menerapkan label node pada node baru, sehingga menghilangkan kebutuhan rekonfigurasi manual. Topik ini menjelaskan cara mengelola partisi YARN di konsol EMR.

    Latar Belakang

    Fitur ini cocok untuk skenario berikut:

    • Kluster heterogen

      Kluster seringkali heterogen, terdiri dari berbagai jenis mesin. Misalnya, sebuah kluster dapat berisi campuran mesin komputasi-teroptimalkan, optimasi memori, dan optimasi penyimpanan.

    • Banyak framework komputasi berbagi sumber daya kluster

      Pekerjaan batch yang intensif sumber daya, seperti aplikasi Flink, dapat mengonsumsi sumber daya jaringan atau CPU secara berlebihan, sehingga berpotensi mengganggu beban kerja near-real-time pada kluster yang sama.

    • Sumber daya terjamin untuk pekerjaan kritis

      Untuk mencegah pekerjaan kritis berjalan di node elastis, Anda dapat mengonfigurasi partisi spesifikasi khusus hanya menggunakan node inelastis dan menetapkan pekerjaan tersebut ke dalamnya. Hal ini memastikan pekerjaan kritis tidak tertunda oleh event skala-masuk (scale-in).

    Manajemen partisi YARN memungkinkan operator membagi node ke dalam partisi berdasarkan karakteristiknya, seperti peran dan kemampuan pemrosesan. Hal ini memastikan pekerjaan berjalan pada node tertentu, sehingga memungkinkan penjadwalan sumber daya yang lebih baik untuk kluster dengan tipe mesin campuran atau aplikasi beragam.

    Prasyarat

    Kluster berada dalam status Berjalan. Untuk informasi selengkapnya tentang cara membuat kluster, lihat Buat kluster.

    Batasan

    • Fitur ini tersedia untuk EMR V5.11.1 dan versi setelahnya, serta EMR V3.45.1 dan versi setelahnya.

    • Kluster harus dalam status Berjalan.

    • Penjadwal YARN harus menggunakan capacity scheduler.

    Catatan

    • Setelah menambahkan atau mengedit partisi, klik Deploy. Lakukan operasi ini selama jam sepi.

    • Jika penjadwal YARN dialihkan ke fair scheduler, Anda harus mematikan sakelar Node Labels.

    Tambah partisi

    1. Buka halaman konfigurasi layanan YARN.

      1. Masuk ke konsol E-MapReduce.

      2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.

      3. Di halaman EMR on ECS, temukan kluster target Anda dan klik Services di kolom Actions.

      4. Di halaman Services, klik Configure di bagian YARN.

    2. Klik tab Partitions.

    3. Klik Add Partition. Di kotak dialog Add Partition, konfigurasikan parameter-parameter berikut.

      Parameter

      Deskripsi

      Partition Name

      Nama partisi.

      Nama harus terdiri dari 1 hingga 255 karakter dan hanya boleh berisi huruf, angka, tanda hubung (-), dan garis bawah (_).

      Catatan

      • Anda dapat membuat partisi bernama DEFAULT.

      • Nama partisi tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).

      Partition Type

      • Exclusive (Default): Hanya mengizinkan kontainer yang secara eksplisit meminta partisi ini untuk dijadwalkan pada nodenya.

      • Non Exclusive: Membagikan sumber daya idle dengan kontainer yang meminta partisi DEFAULT.

      Associated Node Groups

      Pilih kelompok node yang akan dikaitkan dengan partisi. Setiap kelompok node hanya dapat dikaitkan dengan satu partisi, tetapi Anda dapat mengubah asosiasi ini nanti.

    4. Klik OK.

    5. Klik Deploy.

      Setelah sistem menerapkan pembaruan konfigurasi, partisi baru akan muncul di UI YARN.

      Secara default, perubahan berlaku setelah 10 menit. Jika Anda ingin perubahan berlaku lebih cepat, Anda dapat menambahkan item konfigurasi yarn.nodemanager.node-labels.resync-interval-ms dan yarn.nodemanager.node-labels.provider.fetch-interval-ms ke file yarn-site.xml di tab Configure untuk mengubah waktu penerapan. Kemudian, buka tab Status dan restart secara manual komponen NodeManager.

    Edit partisi

    1. Di tab Partitions layanan YARN di konsol EMR, temukan partisi yang ingin Anda ubah dan klik Edit di kolom Actions.

    2. Di kotak dialog Edit Partition, Anda hanya dapat mengubah kelompok node yang terkait.

    3. Klik OK.

    4. Klik Deploy untuk menerapkan perubahan.

    Hapus partisi

    1. Di tab Partitions layanan YARN di konsol EMR, temukan partisi yang ingin Anda hapus dan klik Delete di kolom Actions.

    2. Di kotak dialog konfirmasi yang muncul, klik OK.

    3. Klik Deploy untuk menerapkan perubahan.

      Catatan

      • Menghapus partisi akan memutus asosiasi kelompok node yang terhubung dengannya.

      • Jika partisi tersebut terikat ke antrian (queue), Anda harus membuka tab Edit Resource Queue dan mematikan sakelar Partition-queue Association Management sebelum menghapus partisi.

    Lihat daftar partisi

    Di tab Partitions layanan YARN, Anda dapat melihat informasi seperti nama partisi, antrian yang dapat diakses, kelompok node, tipe partisi, dan total sumber daya.

    Nonaktifkan manajemen partisi

    Untuk beralih dari capacity scheduler ke fair scheduler, matikan sakelar Node Labels di tab Partitions layanan YARN. Kemudian, klik ikon notifikasi image.png di atas tab Edit Resource Queue. Di panel Configurations to Take Effect, pilih semua item konfigurasi dan klik batch untuk menerapkan perubahan dan menonaktifkan manajemen partisi.

    Hapus tab Partitions

    Untuk mengelola partisi dengan skrip kustom dan mencegah validasi oleh konsol EMR, buka tab Configure layanan YARN dan ubah parameter node_labels_managed_by_emr di yarn-operator-conf menjadi false. Setelah Anda refresh halaman, tab Partitions akan disembunyikan, dan sistem tidak lagi memvalidasi file node-labels.xml. Untuk informasi selengkapnya tentang cara mengonfigurasi Node Labels, lihat Gunakan fitur Node Labels.