All Products
Search

This Product

    E-MapReduce:Kelola kelompok node

    Document Center

    E-MapReduce:Kelola kelompok node

    Last Updated:Mar 27, 2026

    Kelompok node merupakan unit inti untuk mengelola node kluster di Alibaba Cloud E-MapReduce (EMR). Setiap kelompok node terdiri dari instans Elastic Compute Service (ECS) yang umumnya memiliki tipe instans yang sama, sehingga memungkinkan pengelolaan node secara massal dan penerapan konfigurasi spesifik beban kerja dalam satu kluster. Misalnya, gunakan instans memory-optimized (1 vCPU:8 GiB) untuk pemrosesan big data offline dan instans compute-optimized (1 vCPU:2 GiB) untuk pelatihan model.

    Untuk pengelolaan kelompok node pada kluster Hadoop, Data Science, dan EMR Studio, lihat Kelola kelompok node (kluster Hadoop, Data Science, dan EMR Studio).

    Batasan

    • Operasi dalam topik ini hanya berlaku untuk kluster DataLake, DataFlow, OLAP, DataServing, dan Custom.

    • Kelompok node Task dengan metode penagihan Pay-as-you-go atau Preemptible Instance tidak memenuhi syarat untuk peningkatan konfigurasi. Untuk detailnya, lihat Peningkatan konfigurasi node.

    Tambahkan kelompok node

    Langkah 1: Buka tab Nodes

    1. Masuk ke Konsol EMR. Di panel navigasi kiri, klik EMR on ECS.

    2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih kelompok sumber daya.

    3. Pada halaman EMR on ECS, temukan kluster tersebut lalu klik Nodes di kolom Actions.

    Langkah 2: Konfigurasikan kelompok node

    Pada halaman Nodes, klik Add Node Group. Di panel Add Node Group, konfigurasikan parameter berikut.

    Zone

    Zona kluster dipilih secara default. Klik View Zones untuk memilih zona berbeda dalam wilayah yang sama.

    • Anda hanya dapat menambahkan kelompok node Task di zona lain.

    • Setelah menambahkan kelompok node cross-zone, aktifkan fitur YARN Node Label untuk mempartisi kluster berdasarkan zona. Hal ini mengurangi dampak variasi lebar pita jaringan antar-zona terhadap kinerja tugas, terutama selama fase shuffle. Untuk detailnya, lihat Gunakan Node Labels untuk partisi node.

    Tipe kelompok node

    Type Description Suited for
    Core Kelompok node Core Volume data kecil hingga menengah: analisis log, statistik traffic website
    Task Kelompok node Task Ledakan komputasi sementara: pemrosesan batch, pembersihan data
    Gateway Kelompok node Gateway. Memerlukan kluster DataLake atau DataFlow yang menjalankan EMR V5.10.1 atau versi lebih baru. Pengiriman pekerjaan frekuensi tinggi: pelatihan model oleh ilmuwan data, pipeline oleh insinyur data
    Master-Extend Kelompok ekstensi beban. Memerlukan kluster ketersediaan tinggi yang menjalankan EMR V3.51.1 atau versi lebih baru (jalur V3) atau EMR V5.17.1 atau versi lebih baru (jalur V5). Kluster berskala besar dengan beban tinggi pada node master
    Hanya kelompok node Task yang mendukung spot instans.

    Tentang kelompok node Master-Extend: Jika node master membawa muatan tinggi, tambahkan kelompok node Master-Extend untuk mengalihkan layanan dari master. Layanan tidak diterapkan secara otomatis ke kelompok node Master-Extend setelah dibuat — pilih layanan yang akan diterapkan saat membuat kelompok node tersebut.

    Metode penagihan

    Billing method Supported node group types
    Pay-as-you-go Core, Task, Gateway, Master-Extend
    Spot instance Hanya tugas
    Subscription Core, Task, Gateway, Master-Extend

    Nama kelompok node

    Nama harus unik dalam kluster.

    Komponen

    Hanya kelompok node Master-Extend yang mendukung penerapan layanan kustom. Layanan berikut dapat diterapkan:

    • Hive: HiveMetaStore, HiveServer

    • Kyuubi: KyuubiServer

    • Spark: SparkHistoryServer, SparkThriftServer

    Assign Public Network IP

    Aktifkan opsi ini untuk menghubungkan semua node dalam kelompok node ke Internet.

    vSwitch

    Tetapkan vSwitch dalam VPC yang sama saat membuat kelompok node.

    Penting

    vSwitch tidak dapat diubah setelah kelompok node dibuat. vSwitch harus berada di zona yang sama dengan kluster. Pilih dengan cermat sebelum mengklik OK.

    Additional security group

    (Opsional) Asosiasikan hingga empat grup keamanan tambahan dengan kelompok node.

    Tipe instans

    • Subscription: pilih satu tipe instans.

    • Pay-as-you-go atau spot instance (hanya untuk kelompok node Task): pilih hingga 10 tipe instans dengan jumlah vCPU dan ukuran memori yang sama sebagai opsi cadangan.

    Konfigurasi penyimpanan

    Disk type Options Size range Recommended minimum
    System disk Enterprise SSD (ESSD) atau ultra disk 60 GiB–500 GiB 120 GiB
    Data disk Enterprise SSD (ESSD) atau ultra disk 40 GiB–32.768 GiB 80 GiB

    Untuk ESSD, tentukan tingkat kinerja (PL) berdasarkan kapasitas disk:

    • Disk sistem: PL0, PL1, PL2 (default: PL1)

    • Disk data: PL0, PL1, PL2, PL3 (default: PL1)

    Untuk informasi lebih lanjut, lihat Disks.

    Kebijakan reservasi resource

    Parameter ini hanya tersedia untuk kelompok node Task dengan penagihan Pay-as-you-go.

    Mengasosiasikan kolam kapasitas ECS privat Anda. Untuk memesan kapasitas, buka Konsol ECS terlebih dahulu. Untuk detailnya, lihat Ikhtisar Resource Butler.

    Option Behavior
    Public Pool Only (default) Memenuhi permintaan langsung dari kolam sumber daya publik
    Private Pool First Mengambil dari kolam privat yang Anda tentukan terlebih dahulu; jika kapasitas kolam privat tidak mencukupi, sistem beralih ke kolam publik
    Specified Private Pool Mengunci kelompok node ke kolam privat tertentu

    Kompensasi otomatis

    Parameter ini hanya tersedia untuk kelompok node Task.

    Jika diaktifkan, EMR memantau node secara terus-menerus. Jika terdeteksi node abnormal, EMR melepaskannya dan secara otomatis memperluas kapasitas dengan jumlah node pengganti yang sama. Untuk detailnya, lihat Kompensasi node.

    Kebijakan penskalaan

    Parameter ini hanya tersedia ketika Billing Method diatur ke Preemptible Instance.

    Mengontrol cara EMR menyediakan dan menarik kembali instans saat kapasitas spot berfluktuasi. Pilih kebijakan berdasarkan prioritas Anda:

    Policy When to use Behavior
    Priority-based Policy (default) Konsistensi tipe instans lebih penting daripada biaya Saat skala keluar, sistem mencoba tipe instans sesuai urutan daftar hingga salah satunya berhasil. Tipe instans akhir mungkin berbeda tergantung ketersediaan inventaris.
    Cost Optimization Policy Pengurangan biaya menjadi prioritas utama dan Anda dapat menerima variasi tipe instans Saat skala keluar, Auto Scaling membuat instans dalam urutan harga satuan vCPU dari rendah ke tinggi. Saat skala-masuk, instans dihapus dalam urutan harga satuan vCPU dari tinggi ke rendah. Jika instans spot tidak dapat dibuat karena keterbatasan inventaris atau ambang batas harga, sistem beralih ke instans pay-as-you-go.

    Untuk parameter optimasi biaya secara detail, lihat Mode optimasi biaya.

    Graceful shutdown

    Parameter ini hanya tersedia untuk kluster yang menerapkan YARN.

    Jika diaktifkan, EMR menunggu tugas yang sedang berjalan di suatu node selesai — atau hingga timeout berakhir — sebelum melakukan skala-masuk pada node tersebut. Konfigurasikan timeout melalui parameter yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs di halaman layanan YARN.

    Langkah 3: Konfirmasi

    Klik OK. Kelompok node akan muncul di halaman Nodes setelah dibuat.

    Ubah kelompok node

    1. Di halaman Nodes, klik Node Group Name dari kelompok target.

    2. Di kotak dialog Node Group Attributes, ubah parameter lalu klik Save.

    Atribut yang dapat diubah bergantung pada tipe kelompok node:

    Node group type Modifiable attributes
    Master, Core, Gateway, Master-Extend Nama kelompok node, grup keamanan tambahan
    Task Nama kelompok node, spesifikasi node, grup keamanan tambahan, dan pengaturan di bagian Advanced Information

    Hapus kelompok node

    Penting

    Untuk menghapus kelompok node Task atau Core, Operation Status-nya harus Running dan Number Of Nodes-nya harus 0.

    1. Di halaman Nodes, temukan kelompok node lalu klik Delete Node Group di kolom Actions.

    2. Di kotak dialog, klik Delete.

    Mode optimasi biaya

    Mode ini hanya tersedia saat menambahkan kelompok node Task dengan metode penagihan Preemptible Instance.

    Mode optimasi biaya memungkinkan Anda menentukan kebijakan rinci untuk menyeimbangkan biaya dan stabilitas. image

    Parameter Description
    Minimum Pay-As-You-Go Nodes in Auto Scaling Group Jumlah minimum instans pay-as-you-go dalam grup penskalaan. Jika jumlah saat ini turun di bawah nilai ini, instans pay-as-you-go akan disediakan terlebih dahulu.
    Percentage of Pay-As-You-Go Nodes Proporsi instans pay-as-you-go yang akan dibuat setelah jumlah minimum terpenuhi.
    Lowest-Cost Instance Types Jumlah tipe instans termurah yang akan digunakan (maksimum: 3). Instans spot didistribusikan merata di antara tipe yang dipilih.
    Preemptible Instance Compensation Jika diaktifkan, sistem secara proaktif mengganti instans spot sekitar lima menit sebelum direklaim.
    Use Pay-as-you-go Instances When Preemptible Instances Are Insufficient Jika diaktifkan, apabila kapasitas spot tidak mencukupi karena batasan harga atau inventaris, instans pay-as-you-go akan mengisi kekurangan tersebut.

    Grup penskalaan umum vs. grup penskalaan instans campuran

    Apakah Anda mengatur parameter Minimum Pay-As-You-Go Nodes, Percentage of Pay-As-You-Go Nodes, dan Lowest-Cost Instance Types menentukan tipe grup penskalaan:

    • Grup penskalaan optimasi biaya umum: biarkan ketiga parameter tidak diatur.

    • Grup penskalaan optimasi biaya instans campuran: atur ketiga parameter tersebut. Ini memberikan kontrol lebih rinci atas pembagian instans on-demand/spot.

    Kedua tipe sepenuhnya kompatibel dalam hal antarmuka dan fitur. Gunakan pengaturan instans campuran untuk mereplikasi perilaku grup penskalaan umum apa pun:

    Goal Minimum Pay-As-You-Go Nodes Percentage of Pay-As-You-Go Nodes Lowest-Cost Instance Types
    Jalankan hanya instans pay-as-you-go 0 100 1
    Lebih memilih instans spot, beralih ke pay-as-you-go jika perlu 0 0 1

    Langkah berikutnya