全部产品
Search

搜索本产品

    E-MapReduce：Skala-masuk kelompok node

    文档中心

    E-MapReduce：Skala-masuk kelompok node

    更新时间：Nov 10, 2025

    Anda dapat melakukan skala-masuk pada kelompok node Inti atau Tugas untuk menghemat sumber daya jika beban kluster rendah dalam periode yang lama dan sejumlah besar sumber daya kluster menganggur. Skala-masuk kelompok node Tugas berbasis bayar sesuai penggunaan dapat dilakukan melalui Konsol. Untuk jenis kelompok node lainnya—seperti kelompok node Inti berbasis bayar sesuai penggunaan, kelompok node Tugas berlangganan, dan kelompok node Inti berlangganan—ikuti prosedur dalam topik ini.

    Batasan

    • Untuk menghindari kehilangan data, jangan lakukan skala-masuk pada kelompok node Inti jika jumlah node Inti dalam kluster Anda sama dengan jumlah replika dalam Sistem File Terdistribusi Hadoop (HDFS).

    • Jika kluster Anda adalah kluster Hadoop ketersediaan tinggi (HA) versi lama dengan dua node master, jangan lakukan skala-masuk pada node emr-worker-1 (pada kluster ketersediaan tinggi versi lama, Zookeeper diterapkan pada worker-1).

    Peringatan

    • Operasi dalam topik ini tidak dapat dikembalikan. Komponen layanan tidak dapat dipulihkan setelah Anda membatalkan penerbitannya.

    • Topik ini menjelaskan praktik terbaik untuk operasi skala-masuk. Kami menyarankan agar Anda mengevaluasi dampaknya terhadap bisnis sebelum melakukan skala-masuk kelompok node dan melanjutkannya dengan hati-hati guna mencegah kegagalan penjadwalan pekerjaan dan risiko keamanan data.

    Cara memilih node untuk dihapus

    Skala-masuk kelompok node terutama dilakukan dengan menghapus node dari kelompok tersebut. Pilih node yang akan dihapus berdasarkan beban layanan kluster. Anda dapat menggunakan salah satu metode berikut untuk melihat penggunaan sumber daya kluster dan memilih node yang akan dihapus:

    Metode 1: Konsol EMR Monitoring And Diagnostics

    1. Pada halaman Metric Monitoring, lihat metrik AvailableVCores pada dasbor YARN-Queues. Nilai metrik AvailableVCores yang konsisten tinggi menunjukkan bahwa banyak core tersedia di antrian, sehingga Anda dapat mempertimbangkan untuk melakukan skala-masuk pada kelompok node Inti atau Tugas.

    2. Pada halaman Metric Monitoring, lihat metrik AvailableGB pada dasbor YARN-NodeManagers. Jika metrik AvailableGB untuk suatu node tetap tinggi dalam periode yang lama, hal ini menunjukkan bahwa node tersebut memiliki banyak memori yang tersedia, sehingga Anda dapat mempertimbangkan untuk melepas node tersebut.

    Catatan

    Anda dapat mengevaluasi metrik lain sesuai kebutuhan bisnis Anda.

    Metode 2: Gunakan antarmuka web YARN

    1. Lihat penggunaan sumber daya antrian kluster. Jika sumber daya antrian sering kurang dimanfaatkan, pertimbangkan untuk melakukan skala-masuk pada kelompok node Inti atau Tugas.

      Core_p1

    2. Pada halaman Nodes, urutkan node berdasarkan Alamat Node dan identifikasi node yang memiliki jumlah sumber daya memori tersedia terbesar. Kemudian, hapus node tersebut.

      core_p2

    Penting

    Jika kluster Anda adalah kluster Hadoop versi lama, perhatikan hal-hal berikut:

    • Jika kluster Anda adalah kluster non-ketersediaan tinggi, Anda tidak dapat menghapus node emr-worker-1 atau emr-worker-2 dari kluster.

    • Jika kluster Anda adalah kluster ketersediaan tinggi tetapi jumlah node masternya dua, Anda tidak dapat menghapus node emr-worker-1 dari kluster.

    Langkah 1: Lihat komponen pada node

    Saat melakukan skala-masuk kelompok node Inti atau Tugas dengan menghapus node, Anda harus terlebih dahulu membatalkan penerbitan komponen pada node tersebut sebelum melepas sumber daya node yang bersangkutan. Anda dapat melihat komponen yang diterapkan pada setiap node di halaman Nodes di konsol.

    core_p3

    Langkah 2: Batalkan penerbitan komponen yang diterapkan pada node

    Jika komponen berikut diterapkan pada node yang ingin Anda hapus, Anda harus membatalkan penerbitannya terlebih dahulu. Menghapus node tanpa membatalkan penerbitan komponen tersebut dapat menyebabkan kegagalan pekerjaan dan risiko keamanan data.

    Batalkan penerbitan komponen NodeManager layanan YARN

    1. Buka tab Status pada halaman layanan YARN.

      1. Masuk ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.

      2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.

      3. Pada halaman EMR on ECS, temukan kluster target dan klik Services di kolom Tindakan.

      4. Pada halaman Cluster Services, klik Status di area layanan YARN.

    2. Batalkan penerbitan komponen NodeManager yang diterapkan pada node yang diinginkan.

      1. Pada daftar Components, klik core_p0 > Unpublish di kolom Tindakan untuk NodeManager.

      2. Pada kotak dialog yang muncul, pilih Execution Scope > Specific Machine, masukkan Execution Reason, lalu klik OK.

      3. Pada kotak dialog pop-up, klik OK.

    3. Klik Operation History di pojok kanan atas untuk melihat progres operasi.

    Batalkan penerbitan komponen DataNode layanan HDFS

    1. Masuk ke node master kluster melalui mode SSH. Untuk informasi selengkapnya, lihat Masuk ke kluster.

    2. Beralih ke pengguna hdfs dan lihat jumlah NameNode.

      sudo su - hdfs
hdfs haadmin -getAllServiceState

    3. Masuk ke node tempat NameNode diterapkan melalui mode SSH dan tambahkan node yang ingin Anda batalkan penerbitan komponen DataNodenya ke file dfs.exclude. Kami menyarankan agar Anda hanya menambahkan satu node dalam satu waktu.

      • Kluster Hadoop

        touch /etc/ecm/hadoop-conf/dfs.exclude
vim /etc/ecm/hadoop-conf/dfs.exclude

        Dalam vim, tekan o untuk membuat baris baru dan masukkan hostname DataNode yang ingin Anda batalkan penerbitannya.

        emr-worker-3.cluster-xxxxx
emr-worker-4.cluster-xxxxx

      • Kluster Hadoop non-legacy

        touch /etc/taihao-apps/hdfs-conf/dfs.exclude
vim /etc/taihao-apps/hdfs-conf/dfs.exclude

        Masukkan o untuk menyisipkan baris baru dan masukkan hostname DataNode yang ingin Anda batalkan penerbitannya.

        core-1-3.c-0894dxxxxxxxxx
core-1-4.c-0894dxxxxxxxxx

    4. Beralih ke pengguna hdfs pada node tempat NameNode diterapkan dan jalankan perintah berikut. Setelah itu, HDFS secara otomatis akan mulai membatalkan penerbitan komponen DataNode.

      sudo su - hdfs
hdfs dfsadmin -refreshNodes

    5. Konfirmasi hasilnya.

      Jalankan perintah berikut untuk menentukan apakah proses offline telah selesai.

      hadoop dfsadmin -report

      Jika statusnya Decommissioned, data komponen DataNode telah dimigrasikan ke node lain dan komponen DataNode telah dibatalkan penerbitannya.

    Batalkan penerbitan komponen Backend layanan StarRocks

    1. Masuk ke kluster dan gunakan klien untuk mengaksesnya. Untuk informasi selengkapnya, lihat Quick Start.

    2. Jalankan perintah berikut untuk membatalkan penerbitan node BE menggunakan metode DECOMMISSION.

      ALTER SYSTEM DECOMMISSION backend "be_ip:be_heartbeat_service_port";

      Ganti parameter berikut sesuai kebutuhan:

      • be_ip: Alamat IP internal node BE yang ingin Anda lakukan skala-masuk. Anda dapat menemukan alamat IP tersebut di halaman Nodes.

      • be_heartbeat_service_port: Nilai defaultnya adalah 9050. Anda dapat menjalankan perintah show backends untuk melihat port tersebut.

      Jika proses Decommission lambat, Anda dapat menggunakan metode DROP untuk membatalkan penerbitan BE secara paksa.

      Penting

      Jika Anda menggunakan metode DROP untuk membatalkan penerbitan node BE, pastikan sistem memiliki tiga replika lengkap.

      ALTER SYSTEM DROP backend "be_ip:be_heartbeat_service_port";

    3. Jalankan perintah berikut untuk memeriksa status node BE:

      show backends;

      Starrocks1

      Jika nilai pada kolom SystemDecommissioned adalah true, node BE sedang dalam proses dihapus. Jika nilai pada kolom TabletNum adalah 0, sistem membersihkan metadata.

      Jika node BE tidak ditampilkan pada gambar di atas, node tersebut telah berhasil dihapus.

    Batalkan penerbitan komponen HRegionServer layanan HBase

    1. Buka tab Status pada halaman layanan HBase.

      1. Masuk ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.

      2. Di bilah menu atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.

      3. Pada halaman EMR on ECS, temukan kluster yang diinginkan dan klik Services di kolom Tindakan.

      4. Pada halaman Cluster Services, klik Status di area layanan HBase.

    2. Batalkan penerbitan komponen HRegionServer yang diterapkan pada node yang diinginkan.

      1. Pada bagian Components, klik Stop di kolom Tindakan HRegionServer.

      2. Pada kotak dialog, pilih Execution Scope > Specific Machine, masukkan Execution Reason, lalu klik OK.

      3. Pada kotak dialog, klik OK.

    3. Klik Operation History di pojok kanan atas untuk melihat progres operasi.

    Batalkan penerbitan komponen DataNode layanan HBase-HDFS

    1. Masuk ke node master kluster melalui mode SSH. Untuk informasi selengkapnya, lihat Masuk ke kluster.

    2. Jalankan perintah berikut untuk beralih ke pengguna hdfs dan mengatur variabel lingkungan:

      sudo su - hdfs
export HADOOP_CONF_DIR=/etc/taihao-apps/hdfs-conf/namenode

    3. Jalankan perintah berikut untuk melihat informasi tentang NameNode:

      hdfs dfsadmin -report

    4. Masuk ke node tempat NameNode diterapkan melalui mode SSH dan tambahkan node tempat Anda ingin membatalkan penerbitan komponen DataNode ke file dfs.exclude. Kami menyarankan agar Anda hanya menambahkan satu node dalam satu waktu.

      touch /etc/taihao-apps/hdfs-conf/dfs.exclude
vim /etc/taihao-apps/hdfs-conf/dfs.exclude

      Dalam vim, tekan o untuk membuat baris baru dan masukkan hostname DataNode yang ingin Anda batalkan penerbitannya.

      core-1-3.c-0894dxxxxxxxxx
core-1-4.c-0894dxxxxxxxxx

    5. Beralih ke pengguna hdfs pada node tempat NameNode diterapkan dan jalankan perintah berikut. Setelah itu, HDFS secara otomatis akan mulai membatalkan penerbitan komponen DataNode.

      sudo su - hdfs
export HADOOP_CONF_DIR=/etc/taihao-apps/hdfs-conf/namenode
hdfs dfsadmin -refreshNodes

    6. Konfirmasi hasilnya.

      Jalankan perintah berikut untuk memeriksa apakah komponen DataNode telah dibatalkan penerbitannya:

      hadoop dfsadmin -report

      Jika statusnya Decommissioned, data komponen DataNode telah dimigrasikan ke node lain dan komponen DataNode telah dibatalkan penerbitannya.

      Batalkan penerbitan komponen JindoStorageService layanan SmartData (kluster Hadoop)

      1. Buka tab Status pada halaman layanan SmartData.

        1. Masuk ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.

        2. Di bilah menu atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.

        3. Pada halaman EMR on ECS, klik Services di kolom Tindakan kluster target.

        4. Pada halaman Cluster Services, klik Status di area layanan SmartData.

      2. Batalkan penerbitan komponen JindoStorageService yang diterapkan pada node yang diinginkan.

        1. Pada Components List, klik core_p0 > Unpublish di kolom Tindakan JindoStorageService.

        2. Pada kotak dialog yang muncul, pilih Execution Scope > Specific Machine, masukkan Execution Reason, lalu klik OK.

        3. Pada kotak dialog pop-up, klik OK.

      3. Klik Operation History di pojok kanan atas untuk melihat progres operasi.

    Langkah 3: Lepaskan node

    Penting

    Untuk menghapus node dalam kelompok node kluster EMR Anda, Anda harus membuka Konsol ECS untuk melepas instance ECS yang sesuai dengan node tersebut. Jika Anda ingin melakukan operasi ini sebagai Pengguna RAM, Anda harus memiliki izin ECS yang diperlukan. Kami menyarankan agar Anda menyambungkan kebijakan AliyunECSFullAccess ke Pengguna RAM tersebut.

    1. Buka tab Nodes.

      1. Masuk ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.

      2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.

      3. Pada halaman EMR on ECS, temukan kluster yang diinginkan dan klik Nodes di kolom Tindakan.

    2. Pada halaman Nodes, klik ID ECS dari node yang ingin Anda lepaskan.

      Anda akan diarahkan ke Konsol Elastic Compute Service (ECS).

    3. Lepaskan instance di Konsol ECS. Untuk informasi selengkapnya, lihat Lepaskan instance.

    Referensi

    • Untuk informasi tentang cara melakukan skala-masuk kelompok node Tugas yang berisi instance bayar sesuai penggunaan atau instance preemptible, lihat Skala-masuk kluster.

    • Jika kluster Anda memiliki sumber daya komputasi yang tidak mencukupi, Anda dapat melakukan skala-keluar pada kelompok node Inti dan Tugas. Untuk informasi selengkapnya, lihat Skala-keluar kluster.

    • Jika Anda ingin menyesuaikan sumber daya komputasi kluster secara otomatis sesuai kebutuhan, Anda dapat mengatur aturan Penyesuaian Skala Otomatis terkelola atau kustom untuk kelompok node Anda. Untuk informasi selengkapnya, lihat Penyesuaian Skala Otomatis.