Peningkatan konfigurasi node - E-MapReduce

Jika vCPU atau memori dari instance Elastic Compute Service (ECS) dalam grup node tidak dapat memenuhi kebutuhan bisnis Anda, Anda dapat meningkatkan konfigurasi instance tersebut. Topik ini menjelaskan cara melakukan peningkatan konfigurasi node.

Prasyarat

Cluster E-MapReduce (EMR) telah dibuat. Untuk informasi lebih lanjut, lihat Buat Cluster.

Batasan

Anda tidak dapat meningkatkan konfigurasi instance ECS yang termasuk dalam keluarga instans big data atau keluarga instans yang menggunakan SSD lokal.
Anda hanya dapat meningkatkan konfigurasi instance ECS dalam grup node. Penurunan konfigurasi tidak didukung.

Prosedur

Buka tab Nodes.
1. Masuk ke Konsol EMR. Di panel navigasi kiri, klik EMR on ECS.
2. Di bilah navigasi atas, pilih wilayah tempat cluster Anda berada dan pilih grup sumber daya sesuai kebutuhan bisnis Anda.
3. Di halaman EMR on ECS, temukan cluster yang diinginkan dan klik Nodes di kolom Actions.
Di tab Nodes, temukan grup node yang diinginkan, arahkan pointer ke ikon di kolom Actions, lalu pilih Upgrade Configuration.

Tingkatkan konfigurasi node.

Di kotak dialog Upgrade Configuration, modifikasi parameter sesuai kebutuhan bisnis Anda. Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Instance Type	Pilih spesifikasi instans dan tipe instans. Anda hanya dapat memilih tipe instans dengan spesifikasi yang lebih tinggi. Catatan Tipe instans yang dapat Anda pilih ditampilkan di Konsol EMR.
Rolling Restart	Secara default, Restart Bergulir dimatikan. Ini menunjukkan bahwa sistem akan memulai ulang semua instance ECS di grup node yang diinginkan secara bersamaan. Jika Anda mengaktifkan Restart Bergulir, sistem hanya akan memulai ulang sebuah instance ECS setelah instance ECS sebelumnya dimulai ulang dan semua layanan big data yang diterapkan pada instance sebelumnya dipulihkan.

Klik OK.
Setelah beberapa saat, pesanan akan dibuat.
Lengkapi pembayaran.
Tipe instans baru akan ditampilkan untuk instans yang sesuai di Konsol ECS setelah pembayaran selesai, tetapi tidak akan berlaku sampai proses peningkatan selesai.
Penting
Setelah pembayaran selesai, sistem akan memulai ulang node di grup node saat ini. Operasi ini mungkin mempengaruhi bisnis online. Lanjutkan dengan hati-hati.

Opsional. Modifikasi konfigurasi beberapa layanan yang ada.
Jika YARN diterapkan di cluster Anda, lakukan langkah-langkah berikut untuk memodifikasi konfigurasi YARN agar YARN dapat menerapkan sumber daya cluster baru:
1. Di tab Services, temukan YARN dan klik Configure di bagian YARN.
2. Pilih Node Group Configuration dari daftar drop-down Default Cluster Configuration.
3. Pilih grup node yang konfigurasinya ditingkatkan dari daftar drop-down.Select a node group.
4. Modifikasi konfigurasi vCPU.
  Cari parameter yarn.nodemanager.resource.cpu-vcores dan ubah nilainya sesuai kebutuhan bisnis Anda.
  Dalam skenario komputasi-intensif, kami merekomendasikan Anda mengatur parameter ini ke jumlah vCPU dari setiap instance ECS. Dalam skenario yang melibatkan tugas komputasi-intensif dan I/O intensif, kami merekomendasikan Anda mengatur parameter ini ke nilai yang berkisar antara jumlah vCPU dari setiap instance ECS hingga dua kali lipat jumlah tersebut.
  Sebagai contoh, jika Anda menggunakan instance ECS 32-vCPU dalam skenario komputasi-intensif, atur parameter yarn.nodemanager.resource.cpu-vcores menjadi 32. Jika Anda menggunakan instance ECS 32-vCPU dalam skenario yang melibatkan tugas komputasi-intensif dan I/O intensif, atur parameter yarn.nodemanager.resource.cpu-vcores menjadi nilai yang berkisar antara 32 hingga 64.
5. Modifikasi konfigurasi memori.
  Cari parameter yarn.nodemanager.resource.memory-mb, dan ubah nilainya menjadi 80% dari ukuran memori setiap instance ECS. Unit: MiB.
  Sebagai contoh, jika ukuran memori setiap instance ECS adalah 32 GiB, atur parameter yarn.nodemanager.resource.memory-mb menjadi 26214.
6. Simpan konfigurasi.
  1. Klik Save.
  2. Di kotak dialog yang muncul, konfigurasikan parameter Execution Reason dan klik Save.
7. Terbitkan konfigurasi.
  1. Pilih More > Configure.
  2. Di kotak dialog yang muncul, konfigurasikan parameter Execution Reason dan klik OK.
  3. Di Pesan Konfirmasi, klik OK.
    Anda dapat mengklik Operation History di sudut kanan atas untuk melihat status tugas. Setelah tugas memasuki status Complete, mulai ulang layanan YARN.
8. Mulai ulang layanan YARN.
  1. Di sudut kanan atas, pilih More > Restart.
  2. Di kotak dialog yang muncul, konfigurasikan parameter Execution Reason dan klik OK.
  3. Di Pesan Konfirmasi, klik OK.
    Anda dapat mengklik Operation History di sudut kanan atas untuk melihat status tugas. Setelah tugas memasuki status Complete, layanan YARN dimulai ulang.
  Penting
  Memulai ulang komponen ResourceManager dapat menyebabkan pekerjaan gagal. Kami merekomendasikan Anda memulai ulang komponen tersebut selama jam-jam sepi.