E-MapReduce:Upgrade konfigurasi node

Prasyarat

Anda harus memiliki kluster E-MapReduce (EMR). Untuk informasi selengkapnya, lihat Create a cluster.

Batasan

• Anda tidak dapat melakukan upgrade konfigurasi Instance ECS dari keluarga instans big data atau yang menggunakan SSD lokal.

• Anda hanya dapat melakukan upgrade konfigurasi Instance ECS dalam kelompok node. Penurunan spesifikasi tidak didukung.

Prosedur

1. Buka halaman Nodes.

   1. Login ke E-MapReduce console.

   2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.

   3. Pada kolom Actions kluster target, klik Nodes.

2. Di halaman Nodes, pada kolom Actions kelompok node target, pilih > Upgrade Configuration.

3. Konfigurasikan pengaturan upgrade.

   1. Pada kotak dialog Upgrade Configuration, atur pengaturannya.

      Parameter	Deskripsi
      Instance Type	Pilih tipe instans dengan spesifikasi lebih tinggi. Catatan Tipe instans yang tersedia untuk upgrade ditampilkan di konsol.
      Rolling Restart	Off (Default): Merestart semua Instance ECS dalam kelompok node secara bersamaan. On: Merestart instans secara berurutan. Sistem menunggu hingga sebuah Instance ECS dan layanan big data-nya pulih sepenuhnya sebelum merestart instans berikutnya.

   2. Klik OK.

      Proses pembuatan pesanan mungkin memerlukan waktu.

   3. Lakukan pembayaran untuk pesanan tersebut.

      Setelah pembayaran, tipe instans baru akan ditampilkan di konsol tetapi belum berlaku hingga proses upgrade selesai.

      Penting

      Proses upgrade dimulai setelah Anda membayar pesanan. Selama proses ini, node dalam kelompok node saat ini akan direstart secara otomatis, yang dapat memengaruhi workload produksi Anda. Lakukan dengan hati-hati.

4. Opsional: Modifikasi konfigurasi YARN.

   Jika YARN diinstal pada kluster Anda, ikuti langkah-langkah berikut untuk memodifikasi konfigurasi YARN secara manual agar menggunakan resource kluster yang baru.

   1. Di tab Services pada konsol E-MapReduce (EMR), klik Configure di bagian YARN.

   2. Dari daftar drop-down Default Cluster Configuration, pilih Node Group Configuration.

      Klik tab Configure.

   3. Dari daftar drop-down Select a node group., pilih kelompok node yang telah di-upgrade.

      Kelompok node yang tersedia meliputi emr-master (MASTER), emr-core (CORE), dan task (TASK).

   4. Modifikasi konfigurasi CPU.

      Di kotak pencarian, cari parameter yarn.nodemanager.resource.cpu-vcores dan ubah nilainya sesuai kebutuhan Anda.

      Untuk workload komputasi-intensif, rasio parameter terhadap vCPU sebesar 1:1 direkomendasikan. Untuk workload campuran, Anda dapat mengatur rasio hingga 2:1.

      Sebagai contoh, jika sebuah node komputasi memiliki 32 vCore untuk workload komputasi-intensif, atur yarn.nodemanager.resource.cpu-vcores menjadi 32. Jika sebuah node komputasi memiliki 32 vCore untuk workload campuran, Anda dapat mengatur nilai yarn.nodemanager.resource.cpu-vcores antara 32 hingga 64.

   5. Modifikasi konfigurasi memori.

      Di kotak pencarian, cari parameter yarn.nodemanager.resource.memory-mb dan atur nilainya menjadi node memory*0.8, dalam satuan MB.

      Sebagai contoh, jika node memiliki memori 32 GB, atur yarn.nodemanager.resource.memory-mb menjadi 26214.

   6. Simpan konfigurasi.

      1. Di bagian bawah halaman, klik Save.

      2. Pada kotak dialog yang muncul, masukkan Execution Reason dan klik Save.

   7. Terapkan konfigurasi.

      1. Pilih More > Configure.

      2. Pada kotak dialog yang muncul, masukkan Execution Reason dan klik OK.

      3. Pada kotak dialog konfirmasi, klik OK.

         Anda dapat mengklik Operation History di bagian atas halaman untuk memeriksa status tugas. Saat status tugas berubah menjadi Complete, restart layanan tersebut.

   8. Restart layanan.

      1. Pilih More > Restart.

      2. Pada kotak dialog yang muncul, masukkan Execution Reason dan klik OK.

      3. Pada kotak dialog konfirmasi, klik OK.

         Anda dapat mengklik Operation History di bagian atas halaman untuk memeriksa status. Saat status berubah menjadi Complete, layanan telah berhasil direstart.

      Penting

      Lakukan restart ResourceManager selama jam sepi untuk mencegah pekerjaan yang sedang berjalan gagal.