E-MapReduce：Kelola kelompok node

Batasan

• Operasi dalam topik ini hanya berlaku untuk kluster DataLake, DataFlow, OLAP, DataServing, dan Custom.

• Kelompok node tugas yang menggunakan metode penagihan Pay-as-you-go atau Spot Instance pada Billing Method tidak memenuhi syarat untuk Configuration Upgrades.

  Untuk informasi selengkapnya tentang peningkatan konfigurasi, lihat Tingkatkan konfigurasi node.

Tambahkan kelompok node

1. Buka tab Nodes.

   1. Masuk ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.

   2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih kelompok sumber daya berdasarkan kebutuhan bisnis Anda.

   3. Pada halaman EMR on ECS, temukan kluster yang ingin Anda kelola dan klik Nodes di kolom Tindakan.

2. Pada halaman Node Management, klik Add Node Group.

3. Pada panel Add Node Group, Anda dapat mengonfigurasi parameter berikut.

   Parameter	Deskripsi
   Zone	Zona tempat kluster berada ditampilkan secara default. Klik View All Zones untuk memilih zona lain di wilayah tersebut. Anda hanya dapat menambahkan kelompok node tugas di zona lain. Setelah Anda menambahkan kelompok node yang mencakup beberapa zona, aktifkan fitur YARN Node Label untuk membagi kluster menjadi partisi berbeda. Hal ini mengurangi dampak ketidakpastian bandwidth akibat transmisi jaringan, terutama selama proses shuffle, terhadap efisiensi tugas. Untuk informasi selengkapnya, lihat Gunakan Node Labels untuk partisi node.
   Node Group Type	Anda dapat menambahkan empat jenis kelompok node berikut: Core: Kelompok node inti. Jenis ini cocok untuk skenario dengan volume data kecil, seperti analisis log dan statistik lalu lintas situs web. Task: Kelompok node tugas. Jenis ini cocok untuk skenario di mana Anda perlu menambahkan sementara sumber daya komputasi, seperti pemrosesan batch dan pembersihan data. Gateway: Kelompok node gerbang. Jenis ini hanya didukung oleh kluster DataLake dan DataFlow EMR versi V5.10.1 atau lebih baru. Jenis ini cocok untuk skenario di mana tugas sering diajukan, seperti pelatihan model oleh ilmuwan data dan pemrosesan data oleh insinyur data. Master-Extend: Kelompok ekstensi beban. Jenis ini hanya didukung oleh kluster ketersediaan tinggi EMR versi V3.51.1 atau lebih baru dan EMR versi V5.17.1 atau lebih baru. Jika node master kluster memiliki muatan tinggi, Anda dapat menambahkan kelompok node Master-Extend untuk menempatkan layanan pada kelompok node berbeda. Hal ini mendistribusikan tekanan pada node master. Jenis ini cocok untuk skenario dengan kluster berskala besar dan muatan node master tinggi. Catatan Setelah layanan ditambahkan, layanan tersebut tidak ditempatkan pada kelompok node Master-Extend secara default. Untuk menempatkan layanan, Anda dapat memilih layanan tersebut saat menambahkan kelompok node Master-Extend.
   Billing Method	Metode penagihan untuk kelompok node. Metode penagihan yang didukung adalah bayar sesuai penggunaan, instans spot, dan langganan. Catatan Hanya kelompok node tugas yang mendukung instans spot.
   Node Group Name	Nama kelompok node harus unik.
   Deploy Services	Hanya kelompok node Master-Extend yang mendukung penempatan layanan kustom. Layanan berikut dapat ditempatkan: Hive: HiveMetaStore, HiveServer Kyuubi: KyuubiServer Spark: SparkHistoryServer, SparkThriftServer
   Enable Internet Access	Pilih apakah akan mengaktifkan akses Internet untuk kelompok node. Jika Anda mengaktifkan fitur ini, semua node dalam kelompok node akan terhubung ke Internet.
   VSwitch	Anda dapat mengatur vSwitch dalam VPC yang sama saat membuat kelompok node. vSwitch tidak dapat diubah setelah kelompok node dibuat. Catatan Anda tidak dapat mengatur vSwitch yang berada di VPC tetapi tidak berada di zona yang sama dengan kluster.
   Additional Security Group	(Opsional) Anda dapat mengaitkan lebih banyak grup keamanan dengan kelompok node. Anda dapat mengaitkan hingga empat grup keamanan tambahan dengan kelompok node.
   Instance Type	Pilih tipe instans sesuai kebutuhan. Jika metode penagihan adalah langganan, Anda hanya dapat memilih satu tipe instans. Jika metode penagihan adalah bayar sesuai penggunaan atau instans spot dan tipe kelompok node adalah Task, Anda dapat memilih hingga 10 tipe instans dengan jumlah vCPU dan ukuran memori yang sama sebagai opsi cadangan.
   Storage Configuration	System Disk: Pilih SSD Perusahaan (ESSD) atau disk ultra sesuai kebutuhan. Ukuran disk sistem dapat berkisar antara 60 GiB hingga 500 GiB. Disarankan ukuran minimal 120 GiB. Data Disk: Pilih ESSD atau disk ultra sesuai kebutuhan. Ukuran disk data dapat berkisar antara 40 GiB hingga 32.768 GiB. Disarankan ukuran minimal 80 GiB. Catatan Jika Anda memilih enhanced SSD, Anda dapat menentukan tingkat kinerja (PL) berbeda untuk enhanced SSD berdasarkan kapasitas disk guna memenuhi berbagai kebutuhan kinerja kluster. Tingkat kinerja default adalah PL1. Saat mengonfigurasi disk sistem, Anda dapat memilih enhanced SSD dengan tingkat kinerja berikut: PL0, PL1, dan PL2. Saat mengonfigurasi disk data, Anda dapat memilih enhanced SSD dengan tingkat kinerja berikut: PL0, PL1, PL2, dan PL3. Untuk informasi selengkapnya, lihat Disk.
   Resource Reservation Policy	Catatan Parameter ini tersedia hanya jika Node Group Type diatur ke TASK (Task Instance Group) dan Billing Method diatur ke Pay-as-you-go. Kebijakan pemesanan sumber daya memungkinkan Anda mengaitkan kolam ECS pribadi Anda. Anda dapat membuka Konsol ECS untuk memesan sumber daya. Untuk informasi selengkapnya, lihat Ikhtisar Resource Butler. Public Pool Only (Default): Menggunakan sumber daya langsung dari kolam sumber daya publik. Private Pool First: Pilih opsi ini jika Anda telah membuat kolam pribadi di Konsol ECS dan ingin menggunakan sumber daya tersebut yang telah dialokasikan sebelumnya untuk proyek atau tim tertentu. Sistem pertama-tama akan mencoba mendapatkan instance ECS dari kolam pribadi yang Anda tentukan. Jika kolam pribadi tidak memiliki cukup sumber daya yang tersedia, sistem secara otomatis beralih ke kolam sumber daya publik untuk memenuhi permintaan. Specified Private Pool: Tentukan ECS private pool untuk kluster EMR saat ini.
   Automatic Compensation	Catatan Parameter ini tersedia hanya jika Node Group Type diatur ke TASK(Task Instance Group). Jika Anda mengaktifkan kompensasi otomatis, EMR secara otomatis memantau status berjalan node dalam kelompok node saat ini. Jika terdeteksi node abnormal, EMR secara otomatis melepas node tersebut dan memperluas kapasitas dengan jumlah node baru yang sama. Untuk informasi selengkapnya, lihat Kompensasi node.
   Scaling Policy	Catatan Parameter ini tersedia hanya jika Billing Method diatur ke **Spot instance**. Priority Policy (Default) Saat node dibuat, sistem mencoba membeli instans mulai dari tipe instans pertama hingga pembuatan berhasil. Tipe instans yang akhirnya dibeli dapat berbeda-beda tergantung stok. Cost Optimization Policy Saat memperluas kapasitas, Penyesuaian Skala Otomatis mencoba membuat instance ECS dalam urutan harga satuan vCPU dari yang termurah. Saat memperkecil kapasitas, Penyesuaian Skala Otomatis mencoba menghapus instance ECS dalam urutan harga satuan vCPU dari yang termahal. Jika metode penagihan dalam konfigurasi penskalaan diatur ke instans spot, instans spot dibuat dengan prioritas. Jika instans spot dari tipe instans yang ditentukan tidak dapat dibuat karena alasan seperti stok tidak mencukupi, sistem secara otomatis mencoba membuat instans berbayar sesuai penggunaan. Untuk informasi selengkapnya, lihat Mode pengoptimalan biaya.
   Graceful Shutdown	Catatan Parameter ini tersedia hanya untuk kluster yang menerapkan layanan YARN. Jika Anda mengaktifkan shutdown yang mulus, sistem menunggu tugas pada node selesai atau hingga periode waktu tunggu yang ditentukan berakhir sebelum memperkecil kapasitas node tersebut. Anda dapat membuka halaman layanan YARN dan mengonfigurasi parameter yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs untuk mengubah periode waktu tunggu shutdown yang mulus.

4. Klik OK.

   Setelah kelompok node ditambahkan, kelompok tersebut akan muncul di halaman Node Management.

Modifikasi kelompok node

1. Pada halaman Node Management, klik Node Group Name dari kelompok yang dituju.

2. Pada kotak dialog Node Group Properties, modifikasi informasi kelompok node dan klik Save.

   • Untuk kelompok node Master, Core, Gateway, dan Master-Extend, Anda dapat memodifikasi nama kelompok node dan grup keamanan tambahan.

   • Untuk kelompok node Task, Anda dapat memodifikasi nama kelompok node, spesifikasi node, dan grup keamanan tambahan. Anda juga dapat mengonfigurasi pengaturan di bagian Advanced Information.

Hapus kelompok node

1. Pada halaman Node Management, temukan kelompok node yang diinginkan dan klik Delete Node Group di kolom Tindakan.

2. Pada kotak dialog yang muncul, klik Delete.

Mode pengoptimalan biaya

Dalam mode ini, Anda dapat membuat kebijakan kontrol biaya yang lebih rinci untuk menyeimbangkan biaya dan stabilitas.

Jika Anda tidak menentukan parameter Minimum Pay-As-You-Go Nodes, Percentage of Pay-As-You-Go Nodes, atau Lowest-Cost Instance Types, kelompok mesin tersebut merupakan grup penskalaan pengoptimalan biaya umum. Jika Anda menentukan parameter-parameter tersebut, kelompok mesin tersebut merupakan grup penskalaan pengoptimalan biaya instans campuran. Kedua jenis grup penskalaan pengoptimalan biaya tersebut sepenuhnya kompatibel satu sama lain dalam hal antarmuka dan fitur.

Referensi

• Untuk memperluas kapasitas kelompok node, lihat Perluas kapasitas kluster.

• Untuk memperkecil kapasitas kelompok node, lihat Perkecil kapasitas kluster.

• Untuk memperluas kapasitas disk, lihat Perluas kapasitas disk.

• Untuk mengonfigurasi aturan Penyesuaian Skala Otomatis, lihat Buat kebijakan penskalaan kustom.

• Untuk melihat catatan Penyesuaian Skala Otomatis, lihat Lihat aktivitas penskalaan.