E-MapReduce:Mengonfigurasi perangkat lunak kustom

Konfigurasi saat pembuatan kluster

1. Masuk ke Konsol E-MapReduce.

2. Pada bilah menu atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.

3. Pada halaman EMR on ECS, klik CREATE_CLUSTER.

4. Pada bagian Software Configuration, di bawah Advanced Settings, aktifkan sakelar Custom Software Configuration.

   Anda dapat menambahkan file konfigurasi berformat JSON untuk mengganti parameter layanan default atau menambahkan parameter baru selama pembuatan kluster. Berikut contoh kodenya.

   [
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
           "ConfigItemValue":"8"
       },
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"aaa",
           "ConfigItemValue":"bbb"
       }
   ]

   • Tabel berikut menjelaskan setiap parameter.

     Parameter	Deskripsi
     ApplicationName	Nama layanan. Nilainya harus dalam huruf kapital.
     ConfigFileName	Nama file konfigurasi yang akan dimodifikasi. Catatan Untuk memastikan file konfigurasi diterapkan dengan benar, ikuti konvensi penamaan file yang ditentukan. Untuk kluster Data Lake, DataFlow, OLAP, DataServing, atau Custom, ekstensi file wajib dicantumkan. Contohnya: yarn-site.xml. Untuk kluster data lake lama (Hadoop), ekstensi file tidak diperlukan. Contohnya: yarn-site.
     ConfigItemKey	Nama item konfigurasi.
     ConfigItemValue	Nilai yang akan diatur untuk item konfigurasi tersebut.

   • Tabel berikut mencantumkan file konfigurasi untuk setiap layanan.

     Layanan	File konfigurasi
     YARN	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
     Hive	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

   Setelah mengonfigurasi parameter komponen, lanjutkan proses pembuatan kluster. Untuk detailnya, lihat Create Cluster.

Konfigurasi saat menambahkan kelompok node

Anda dapat melakukan scale out pada kluster yang sedang berjalan dengan menambahkan kelompok node. Saat menambahkan kelompok node, Anda juga dapat menyesuaikan konfigurasi layanan. Untuk detailnya, lihat Manage Node Groups.

Dokumen terkait

Setelah kluster dibuat, Anda juga dapat memodifikasi konfigurasi pada halaman masing-masing layanan. Untuk detailnya, lihat Manage Configuration Items.