All Products
Search

This Product

    E-MapReduce:Kelola item konfigurasi

    Document Center

    E-MapReduce:Kelola item konfigurasi

    Last Updated:Mar 27, 2026

    E-MapReduce (EMR) memungkinkan Anda melihat, mengubah, dan menambahkan item konfigurasi untuk layanan seperti Hadoop Distributed File System (HDFS), YARN, dan Spark langsung di Konsol EMR.

    Prasyarat

    Sebelum memulai, pastikan Anda telah:

    • Membuat kluster EMR. Untuk informasi selengkapnya, lihat Buat kluster.

    Cara kerja

    EMR mengelola item konfigurasi pada tiga tingkat: kluster, kelompok node, dan node. Jika item konfigurasi yang sama diatur pada beberapa tingkat, nilai pada tingkat prioritas tertinggi yang berlaku. Urutan prioritas: node > kelompok node > kluster.

    Secara default, tab Configure menampilkan item konfigurasi tingkat kluster. Untuk melihat atau mengubah item tingkat kelompok node atau node, ubah cakupan menggunakan daftar drop-down Default Cluster Configuration:

    • Node Group Configuration — menerapkan pengaturan ke semua node dalam kelompok node

    • Independent Node Configuration — menerapkan pengaturan ke node tertentu

    Item tingkat kelompok node dan node hanya dapat dilihat saat Default Cluster Configuration dipilih. Untuk mengubahnya, alihkan terlebih dahulu ke cakupan yang sesuai.
    image

    Lihat item konfigurasi

    1. Masuk ke Konsol EMR. Di panel navigasi kiri, klik EMR on ECS.

    2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.

    3. Temukan kluster dan klik Services di kolom Actions.

    4. Di tab Services, temukan layanan dan klik Configure.

    5. Di kotak pencarian, masukkan nama item konfigurasi.

    Jika item konfigurasi tingkat kelompok node atau node diubah, atau pengaturannya tidak konsisten dengan pengaturan default tingkat kluster, pengaturan item tersebut akan ditampilkan di tab Configure saat Default Cluster Configuration dipilih.
    Untuk melihat item konfigurasi tingkat kelompok node atau node, pilih Node Group Configuration atau Independent Node Configuration dari daftar drop-down Default Cluster Configuration, lalu pilih kelompok node atau node tertentu.

    Ubah item konfigurasi

    1. Masuk ke Konsol EMR. Di panel navigasi kiri, klik EMR on ECS.

    2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.

    3. Temukan kluster dan klik Services di kolom Actions.

    4. Di tab Services, temukan layanan dan klik Configure.

    5. (Opsional) Untuk mengubah item tingkat kelompok node atau node, pilih Node Group Configuration atau Independent Node Configuration dari daftar drop-down Default Cluster Configuration.

    6. Di kotak pencarian, masukkan nama item konfigurasi dan klik ikon pencarian.

    7. Ubah nilai item konfigurasi. > Tip: Misalnya, untuk meningkatkan memori NodeManager, atur yarn.nodemanager.resource.memory-mb ke nilai yang lebih tinggi seperti 8192.

    8. Klik Save. Di kotak dialog Save, atur Execution Reason lalu klik Save.

      Sakelar Save and Deliver Configuration diaktifkan secara default. Saat diaktifkan, konfigurasi dikirim ke client segera setelah disimpan, dan Anda dapat mengaktifkannya menggunakan mode prompt. Nonaktifkan sakelar ini untuk mengaktifkan konfigurasi secara manual menggunakan mode manual.

    9. Aktifkan konfigurasi. Lihat Aktifkan konfigurasi.

    Tambahkan item konfigurasi

    1. Masuk ke Konsol EMR. Di panel navigasi kiri, klik EMR on ECS.

    2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya.

    3. Temukan kluster dan klik Services di kolom Actions.

    4. Di tab Services, temukan layanan dan klik Configure.

    5. Klik tab tempat Anda ingin menambahkan item konfigurasi, lalu klik Add Configuration Item.

    6. Isi detail konfigurasi. Anda dapat menambahkan beberapa item sekaligus.

      FieldDescription
      KeyNama item konfigurasi
      ValueNilai item konfigurasi
      DescriptionDeskripsi item konfigurasi
      ActionsHapus item konfigurasi

    7. Klik OK. Di kotak dialog, atur Execution Reason lalu klik Save.

    8. Aktifkan konfigurasi. Lihat Aktifkan konfigurasi.

    Aktifkan konfigurasi

    Setelah menyimpan, aktifkan konfigurasi berdasarkan jenisnya dan mode yang Anda pilih.

    Mode Prompt

    Mode prompt hanya tersedia untuk EMR V5.12.1, EMR V3.46.1, dan versi minor yang lebih baru.

    Konfigurasi sisi client

    1. Setelah menyimpan, klik prompt image.png (To Be Delivered).

    2. Di pesan Configurations to Be Delivered, klik Deliver.

      Untuk layanan YARN, jika item yang diubah mencakup item konfigurasi terkait antrian, klik prompt image.png (Not Effective Yet) atau klik Deploy di tab Edit Resource Queue pada halaman layanan YARN untuk mengaktifkan perubahan.

    Konfigurasi sisi server

    1. Setelah menyimpan, klik prompt image.png (Not Effective Yet).

    2. Di kotak dialog Configurations to Take Effect, aktifkan setiap komponen berdasarkan jenisnya:

      • Konfigurasi yang Memerlukan Operasi Khusus: Klik aksi yang sesuai di kolom Actions untuk setiap komponen.

      • Konfigurasi yang Memerlukan Restart: Klik restart di kolom Actions untuk suatu komponen, atau pilih beberapa komponen lalu klik Batch Restart. Di kotak dialog, atur Execution Reason lalu klik OK.

    Mode manual

    Konfigurasi sisi client

    1. Klik Deploy Client Configuration di sebelah Save di bagian bawah halaman.

    2. Di kotak dialog, atur Execution Reason lalu klik OK.

    3. Di pesan Confirm, klik OK.

    Konfigurasi sisi server

    1. Pilih More > Restart di pojok kanan atas tab Configure.

    2. Di kotak dialog, atur Execution Reason lalu klik OK.

    3. Di pesan Confirm, klik OK.

    Item konfigurasi yang dapat diubah

    Tabel berikut mencantumkan item konfigurasi yang dapat diubah pada tingkat node dan kelompok node di kluster EMR V5.17.1.

    Item konfigurasi terkait Kerberos hanya tersedia jika otentikasi Kerberos diaktifkan.

    <table> <thead> <tr> <td><p><b>Service name</b></p></td> <td><p><b>File</b></p></td> <td><p><b>Configuration item</b></p></td> </tr> </thead> <colgroup></colgroup> <colgroup></colgroup> <colgroup></colgroup> <tbody> <tr> <td><p>Hadoop-Common</p></td> <td><p>core-site.xml</p></td> <td><p>fs.oss.tmp.data.dirs</p><p>hadoop.tmp.dir</p></td> </tr> <tr> <td><p>HDFS</p></td> <td><p>hdfs-env.sh</p></td> <td><p>hadoop_datanode_heapsize</p><p>hadoop_secondarynamenode_opts</p><p>hadoop_namenode_heapsize</p></td> </tr> <tr> <td><p>hdfs-site.xml</p></td> <td><p>dfs.datanode.data.dir</p><p>dfs.datanode.failed.volumes.tolerated</p><p>dfs.datanode.du.reserved</p><p>dfs.datanode.balance.max.concurrent.moves</p></td> </tr> <tr> <td><p>OSS-HDFS</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Hive</p></td> <td><p>hive-env.sh</p></td> <td><p>hive_metastore_heapsize</p><p>hive_server2_heapsize</p></td> </tr> <tr> <td><p>Spark2</p></td> <td><p>hiveserver2-site.xml</p></td> <td><p>hive.server2.authentication.kerberos.principal</p></td> </tr> <tr> <td><p>spark-env.sh</p></td> <td><p>spark_history_daemon_memory</p><p>spark_thrift_daemon_memory</p></td> </tr> <tr> <td><p>spark-thriftserver.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.hadoop.hive.server2.thrift.bind.host</p><p>spark.yarn.principal</p></td> </tr> <tr> <td><p>spark-defaults.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.history.kerberos.principal</p></td> </tr> <tr> <td><p>Spark3</p></td> <td><p>hiveserver2-site.xml</p></td> <td><p>hive.server2.authentication.kerberos.principal</p></td> </tr> <tr> <td><p>spark-env.sh</p></td> <td><p>spark_history_daemon_memory</p><p>spark_thrift_daemon_memory</p></td> </tr> <tr> <td><p>spark-thriftserver.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.hadoop.hive.server2.thrift.bind.host</p><p>spark.kerberos.principal</p></td> </tr> <tr> <td><p>spark-defaults.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.history.kerberos.principal</p></td> </tr> <tr> <td><p>Tez</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Trino</p></td> <td><p>iceberg.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>delta.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>config.properties</p></td> <td><p>coordinator</p><p>node-scheduler.include-coordinator</p><p>query.max-memory</p><p>query.max-total-memory</p><p>query.max-memory-per-node</p><p>http-server.authentication.type</p><p>http-server.authentication.krb5.user-mapping.pattern</p><p>http-server.authentication.krb5.service-name</p><p>http-server.authentication.krb5.keytab</p><p>http.authentication.krb5.config</p><p>http-server.https.enabled</p><p>http-server.https.port</p><p>http-server.https.keystore.key</p><p>http-server.https.keystore.path</p><p>event-listener.config-files</p> <div> <div> <i></i> </div> <div> <strong>Note </strong> <p>event-listener.config-files menentukan path tempat file konfigurasi event listener disimpan. Item konfigurasi ini hanya tersedia jika Anda mengaktifkan EmrEventListener. </p> </div> </div></td> </tr> <tr> <td><p>jvm.config</p></td> <td><p>jvm parameter</p></td> </tr> <tr> <td><p>hudi.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>password-authenticator.properties</p></td> <td><p>ldap.url</p><p>ldap.user-bind-pattern</p></td> </tr> <tr> <td><p>hive.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>DeltaLake</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Hudi</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Iceberg</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>JindoData</p></td> <td><p>storage.yaml</p></td> <td><p>jindofsx.storage.cache-mode</p><p>storage.watermark.high.ratio</p><p>storage.watermark.low.ratio</p><p>storage.handler.threads</p> <div> <div> <i></i> </div> <div> <strong>Note </strong> <ul> <li><p>JindoData berlaku untuk kluster EMR V5.14.0 atau versi minor yang lebih baru dan kluster EMR V3.48.0 atau versi minor yang lebih baru. </p></li> <li><p>JindoData tidak tersedia untuk kluster EMR V5.15.0 atau versi minor yang lebih baru dan kluster EMR V3.49.0 atau versi minor yang lebih baru. Anda dapat menggunakan <a href="https://www.alibabacloud.com/help/en/document_detail/2579701.html">JindoCache</a> untuk caching data dan <a href="https://www.alibabacloud.com/help/en/document_detail/455181.html">DLF-Auth</a> untuk otentikasi. </p></li> </ul> </div> </div></td> </tr> <tr> <td><p>Flume</p></td> <td><p>flume-conf.properties</p></td> <td><p>agent_name</p><p>flume-conf.properties</p></td> </tr> <tr> <td><p>Kyuubi</p></td> <td><p>kyuubi-env.sh</p></td> <td><p>kyuubi_java_opts</p></td> </tr> <tr> <td><p>YARN</p></td> <td><p>yarn-site.xml</p></td> <td><p>yarn.nodemanager.resource.memory-mb</p><p>yarn.nodemanager.local-dirs</p><p>yarn.nodemanager.log-dirs</p><p>yarn.nodemanager.resource.cpu-vcores</p><p>yarn.nodemanager.address</p><p>yarn.nodemanager.node-labels.provider.configured-node-partition</p></td> </tr> <tr> <td><p>yarn-env.sh</p></td> <td><p>YARN_RESOURCEMANAGER_HEAPSIZE</p><p>YARN_TIMELINESERVER_HEAPSIZE</p><p>YARN_PROXYSERVER_HEAPSIZE</p><p>YARN_NODEMANAGER_HEAPSIZE</p><p>YARN_RESOURCEMANAGER_HEAPSIZE_MIN</p><p>YARN_TIMELINESERVER_HEAPSIZE_MIN</p><p>YARN_PROXYSERVER_HEAPSIZE_MIN</p><p>YARN_NODEMANAGER_HEAPSIZE_MIN</p></td> </tr> <tr> <td><p>mapred-env.sh</p></td> <td><p>HADOOP_JOB_HISTORYSERVER_HEAPSIZE</p></td> </tr> <tr> <td><p>mapred-site.xml</p></td> <td><p>mapreduce.cluster.local.dir</p></td> </tr> <tr> <td><p>Impala</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>OpenLDAP</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Ranger</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Ranger-Plugin</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>DLF-Auth</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Presto</p></td> <td><p>iceberg.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>delta.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>hive.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>config.properties</p></td> <td><p>coordinator</p><p>node-scheduler.include-coordinator</p><p>query.max-memory-per-node</p><p>query.max-total-memory-per-node</p><p>http-server.authentication.type</p><p>http.authentication.krb5.principal-hostname</p><p>http.server.authentication.krb5.service-name</p><p>http.server.authentication.krb5.keytab</p><p>http.authentication.krb5.config</p><p>http-server.https.enabled</p><p>http-server.https.port</p><p>http-server.https.keystore.key</p><p>http-server.https.keystore.path</p></td> </tr> <tr> <td><p>jvm.config</p></td> <td><p>jvm parameter</p></td> </tr> <tr> <td><p>hudi.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>password-authenticator.properties</p></td> <td><p>ldap.url</p><p>ldap.user-bind-pattern</p></td> </tr> <tr> <td><p>Starrocks2</p></td> <td><p>fe.conf</p></td> <td><p>JAVA_OPTS</p><p>meta_dir</p></td> </tr> <tr> <td><p>be.conf</p></td> <td><p>storage_root_path</p><p>JAVA_OPTS</p></td> </tr> <tr> <td><p>Starrocks3</p></td> <td><p>fe.conf</p></td> <td><p>JAVA_OPTS</p><p>meta_dir</p></td> </tr> <tr> <td><p>be.conf</p></td> <td><p>storage_root_path</p><p>JAVA_OPTS</p></td> </tr> <tr> <td><p>Doris</p></td> <td><p>fe.conf</p></td> <td><p>JAVA_OPTS</p><p>JAVA_OPTS_FOR_JDK_9</p><p>meta_dir</p></td> </tr> <tr> <td><p>be.conf</p></td> <td><p>storage_root_path</p></td> </tr> <tr> <td><p>ClickHouse</p></td> <td><p>server-config</p></td> <td><p>interserver_http_host</p></td> </tr> <tr> <td><p>server-metrika</p></td> <td><p>macros.shard</p><p>macros.replica</p></td> </tr> <tr> <td><p>ZooKeeper</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Sqoop</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Knox</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Celeborn</p></td> <td><p>celeborn-env.sh</p></td> <td><p>CELEBORN_WORKER_MEMORY</p><p>CELEBORN_WORKER_OFFHEAP_MEMORY</p><p>CELEBORN_MASTER_MEMORY</p></td> </tr> <tr> <td><p>celeborn-defaults.conf</p></td> <td><p>celeborn.worker.storage.dirs</p><p>celeborn.worker.flusher.threads</p></td> </tr> <tr> <td><p>Flink</p></td> <td><p>flink-conf.yaml</p></td> <td><p>security.kerberos.login.principal</p><p>security.kerberos.login.keytab</p></td> </tr> <tr> <td><p>HBase</p></td> <td><p>hbase-env.sh</p></td> <td><p>hbase_master_opts</p><p>hbase_thrift_opts</p><p>hbase_rest_opts</p><p>hbase_regionserver_opts</p></td> </tr> <tr> <td><p>hbase-site.xml</p></td> <td><p>hbase.regionserver.handler.count</p><p>hbase.regionserver.global.memstore.size</p><p>hbase.regionserver.global.memstore.lowerLimit</p><p>hbase.regionserver.thread.compaction.throttle</p><p>hbase.regionserver.thread.compaction.large</p><p>hbase.regionserver.thread.compaction.small</p></td> </tr> <tr> <td><p>HBASE-HDFS</p></td> <td><p>hdfs-env.sh</p></td> <td><p>hadoop_secondarynamenode_opts</p><p>hadoop_namenode_heapsize</p><p>hadoop_datanode_heapsize</p></td> </tr> <tr> <td><p>hdfs-site.xml</p></td> <td><p>dfs.datanode.data.dir</p><p>dfs.datanode.failed.volumes.tolerated</p><p>dfs.datanode.du.reserved</p><p>dfs.datanode.balance.max.concurrent.moves</p></td> </tr> <tr> <td><p>JindoCache</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Kafka</p></td> <td><p>server.properties</p></td> <td><p>broker.id</p><p>num.network.threads</p><p>num.io.threads</p><p>kafka.heap.opts</p><p>log.dirs</p><p>kafka.public-access.ip</p><p>listeners</p><p>advertised.listeners</p> <div> <div> <i></i> </div> <div> <strong>Note </strong> <p><code>kafka.public-access.ip</code> menentukan Alamat IP publik broker Kafka. Anda dapat menggunakan item konfigurasi ini untuk mengonfigurasi listeners yang memiliki Alamat IP publik. </p> </div> </div></td> </tr> <tr> <td><p>kafka-internal-config</p></td> <td><p>broker_id</p></td> </tr> <tr> <td><p>user_params</p></td> <td><p>is_local_disk_instance</p></td> </tr> <tr> <td><p>Kudu</p></td> <td><p>master.gflags</p></td> <td><p>fs_data_dirs</p><p>fs_wal_dir</p><p>fs_metadata_dir</p><p>log_dir</p></td> </tr> <tr> <td><p>tserver.gflags</p></td> <td><p>fs_data_dirs</p><p>fs_wal_dir</p><p>fs_metadata_dir</p><p>log_dir</p></td> </tr> <tr> <td><p>Paimon</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> <tr> <td><p>Phoenix</p></td> <td><p>None</p></td> <td><p>None</p></td> </tr> </tbody> </table>