E-MapReduce提供控制台的方式修改、添加或查看HDFS、YARN和Spark等服務的配置項。本文為您介紹如何在E-MapReduce控制台管理配置項。
前提條件
已建立叢集,詳情請參見建立叢集。
查看配置項
-
在頂部功能表列處,根據實際情況選擇地區和資源群組。
-
在EMR on ECS頁面,單擊目的地組群操作列的集群服务。
-
單擊目標服務地區的配置即可進入配置項查看頁面。
-
您可以通過搜尋方塊尋找需要查看的配置項。
說明-
如果某個配置項在節點群組或節點層級有修改,或與叢集層級的預設配置存在不一致,則該配置項將在叢集預設配置層級的頁面顯示節點群組或節點層級的配置資訊。
-
查看某一配置項節點群組層級和節點層級配置值,需要指定具體的節點群組或節點名稱。
-
同一配置項的配置值存在覆蓋關係。配置項的配置值是按節點、節點群組、叢集層級三層管理的,優先順序順序為:節點層級 > 節點群組層級 > 叢集層級。
在目標服務的配置頁簽,預設展示叢集層級的配置項。
如需修改節點群組層級或節點層級的配置項,可以在集群级别配置下拉式清單中,選擇节点组级别配置或者节点级别配置,進行修改與儲存。部分節點、節點群組支援修改配置項請參見節點層級可修改的配置項。
如需查看所有層級的配置項(包括叢集層級、節點群組層級和節點層級),可以單擊切换到维度对比页面。在此頁面中,您可以直觀的對比不同層級的配置差異。
-
修改配置項
-
進入服務的配置頁面。
-
在頂部功能表列處,根據實際情況選擇地區和資源群組。
-
在EMR on ECS頁面,單擊目的地組群操作列的集群服务。
-
單擊目標服務地區的配置。
-
修改配置。
-
在搜尋方塊中,輸入待修改的配置項。
-
找到您待修改的配置項後,修改對應的參數值。
-
-
儲存配置。
-
在配置頁面,單擊保存。
-
在保存對話方塊中,輸入执行原因,單擊保存。
說明在保存對話方塊中,保存并下发配置開關預設開啟,儲存配置後,配置項將下發至用戶端。您可以通過手動生效方式使配置生效。如果您在保存對話方塊中關閉了儲存並配置下發開關,則可以通過提示燈方式使配置生效。
-
-
生效配置。
請根據您修改的參數類型執行以下操作,使修改的配置生效。
提示燈生效方式
說明該方式僅適用於EMR-5.12.1及後續版本,EMR-3.46.1及後續版本。
-
用戶端類型配置
-
儲存完成後,會有
的提示燈。 -
單擊待下发提示燈。
-
在彈出的對話方塊中,單擊配置下发。
說明對於YARN服務,如果配置下發的配置項中有隊列相關的配置項,則在配置下發後,需要再單擊部署生效或
的提示燈,才能使配置生效。
-
-
服務端類型配置
-
儲存完成後,會有
的提示燈。 -
單擊待生效提示燈。
-
在彈出的對話方塊中,根據生效方式進行配置。
-
自定义生效方式配置
需要您手動單擊各生效操作。
-
重启生效方式配置
-
可以單擊重启或批量重启。
-
在彈出的對話方塊中,輸入执行原因,單擊确定。
-
-
-
手動生效方式
-
用戶端類型配置
-
儲存完成後,單擊保存右側部署客户端配置。
-
在彈出的對話方塊中,輸入执行原因,單擊确定。
-
在确认對話方塊中,單擊确定。
-
-
服務端類型配置
-
儲存完成後,在配置頁面,選擇。
-
在彈出的對話方塊中,輸入执行原因,單擊确定。
-
在确认對話方塊中,單擊确定。
-
-
添加配置項
-
進入服務的配置頁面。
-
在頂部功能表列處,根據實際情況選擇地區和資源群組。
-
在EMR on ECS頁面,單擊目的地組群操作列的集群服务。
-
單擊目標服務地區的配置。
-
新增配置。
-
單擊需要操作的頁簽。
-
單擊上方的新增配置项。
-
根據您的實際情況,添加配置項。
一次可以添加多個配置項。
配置項
描述
Key
參數名。
Value
參數值。
描述
參數描述。
操作
支援刪除配置項。
-
新增完成後,單擊确定。
-
在彈出的對話方塊中,輸入执行原因,單擊保存。
-
-
生效配置。
請根據您修改的參數類型執行以下操作,使修改的配置生效。
提示燈生效方式
說明該方式僅適用於EMR-5.12.1及後續版本,EMR-3.46.1及後續版本。
-
用戶端類型配置
-
儲存完成後,會有
的提示燈。 -
單擊待下发提示燈。
-
在彈出的對話方塊中,單擊配置下发。
說明對於YARN服務,如果配置下發的配置項中有隊列相關的配置項,則在配置下發後,需要再單擊部署生效或
的提示燈,才能使配置生效。
-
-
服務端類型配置
-
儲存完成後,會有
的提示燈。 -
單擊待生效提示燈。
-
在彈出的對話方塊中,根據生效方式進行配置。
-
自定义生效方式配置
需要您手動單擊各生效操作。
-
重启生效方式配置
-
可以單擊重启或批量重启。
-
在彈出的對話方塊中,輸入执行原因,單擊确定。
-
-
-
手動生效方式
-
用戶端類型配置
-
儲存完成後,單擊保存右側部署客户端配置。
-
在彈出的對話方塊中,輸入执行原因,單擊确定。
-
在确认對話方塊中,單擊确定。
-
-
服務端類型配置
-
儲存完成後,在配置頁面,選擇。
-
在彈出的對話方塊中,輸入执行原因,單擊确定。
-
在确认對話方塊中,單擊确定。
-
-
節點層級可修改的配置項
本文以EMR-5.17.1版本為例介紹。
kerberos相關的配置項,需要在開啟Kerberos安全認證的情境下顯示。
|
服務名 |
檔案名稱 |
節點/節點群組可修改的配置項 |
|
Hadoop-Common |
core-site.xml |
fs.oss.tmp.data.dirs hadoop.tmp.dir |
|
HDFS |
hdfs-env.sh |
hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
OSS-HDFS |
無 |
無 |
|
Hive |
hive-env.sh |
hive_metastore_heapsize hive_server2_heapsize |
|
Spark2 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Spark3 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Tez |
無 |
無 |
|
Trino |
iceberg.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files 說明
event-listener.config-files用於指定事件監聽器(Event Listener)的設定檔路徑,在開啟Event Listener開關後可顯示。 |
|
|
jvm.config |
jvm parameter |
|
|
hudi.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
hive.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
DeltaLake |
無 |
無 |
|
Hudi |
無 |
無 |
|
Iceberg |
無 |
無 |
|
JindoData |
storage.yaml |
jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads 說明
|
|
Flume |
flume-conf.properties |
agent_name flume-conf.properties |
|
Kyuubi |
kyuubi-env.sh |
kyuubi_java_opts |
|
YARN |
yarn-site.xml |
yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition |
|
yarn-env.sh |
YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN |
|
|
mapred-env.sh |
HADOOP_JOB_HISTORYSERVER_HEAPSIZE |
|
|
mapred-site.xml |
mapreduce.cluster.local.dir |
|
|
Impala |
無 |
無 |
|
OpenLDAP |
無 |
無 |
|
Ranger |
無 |
無 |
|
Ranger-Plugin |
無 |
無 |
|
DLF-Auth |
無 |
無 |
|
Presto |
iceberg.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
hive.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path |
|
|
jvm.config |
jvm parameter |
|
|
hudi.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
Starrocks2 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
Starrocks3 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
Doris |
fe.conf |
JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir |
|
be.conf |
storage_root_path |
|
|
ClickHouse |
server-config |
interserver_http_host |
|
server-metrika |
macros.shard macros.replica |
|
|
Zookeeper |
無 |
無 |
|
Sqoop |
無 |
無 |
|
Knox |
無 |
無 |
|
Celeborn |
celeborn-env.sh |
CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY |
|
celeborn-defaults.conf |
celeborn.worker.storage.dirs celeborn.worker.flusher.threads |
|
|
Flink |
flink-conf.yaml |
security.kerberos.login.principal security.kerberos.login.keytab |
|
HBase |
hbase-env.sh |
hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts |
|
hbase-site.xml |
hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small |
|
|
HBASE-HDFS |
hdfs-env.sh |
hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
JindoCache |
無 |
無 |
|
Kafka |
server.properties |
broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners 說明
|
|
kafka-internal-config |
broker_id |
|
|
user_params |
is_local_disk_instance |
|
|
Kudu |
master.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
tserver.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
|
Paimon |
無 |
無 |
|
Phoenix |
無 |
無 |