このトピックでは、E-MapReduce (EMR) コンソールで HDFS、YARN、Spark などのサービスの設定項目を管理する方法について説明します。
前提条件
既存のクラスターが必要です。手順については、「クラスターの作成」をご参照ください。
設定項目
-
E-MapReduce コンソールにログインします。
-
トップナビゲーションバーで、要件に応じてリージョンとリソースグループを選択します。
-
EMR on ECS ページで、対象のクラスターを見つけ、[Actions] 列の [Services] をクリックします。
-
対象のサービスを見つけ、[Configure] をクリックします。
-
検索ボックスを使用して、特定の設定項目を検索します。
説明-
設定項目がノードグループレベルまたはノードレベルで変更されている場合、そのレベルの値がクラスターレベルのデフォルトをオーバーライドします。オーバーライドした値は、クラスターレベルの設定ページに表示されます。
-
ノードグループレベルまたはノードレベルの設定値を表示するには、目的のノードグループまたはノードを選択します。
-
設定値は 3 つのレベルで適用されます。オーバーライドの優先度は次のとおりです:ノードレベル > ノードグループレベル > クラスターレベル。
デフォルトでは、[Configure] タブにはクラスターレベルの設定項目が表示されます。
[ノードグループレベル]または[ノードレベル]で設定項目を変更するには、[クラスターレベル設定] ドロップダウンリストから [ノードグループレベル設定] または [ノードレベル設定] を選択し、設定を変更して保存します。特定のノードおよびノードグループで変更可能な設定項目については、変更可能な設定項目をご参照ください。
すべてのレベル (クラスター、ノードグループ、ノード) の設定差分を比較するには、[ディメンション比較ページに切り替える] をクリックします。
-
パラメーターの変更
-
サービスの設定ページに移動します。
-
E-MapReduce コンソールにログインします。
-
上部メニューで、必要に応じてリージョンとリソースグループを選択します。
-
EMR on ECS ページで、目的のクラスターを探し、操作列のServicesをクリックします。
-
目的のサービスを見つけて、Configure をクリックします。
-
-
設定を変更します。
-
検索ボックスに、目的の設定項目の名前を入力します。
-
目的の設定項目を見つけ、そのパラメーター値を変更します。
-
-
設定を保存します。
-
Configure ページで、Save をクリックします。
-
Save ダイアログボックスで、Execution Reason を入力し、Save をクリックします。
説明Save ダイアログボックスでは、Save and Deliver Configuration スイッチはデフォルトでオンになっています。このスイッチを有効にすると、保存後に設定項目がクライアントに配信されます。手動モードで変更を適用できます。Save ダイアログボックスで [設定を保存して配信] スイッチをオフにした場合、プロンプトモードで変更を適用できます。
-
-
変更を適用します。
変更を適用するには、変更した設定項目のタイプに応じて、以下の手順を実行します。
プロンプトモード
説明このモードは、EMR-5.12.1 以降および EMR-3.46.1 以降のバージョンでのみ利用可能です。
-
クライアント側の設定
-
設定を保存すると、
プロンプトが表示されます。 -
発行の保留中 をクリックします。
-
ダイアログボックスで、Deliver をクリックします。
説明YARN サービスでは、配信された設定項目にキュー関連の設定項目が含まれている場合、配信後に Deploy または
プロンプトもクリックして変更を適用する必要があります。
-
-
サーバー側の設定
-
設定を保存すると、
プロンプトが表示されます。 -
有効化の保留中 プロンプトをクリックします。
-
ダイアログボックスで、必要な方法に基づいて変更を適用します。
-
[カスタム有効モードの設定]
各コンポーネントのアクションを手動でクリックします。
-
[再起動で有効するモードの設定]
-
再起動 または 一括再起動 をクリックします。
-
ダイアログボックスで、Execution Reason を入力し、OK をクリックします。
-
-
-
手動モード
-
クライアント側の設定
-
設定を保存した後、Save ボタンの横にある Deploy Client Configuration をクリックします。
-
ダイアログボックスで、Execution Reason を入力し、OK をクリックします。
-
Confirm ダイアログボックスで、OK をクリックします。
-
-
サーバー側の設定
-
設定を保存した後、Configure ページで を選択します。
-
ダイアログボックスで、Execution Reason を入力し、OK をクリックします。
-
Confirm ダイアログボックスで、OK をクリックします。
-
-
設定項目の追加
-
サービスの設定ページに移動します。
-
E-MapReduce コンソールにログインします。
-
上部ナビゲーションバーで、リージョンとリソースグループを選択します。
-
EMR on ECS ページで、目的のクラスターを見つけ、アクション列のServicesをクリックします。
-
「サービス」タブで、対象のサービスを見つけ、Configureをクリックします。
-
-
設定項目を追加します。
-
設定項目を追加したいタブをクリックします。
-
Add Configuration Item をクリックします。
-
設定項目を追加します。
一度に複数の設定項目を追加できます。
パラメーター
説明
キー
設定項目のキーです。
値
設定項目の値です。
[説明]
設定項目の説明です。
[操作]
設定項目を削除できます。
-
設定項目を追加した後、決定 をクリックします。
-
Execution Reason を入力して、Save をクリックします。
-
-
変更を適用します。
変更を適用するには、変更した設定項目のタイプに応じて、以下の手順を実行します。
プロンプトモード
説明このモードは、EMR-5.12.1 以降および EMR-3.46.1 以降のバージョンでのみ利用可能です。
-
クライアント側の設定
-
設定を保存すると、
プロンプトが表示されます。 -
発行の保留中 をクリックします。
-
ダイアログボックスで、Deliver をクリックします。
説明YARN サービスでは、配信された設定項目にキュー関連の設定項目が含まれている場合、配信後に Deploy または
プロンプトもクリックして変更を適用する必要があります。
-
-
サーバー側の設定
-
設定を保存すると、
プロンプトが表示されます。 -
有効化の保留中 プロンプトをクリックします。
-
ダイアログボックスで、必要な方法に基づいて変更を適用します。
-
[カスタム有効モードの設定]
各コンポーネントのアクションを手動でクリックします。
-
[再起動で有効するモードの設定]
-
再起動 または 一括再起動 をクリックします。
-
ダイアログボックスで、Execution Reason を入力し、OK をクリックします。
-
-
-
手動モード
-
クライアント側の設定
-
設定を保存した後、Save ボタンの横にある Deploy Client Configuration をクリックします。
-
ダイアログボックスで、Execution Reason を入力し、OK をクリックします。
-
Confirm ダイアログボックスで、OK をクリックします。
-
-
サーバー側の設定
-
設定を保存した後、Configure ページで を選択します。
-
ダイアログボックスで、Execution Reason を入力し、OK をクリックします。
-
Confirm ダイアログボックスで、OK をクリックします。
-
-
ノードレベルで変更可能なパラメーター
このトピックでは、EMR-5.17.1 を例に説明します。
Kerberos 関連の設定項目は、Kerberos 認証が有効になっている場合にのみ表示されます。
|
サービス名 |
ファイル名 |
変更可能なパラメーター |
|
Hadoop-Common |
core-site.xml |
fs.oss.tmp.data.dirs hadoop.tmp.dir |
|
HDFS |
hdfs-env.sh |
hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
OSS-HDFS |
なし |
なし |
|
Hive |
hive-env.sh |
hive_metastore_heapsize hive_server2_heapsize |
|
Spark2 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Spark3 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Tez |
なし |
なし |
|
Trino |
iceberg.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files 説明
|
|
|
jvm.config |
JVM パラメーター |
|
|
hudi.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
hive.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
DeltaLake |
なし |
なし |
|
Hudi |
なし |
なし |
|
Iceberg |
なし |
なし |
|
JindoData |
storage.yaml |
jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads 説明
|
|
Flume |
flume-conf.properties |
agent_name flume-conf.properties |
|
Kyuubi |
kyuubi-env.sh |
kyuubi_java_opts |
|
YARN |
yarn-site.xml |
yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition |
|
yarn-env.sh |
YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN |
|
|
mapred-env.sh |
HADOOP_JOB_HISTORYSERVER_HEAPSIZE |
|
|
mapred-site.xml |
mapreduce.cluster.local.dir |
|
|
Impala |
なし |
なし |
|
OpenLDAP |
なし |
なし |
|
Ranger |
なし |
なし |
|
Ranger-Plugin |
なし |
なし |
|
DLF-Auth |
なし |
なし |
|
Presto |
iceberg.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
hive.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path |
|
|
jvm.config |
JVM パラメーター |
|
|
hudi.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
StarRocks2 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
StarRocks3 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
Doris |
fe.conf |
JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir |
|
be.conf |
storage_root_path |
|
|
ClickHouse |
server-config |
interserver_http_host |
|
server-metrika |
macros.shard macros.replica |
|
|
ZooKeeper |
なし |
なし |
|
Sqoop |
なし |
なし |
|
Knox |
なし |
なし |
|
Celeborn |
celeborn-env.sh |
CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY |
|
celeborn-defaults.conf |
celeborn.worker.storage.dirs celeborn.worker.flusher.threads |
|
|
Flink |
flink-conf.yaml |
security.kerberos.login.principal security.kerberos.login.keytab |
|
HBase |
hbase-env.sh |
hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts |
|
hbase-site.xml |
hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small |
|
|
HBASE-HDFS |
hdfs-env.sh |
hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
JindoCache |
なし |
なし |
|
Kafka |
server.properties |
broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners 説明
|
|
kafka-internal-config |
broker_id |
|
|
user_params |
is_local_disk_instance |
|
|
Kudu |
master.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
tserver.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
|
Paimon |
なし |
なし |
|
Phoenix |
なし |
なし |