Este tópico descreve como gerenciar itens de configuração para services como HDFS, YARN e Spark no console do E-MapReduce.
Pré-requisitos
É necessário ter um cluster existente. Consulte Create a cluster para obter instruções.
Itens de configuração
Faça login no console do E-MapReduce.
Na barra de navegação superior, selecione uma região e um grupo de recursos conforme sua necessidade.
Na página EMR on ECS, localize o cluster desejado e clique em Services na coluna Actions.
Localize o service de destino e clique em Configure.
-
Use a caixa de pesquisa para localizar um item de configuração específico.
NotaSe você modificar um item de configuração no nível do grupo de nós ou no nível do nó, o valor nesse nível substituirá o padrão do nível do cluster. A página de configuração do nível do cluster exibirá esse valor substituído.
Para visualizar os valores de configuração no nível do grupo de nós ou do nó, selecione o grupo de nós ou o nó desejado.
Os valores de configuração são aplicados em três níveis. A prioridade de substituição segue esta ordem: nível do nó > nível do grupo de nós > nível do cluster.
Por padrão, a aba Configure exibe os itens de configuração no nível do cluster.
Para modificar itens de configuração no node group level ou no node level, selecione Node group level configuration ou Node-level configuration na lista suspensa Cluster-level configuration e, em seguida, modifique e salve as configurações. Para verificar quais itens de configuração podem ser modificados para nós e grupos de nós específicos, consulte Modifiable configuration items.
Para comparar as diferenças de configuração entre todos os níveis (cluster, grupo de nós e nó), clique em Switch to full configuration page.
Modificar parâmetros
-
Acesse a página de configuração de um service.
Faça login no console do E-MapReduce.
Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.
Na página EMR on ECS, localize o cluster desejado e clique em Services na coluna Actions.
Localize o service desejado e clique em Configure.
-
Modifique a configuração.
Na caixa de pesquisa, insira o nome do item de configuração desejado.
Localize o item de configuração desejado e altere o valor do parâmetro.
-
Salve a configuração.
Na página Configure, clique em Save.
-
Na caixa de diálogo Save, insira um Execution Reason e clique em Save.
NotaNa caixa de diálogo Save, a opção Save and Deliver Configuration vem ativada por padrão. Com essa opção ativada, os itens de configuração são entregues ao cliente após o salvamento. Você pode aplicar as alterações em manual mode. Caso desative a opção Save and Deliver Configuration na caixa de diálogo Save, será possível aplicar as alterações no modo de prompt.
-
Aplique as alterações.
Para aplicar as alterações, execute as etapas a seguir com base no tipo de item de configuração modificado.
Modo de prompt
NotaEste modo está disponível apenas para EMR-5.12.1 ou posterior e EMR-3.46.1 ou posterior.
-
Configurações do lado do cliente
Após salvar a configuração, um prompt
será exibido.Clique no prompt To Be Delivered.
-
Na caixa de diálogo, clique em Deliver.
NotaPara o service YARN, se os itens de configuração entregues incluírem configurações relacionadas a filas, você também deverá clicar em Deploy ou no prompt
após a entrega para aplicar as alterações.
-
Configurações do lado do servidor
Após salvar a configuração, um prompt
será exibido.Clique no prompt Not Effective Yet.
-
Na caixa de diálogo, aplique as alterações conforme o método necessário.
-
Configurations That Require Custom Operations
Clique manualmente na ação correspondente a cada componente.
-
Configurations That Require Restart
Clique em Restart ou em batch.
Na caixa de diálogo, insira um Execution Reason e clique em OK.
-
Modo manual
-
Configurações do lado do cliente
Após salvar a configuração, clique em Deploy Client Configuration ao lado do botão Save.
Na caixa de diálogo, insira um Execution Reason e clique em OK.
Na caixa de diálogo Confirm, clique em OK.
-
Configurações do lado do servidor
Após salvar a configuração, na página Configure, escolha .
Na caixa de diálogo, insira um Execution Reason e clique em OK.
Na caixa de diálogo Confirm, clique em OK.
-
Adicionar itens de configuração
-
Acesse a página de configuração de um service.
Faça login no console do E-MapReduce.
Na barra de navegação superior, selecione uma região e um grupo de recursos.
Na página EMR on ECS, localize seu cluster e clique em Services na coluna Actions.
Na aba Services, localize seu service e clique em Configure.
-
Adicione itens de configuração.
Clique na aba onde deseja adicionar os itens de configuração.
Clique em Add Configuration Item.
-
Adicione os itens de configuração.
É possível adicionar vários itens de configuração simultaneamente.
Parâmetro
Descrição
Key
A chave do item de configuração.
Value
O valor do item de configuração.
Description
A descrição do item de configuração.
Actions
Permite excluir o item de configuração.
Após adicionar os itens de configuração, clique em OK.
Insira um Execution Reason e clique em Save.
-
Aplique as alterações.
Para aplicar as alterações, execute as etapas a seguir com base no tipo de item de configuração modificado.
Modo de prompt
NotaEste modo está disponível apenas para EMR-5.12.1 ou posterior e EMR-3.46.1 ou posterior.
-
Configurações do lado do cliente
Após salvar a configuração, um prompt
será exibido.Clique no prompt To Be Delivered.
-
Na caixa de diálogo, clique em Deliver.
NotaPara o service YARN, se os itens de configuração entregues incluírem configurações relacionadas a filas, você também deverá clicar em Deploy ou no prompt
após a entrega para aplicar as alterações.
-
Configurações do lado do servidor
Após salvar a configuração, um prompt
será exibido.Clique no prompt Not Effective Yet.
-
Na caixa de diálogo, aplique as alterações conforme o método necessário.
-
Configurations That Require Custom Operations
Clique manualmente na ação correspondente a cada componente.
-
Configurations That Require Restart
Clique em Restart ou em batch.
Na caixa de diálogo, insira um Execution Reason e clique em OK.
-
Modo manual
-
Configurações do lado do cliente
Após salvar a configuração, clique em Deploy Client Configuration ao lado do botão Save.
Na caixa de diálogo, insira um Execution Reason e clique em OK.
Na caixa de diálogo Confirm, clique em OK.
-
Configurações do lado do servidor
Após salvar a configuração, na página Configure, escolha .
Na caixa de diálogo, insira um Execution Reason e clique em OK.
Na caixa de diálogo Confirm, clique em OK.
-
Parâmetros modificáveis no nível do nó
Este tópico utiliza o EMR-5.17.1 como exemplo.
Os itens de configuração relacionados ao Kerberos aparecem apenas quando a autenticação Kerberos está ativada.
|
Nome do service |
Nome do arquivo |
Parâmetros modificáveis |
|
Hadoop-Common |
core-site.xml |
fs.oss.tmp.data.dirs hadoop.tmp.dir |
|
HDFS |
hdfs-env.sh |
hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
OSS-HDFS |
Nenhum |
Nenhum |
|
Hive |
hive-env.sh |
hive_metastore_heapsize hive_server2_heapsize |
|
Spark2 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Spark3 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Tez |
Nenhum |
Nenhum |
|
Trino |
iceberg.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files Nota
O parâmetro |
|
|
jvm.config |
Parâmetros da JVM |
|
|
hudi.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
hive.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
DeltaLake |
Nenhum |
Nenhum |
|
Hudi |
Nenhum |
Nenhum |
|
Iceberg |
Nenhum |
Nenhum |
|
JindoData |
storage.yaml |
jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads Nota
|
|
Flume |
flume-conf.properties |
agent_name flume-conf.properties |
|
Kyuubi |
kyuubi-env.sh |
kyuubi_java_opts |
|
YARN |
yarn-site.xml |
yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition |
|
yarn-env.sh |
YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN |
|
|
mapred-env.sh |
HADOOP_JOB_HISTORYSERVER_HEAPSIZE |
|
|
mapred-site.xml |
mapreduce.cluster.local.dir |
|
|
Impala |
Nenhum |
Nenhum |
|
OpenLDAP |
Nenhum |
Nenhum |
|
Ranger |
Nenhum |
Nenhum |
|
Ranger-Plugin |
Nenhum |
Nenhum |
|
DLF-Auth |
Nenhum |
Nenhum |
|
Presto |
iceberg.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
hive.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path |
|
|
jvm.config |
Parâmetros da JVM |
|
|
hudi.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
StarRocks2 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
StarRocks3 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
Doris |
fe.conf |
JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir |
|
be.conf |
storage_root_path |
|
|
ClickHouse |
server-config |
interserver_http_host |
|
server-metrika |
macros.shard macros.replica |
|
|
ZooKeeper |
Nenhum |
Nenhum |
|
Sqoop |
Nenhum |
Nenhum |
|
Knox |
Nenhum |
Nenhum |
|
Celeborn |
celeborn-env.sh |
CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY |
|
celeborn-defaults.conf |
celeborn.worker.storage.dirs celeborn.worker.flusher.threads |
|
|
Flink |
flink-conf.yaml |
security.kerberos.login.principal security.kerberos.login.keytab |
|
HBase |
hbase-env.sh |
hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts |
|
hbase-site.xml |
hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small |
|
|
HBASE-HDFS |
hdfs-env.sh |
hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
JindoCache |
Nenhum |
Nenhum |
|
Kafka |
server.properties |
broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners Nota
O parâmetro |
|
kafka-internal-config |
broker_id |
|
|
user_params |
is_local_disk_instance |
|
|
Kudu |
master.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
tserver.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
|
Paimon |
Nenhum |
Nenhum |
|
Phoenix |
Nenhum |
Nenhum |