O E-MapReduce (EMR) permite visualizar, modificar e adicionar itens de configuração de serviços como Hadoop Distributed File System (HDFS), YARN e Spark diretamente no console do EMR.
Pré-requisitos
Antes de começar, verifique se você tem:
Um cluster EMR. Para mais informações, consulte Criar um cluster.
Como funciona
O EMR gerencia itens de configuração em três níveis: cluster, grupo de nós e nó. Se o mesmo item for definido em vários níveis, prevalece o valor do nível com maior prioridade. Ordem de prioridade: nó > grupo de nós > cluster.
Por padrão, a aba Configure exibe os itens de configuração no nível do cluster. Para visualizar ou modificar itens no nível do grupo de nós ou do nó, altere o escopo na lista suspensa Default Cluster Configuration:
Node Group Configuration — aplica a configuração a todos os nós de um grupo de nós.
Independent Node Configuration — aplica a configuração a um nó específico.
Os itens nos níveis de grupo de nós e de nó só ficam visíveis quando a opção Default Cluster Configuration está selecionada. Para modificá-los, mude primeiro para o escopo apropriado.
Visualizar itens de configuração
Faça login no console do EMR. No painel de navegação à esquerda, clique em EMR on ECS.
Na barra de navegação superior, selecione uma região e um grupo de recursos.
Localize o cluster e clique em Services na coluna Actions.
Na aba Services, localize o serviço e clique em Configure.
Insira o nome do item de configuração na caixa de pesquisa.
Se um item de configuração no nível do grupo de nós ou do nó for modificado, ou se suas definições divergirem dos padrões do cluster, as configurações desse item no nível correspondente aparecerão na aba Configure , com a opção Default Cluster Configuration selecionada.
Para visualizar um item de configuração no nível do grupo de nós ou do nó, selecione Node Group Configuration ou Independent Node Configuration na lista suspensa Default Cluster Configuration e escolha o grupo de nós ou o nó específico.
Modificar itens de configuração
Faça login no console do EMR. No painel de navegação à esquerda, clique em EMR on ECS.
Na barra de navegação superior, selecione uma região e um grupo de recursos.
Localize o cluster e clique em Services na coluna Actions.
Na aba Services, localize o serviço e clique em Configure.
(Opcional) Para modificar um item no nível do grupo de nós ou do nó, selecione Node Group Configuration ou Independent Node Configuration na lista suspensa Default Cluster Configuration.
Insira o nome do item de configuração na caixa de pesquisa e clique no ícone de pesquisa.
Altere o valor do item de configuração. > Tip: Por exemplo, para aumentar a memória do NodeManager, defina
yarn.nodemanager.resource.memory-mbcom um valor maior, como8192.-
Clique em Save. Na caixa de diálogo Save, defina Execution Reason e clique em Save.
A opção Save and Deliver Configuration vem ativada por padrão. Quando habilitada, as configurações são enviadas ao cliente imediatamente após o salvamento, permitindo sua ativação pelo modo prompt. Desative essa opção para ativar as configurações manualmente pelo modo manual.
Ative as configurações. Consulte Ativar configurações.
Adicionar itens de configuração
Faça login no console do EMR. No painel de navegação à esquerda, clique em EMR on ECS.
Na barra de navegação superior, selecione uma região e um grupo de recursos.
Localize o cluster e clique em Services na coluna Actions.
Na aba Services, localize o serviço e clique em Configure.
Clique na aba onde deseja adicionar itens de configuração e, em seguida, clique em Add Configuration Item.
-
Preencha os detalhes da configuração. É possível adicionar vários itens simultaneamente.
Campo
Descrição
Key
Nome do item de configuração
Value
Valor do item de configuração
Description
Descrição do item de configuração
Actions
Remove o item de configuração
Clique em OK. Na caixa de diálogo, defina Execution Reason e clique em Save.
Ative as configurações. Consulte Ativar configurações.
Ativar configurações
Após salvar, ative as configurações conforme o tipo e o modo de sua preferência.
Prompt mode
O Prompt mode está disponível apenas nas versões EMR V5.12.1, EMR V3.46.1 e versões menores posteriores.
Configurações do lado do cliente
Após salvar, clique no aviso
(To Be Delivered).-
Na mensagem Configurations to Be Delivered, clique em Deliver.
Para o serviço YARN, se os itens modificados incluírem configurações relacionadas a filas, clique no aviso
( Not Effective Yet ) ou clique em Deploy na aba Edit Resource Queue da página do serviço YARN para ativar as alterações.
Configurações do lado do servidor
Após salvar, clique no aviso
(Not Effective Yet).-
Na caixa de diálogo Configurations to Take Effect, ative cada componente conforme seu tipo:
Configurations That Require Custom Operations: Clique na ação correspondente na coluna Actions de cada componente.
Configurations That Require Restart: Clique em restart na coluna Actions de um componente ou selecione vários componentes e clique em Batch Restart. Na caixa de diálogo, defina Execution Reason e clique em OK.
Manual mode
Configurações do lado do cliente
Clique em Deploy Client Configuration ao lado de Save na parte inferior da página.
Na caixa de diálogo, defina Execution Reason e clique em OK.
Na mensagem Confirm, clique em OK.
Configurações do lado do servidor
Escolha More > Restart no canto superior direito da aba Configure.
Na caixa de diálogo, defina Execution Reason e clique em OK.
Na mensagem Confirm, clique em OK.
Itens de configuração modificáveis
A tabela a seguir lista os itens de configuração modificáveis nos níveis de nó e grupo de nós em clusters EMR V5.17.1.
Os itens de configuração relacionados ao Kerberos estão disponíveis apenas se a autenticação Kerberos estiver ativada.
<table> <thead> <tr> <td><p><b>Nome do serviço</b></p></td> <td><p><b>Arquivo</b></p></td> <td><p><b>Item de configuração</b></p></td> </tr> </thead> <colgroup></colgroup> <colgroup></colgroup> <colgroup></colgroup> <tbody> <tr> <td><p>Hadoop-Common</p></td> <td><p>core-site.xml</p></td> <td><p>fs.oss.tmp.data.dirs</p><p>hadoop.tmp.dir</p></td> </tr> <tr> <td><p>HDFS</p></td> <td><p>hdfs-env.sh</p></td> <td><p>hadoop_datanode_heapsize</p><p>hadoop_secondarynamenode_opts</p><p>hadoop_namenode_heapsize</p></td> </tr> <tr> <td><p>hdfs-site.xml</p></td> <td><p>dfs.datanode.data.dir</p><p>dfs.datanode.failed.volumes.tolerated</p><p>dfs.datanode.du.reserved</p><p>dfs.datanode.balance.max.concurrent.moves</p></td> </tr> <tr> <td><p>OSS-HDFS</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Hive</p></td> <td><p>hive-env.sh</p></td> <td><p>hive_metastore_heapsize</p><p>hive_server2_heapsize</p></td> </tr> <tr> <td><p>Spark2</p></td> <td><p>hiveserver2-site.xml</p></td> <td><p>hive.server2.authentication.kerberos.principal</p></td> </tr> <tr> <td><p>spark-env.sh</p></td> <td><p>spark_history_daemon_memory</p><p>spark_thrift_daemon_memory</p></td> </tr> <tr> <td><p>spark-thriftserver.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.hadoop.hive.server2.thrift.bind.host</p><p>spark.yarn.principal</p></td> </tr> <tr> <td><p>spark-defaults.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.history.kerberos.principal</p></td> </tr> <tr> <td><p>Spark3</p></td> <td><p>hiveserver2-site.xml</p></td> <td><p>hive.server2.authentication.kerberos.principal</p></td> </tr> <tr> <td><p>spark-env.sh</p></td> <td><p>spark_history_daemon_memory</p><p>spark_thrift_daemon_memory</p></td> </tr> <tr> <td><p>spark-thriftserver.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.hadoop.hive.server2.thrift.bind.host</p><p>spark.kerberos.principal</p></td> </tr> <tr> <td><p>spark-defaults.conf</p></td> <td><p>spark.yarn.historyServer.address</p><p>spark.history.kerberos.principal</p></td> </tr> <tr> <td><p>Tez</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Trino</p></td> <td><p>iceberg.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>delta.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>config.properties</p></td> <td><p>coordinator</p><p>node-scheduler.include-coordinator</p><p>query.max-memory</p><p>query.max-total-memory</p><p>query.max-memory-per-node</p><p>http-server.authentication.type</p><p>http-server.authentication.krb5.user-mapping.pattern</p><p>http-server.authentication.krb5.service-name</p><p>http-server.authentication.krb5.keytab</p><p>http.authentication.krb5.config</p><p>http-server.https.enabled</p><p>http-server.https.port</p><p>http-server.https.keystore.key</p><p>http-server.https.keystore.path</p><p>event-listener.config-files</p> <div> <div> <i></i> </div> <div> <strong>Nota </strong> <p>event-listener.config-files especifica o caminho onde o arquivo de configuração de um listener de eventos é armazenado. Este item de configuração está disponível apenas se você ativar o EmrEventListener. </p> </div> </div></td> </tr> <tr> <td><p>jvm.config</p></td> <td><p>parâmetro jvm</p></td> </tr> <tr> <td><p>hudi.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>password-authenticator.properties</p></td> <td><p>ldap.url</p><p>ldap.user-bind-pattern</p></td> </tr> <tr> <td><p>hive.properties</p></td> <td><p>hive.hdfs.trino.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>DeltaLake</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Hudi</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Iceberg</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>JindoData</p></td> <td><p>storage.yaml</p></td> <td><p>jindofsx.storage.cache-mode</p><p>storage.watermark.high.ratio</p><p>storage.watermark.low.ratio</p><p>storage.handler.threads</p> <div> <div> <i></i> </div> <div> <strong>Nota </strong> <ul> <li><p>O JindoData aplica-se a clusters EMR V5.14.0 ou versão menor posterior e clusters EMR V3.48.0 ou versão menor posterior. </p></li> <li><p>O JindoData não está disponível para clusters EMR V5.15.0 ou versão menor posterior e clusters EMR V3.49.0 ou versão menor posterior. Use o <a href="https://www.alibabacloud.com/help/en/document_detail/2579701.html">JindoCache</a> para cache de dados e o <a href="https://www.alibabacloud.com/help/en/document_detail/455181.html">DLF-Auth</a> para autenticação. </p></li> </ul> </div> </div></td> </tr> <tr> <td><p>Flume</p></td> <td><p>flume-conf.properties</p></td> <td><p>agent_name</p><p>flume-conf.properties</p></td> </tr> <tr> <td><p>Kyuubi</p></td> <td><p>kyuubi-env.sh</p></td> <td><p>kyuubi_java_opts</p></td> </tr> <tr> <td><p>YARN</p></td> <td><p>yarn-site.xml</p></td> <td><p>yarn.nodemanager.resource.memory-mb</p><p>yarn.nodemanager.local-dirs</p><p>yarn.nodemanager.log-dirs</p><p>yarn.nodemanager.resource.cpu-vcores</p><p>yarn.nodemanager.address</p><p>yarn.nodemanager.node-labels.provider.configured-node-partition</p></td> </tr> <tr> <td><p>yarn-env.sh</p></td> <td><p>YARN_RESOURCEMANAGER_HEAPSIZE</p><p>YARN_TIMELINESERVER_HEAPSIZE</p><p>YARN_PROXYSERVER_HEAPSIZE</p><p>YARN_NODEMANAGER_HEAPSIZE</p><p>YARN_RESOURCEMANAGER_HEAPSIZE_MIN</p><p>YARN_TIMELINESERVER_HEAPSIZE_MIN</p><p>YARN_PROXYSERVER_HEAPSIZE_MIN</p><p>YARN_NODEMANAGER_HEAPSIZE_MIN</p></td> </tr> <tr> <td><p>mapred-env.sh</p></td> <td><p>HADOOP_JOB_HISTORYSERVER_HEAPSIZE</p></td> </tr> <tr> <td><p>mapred-site.xml</p></td> <td><p>mapreduce.cluster.local.dir</p></td> </tr> <tr> <td><p>Impala</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>OpenLDAP</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Ranger</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Ranger-Plugin</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>DLF-Auth</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Presto</p></td> <td><p>iceberg.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>delta.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>hive.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>config.properties</p></td> <td><p>coordinator</p><p>node-scheduler.include-coordinator</p><p>query.max-memory-per-node</p><p>query.max-total-memory-per-node</p><p>http-server.authentication.type</p><p>http.authentication.krb5.principal-hostname</p><p>http.server.authentication.krb5.service-name</p><p>http.server.authentication.krb5.keytab</p><p>http.authentication.krb5.config</p><p>http-server.https.enabled</p><p>http-server.https.port</p><p>http-server.https.keystore.key</p><p>http-server.https.keystore.path</p></td> </tr> <tr> <td><p>jvm.config</p></td> <td><p>parâmetro jvm</p></td> </tr> <tr> <td><p>hudi.properties</p></td> <td><p>hive.hdfs.presto.principal</p><p>hive.metastore.client.principal</p></td> </tr> <tr> <td><p>password-authenticator.properties</p></td> <td><p>ldap.url</p><p>ldap.user-bind-pattern</p></td> </tr> <tr> <td><p>Starrocks2</p></td> <td><p>fe.conf</p></td> <td><p>JAVA_OPTS</p><p>meta_dir</p></td> </tr> <tr> <td><p>be.conf</p></td> <td><p>storage_root_path</p><p>JAVA_OPTS</p></td> </tr> <tr> <td><p>Starrocks3</p></td> <td><p>fe.conf</p></td> <td><p>JAVA_OPTS</p><p>meta_dir</p></td> </tr> <tr> <td><p>be.conf</p></td> <td><p>storage_root_path</p><p>JAVA_OPTS</p></td> </tr> <tr> <td><p>Doris</p></td> <td><p>fe.conf</p></td> <td><p>JAVA_OPTS</p><p>JAVA_OPTS_FOR_JDK_9</p><p>meta_dir</p></td> </tr> <tr> <td><p>be.conf</p></td> <td><p>storage_root_path</p></td> </tr> <tr> <td><p>ClickHouse</p></td> <td><p>server-config</p></td> <td><p>interserver_http_host</p></td> </tr> <tr> <td><p>server-metrika</p></td> <td><p>macros.shard</p><p>macros.replica</p></td> </tr> <tr> <td><p>ZooKeeper</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Sqoop</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Knox</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Celeborn</p></td> <td><p>celeborn-env.sh</p></td> <td><p>CELEBORN_WORKER_MEMORY</p><p>CELEBORN_WORKER_OFFHEAP_MEMORY</p><p>CELEBORN_MASTER_MEMORY</p></td> </tr> <tr> <td><p>celeborn-defaults.conf</p></td> <td><p>celeborn.worker.storage.dirs</p><p>celeborn.worker.flusher.threads</p></td> </tr> <tr> <td><p>Flink</p></td> <td><p>flink-conf.yaml</p></td> <td><p>security.kerberos.login.principal</p><p>security.kerberos.login.keytab</p></td> </tr> <tr> <td><p>HBase</p></td> <td><p>hbase-env.sh</p></td> <td><p>hbase_master_opts</p><p>hbase_thrift_opts</p><p>hbase_rest_opts</p><p>hbase_regionserver_opts</p></td> </tr> <tr> <td><p>hbase-site.xml</p></td> <td><p>hbase.regionserver.handler.count</p><p>hbase.regionserver.global.memstore.size</p><p>hbase.regionserver.global.memstore.lowerLimit</p><p>hbase.regionserver.thread.compaction.throttle</p><p>hbase.regionserver.thread.compaction.large</p><p>hbase.regionserver.thread.compaction.small</p></td> </tr> <tr> <td><p>HBASE-HDFS</p></td> <td><p>hdfs-env.sh</p></td> <td><p>hadoop_secondarynamenode_opts</p><p>hadoop_namenode_heapsize</p><p>hadoop_datanode_heapsize</p></td> </tr> <tr> <td><p>hdfs-site.xml</p></td> <td><p>dfs.datanode.data.dir</p><p>dfs.datanode.failed.volumes.tolerated</p><p>dfs.datanode.du.reserved</p><p>dfs.datanode.balance.max.concurrent.moves</p></td> </tr> <tr> <td><p>JindoCache</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Kafka</p></td> <td><p>server.properties</p></td> <td><p>broker.id</p><p>num.network.threads</p><p>num.io.threads</p><p>kafka.heap.opts</p><p>log.dirs</p><p>kafka.public-access.ip</p><p>listeners</p><p>advertised.listeners</p> <div> <div> <i></i> </div> <div> <strong>Nota </strong> <p><code>kafka.public-access.ip</code> especifica o endereço IP público de um broker Kafka. Use este item de configuração para definir listeners com endereços IP públicos. </p> </div> </div></td> </tr> <tr> <td><p>kafka-internal-config</p></td> <td><p>broker_id</p></td> </tr> <tr> <td><p>user_params</p></td> <td><p>is_local_disk_instance</p></td> </tr> <tr> <td><p>Kudu</p></td> <td><p>master.gflags</p></td> <td><p>fs_data_dirs</p><p>fs_wal_dir</p><p>fs_metadata_dir</p><p>log_dir</p></td> </tr> <tr> <td><p>tserver.gflags</p></td> <td><p>fs_data_dirs</p><p>fs_wal_dir</p><p>fs_metadata_dir</p><p>log_dir</p></td> </tr> <tr> <td><p>Paimon</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> <tr> <td><p>Phoenix</p></td> <td><p>Nenhum</p></td> <td><p>Nenhum</p></td> </tr> </tbody> </table>