Este tema describe cómo gestionar los elementos de configuración de servicios como HDFS, YARN y Spark en la consola de E-MapReduce.
Requisitos previos
Se requiere un clúster existente. Consulte Create a cluster para ver las instrucciones.
Elementos de configuración
Inicie sesión en la consola de E-MapReduce.
En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.
En la página EMR on ECS, busque el clúster deseado y haga clic en Services en la columna Actions.
Busque el servicio correspondiente y haga clic en Configure.
-
Utilice el cuadro de búsqueda para localizar un elemento de configuración específico.
NotaSi se modifica un elemento de configuración a nivel de grupo de nodos o de nodo, su valor en ese nivel reemplaza al valor predeterminado del clúster. Este valor sobrescrito se muestra después en la página de configuración a nivel de clúster.
Para consultar los valores de configuración a nivel de grupo de nodos o de nodo, seleccione el grupo de nodos o el nodo que desee.
Los valores de configuración se aplican en tres niveles. La prioridad de sobrescritura es la siguiente: nivel de nodo > nivel de grupo de nodos > nivel de clúster.
De forma predeterminada, la pestaña Configure muestra los elementos de configuración a nivel de clúster.
Para modificar elementos de configuración a node group level o a node level, seleccione Node group level configuration o Node-level configuration en la lista desplegable Cluster-level configuration. A continuación, modifique y guarde los ajustes. Para saber qué elementos de configuración se pueden modificar en nodos y grupos de nodos específicos, consulte Modifiable configuration items.
Para comparar las diferencias de configuración entre todos los niveles (clúster, grupo de nodos y nodo), haga clic en Switch to full configuration page.
Modificación de parámetros
-
Vaya a la página de configuración de un servicio.
Inicie sesión en la consola de E-MapReduce.
En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.
En la página EMR on ECS, busque el clúster deseado y haga clic en Services en la columna Actions.
Busque el servicio correspondiente y haga clic en Configure.
-
Modifique la configuración.
En el cuadro de búsqueda, introduzca el nombre del elemento de configuración que desea buscar.
Localice el elemento de configuración deseado y cambie el valor de su parámetro.
-
Guarde la configuración.
En la página Configure, haga clic en Save.
-
En el cuadro de diálogo Save, introduzca un Execution Reason y haga clic en Save.
NotaEn el cuadro de diálogo Save, el interruptor Save and Deliver Configuration está activado de forma predeterminada. Con este interruptor habilitado, los elementos de configuración se entregan al cliente tras guardarlos. Puede aplicar los cambios en manual mode. Si desactiva el interruptor Save and Deliver Configuration en el cuadro de diálogo Save, podrá aplicar los cambios en modo de aviso.
-
Aplique los cambios.
Para aplicar los cambios, siga los pasos a continuación según el tipo de elemento de configuración que haya modificado.
Modo de aviso
NotaEste modo solo está disponible para EMR-5.12.1 y versiones posteriores, así como para EMR-3.46.1 y versiones posteriores.
-
Configuraciones del lado del cliente
Después de guardar la configuración, aparece un aviso
.Haga clic en el aviso To Be Delivered.
-
En el cuadro de diálogo, haga clic en Deliver.
NotaEn el caso del servicio YARN, si los elementos de configuración entregados incluyen elementos relacionados con colas, también debe hacer clic en Deploy o en el aviso
después de la entrega para aplicar los cambios.
-
Configuraciones del lado del servidor
Después de guardar la configuración, aparece un aviso
.Haga clic en el aviso Not Effective Yet.
-
En el cuadro de diálogo, aplique los cambios mediante el método obligatorio.
-
Configurations That Require Custom Operations
Haga clic manualmente en la acción correspondiente a cada componente.
-
Configurations That Require Restart
Haga clic en Restart o en batch.
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
-
Modo manual
-
Configuraciones del lado del cliente
Después de guardar la configuración, haga clic en Deploy Client Configuration junto al botón Save.
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
En el cuadro de diálogo Confirm, haga clic en OK.
-
Configuraciones del lado del servidor
Después de guardar la configuración, en la página Configure, elija .
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
En el cuadro de diálogo Confirm, haga clic en OK.
-
Adición de elementos de configuración
-
Vaya a la página de configuración de un servicio.
Inicie sesión en la consola de E-MapReduce.
En la barra de navegación superior, seleccione una región y un resource group.
En la página EMR on ECS, busque su clúster y haga clic en Services en la columna Actions.
En la pestaña Services, busque su servicio y haga clic en Configure.
-
Agregue elementos de configuración.
Haga clic en la pestaña donde desea agregar los elementos de configuración.
Haga clic en Add Configuration Item.
-
Agregue los elementos de configuración.
Puede agregar varios elementos de configuración a la vez.
Parámetro
Descripción
Key
La clave del elemento de configuración.
Value
El valor del elemento de configuración.
Description
La descripción del elemento de configuración.
Actions
Permite eliminar el elemento de configuración.
Una vez agregados los elementos de configuración, haga clic en OK.
Introduzca un Execution Reason y haga clic en Save.
-
Aplique los cambios.
Para aplicar los cambios, siga los pasos a continuación según el tipo de elemento de configuración que haya modificado.
Modo de aviso
NotaEste modo solo está disponible para EMR-5.12.1 y versiones posteriores, así como para EMR-3.46.1 y versiones posteriores.
-
Configuraciones del lado del cliente
Después de guardar la configuración, aparece un aviso
.Haga clic en el aviso To Be Delivered.
-
En el cuadro de diálogo, haga clic en Deliver.
NotaEn el caso del servicio YARN, si los elementos de configuración entregados incluyen elementos relacionados con colas, también debe hacer clic en Deploy o en el aviso
después de la entrega para aplicar los cambios.
-
Configuraciones del lado del servidor
Después de guardar la configuración, aparece un aviso
.Haga clic en el aviso Not Effective Yet.
-
En el cuadro de diálogo, aplique los cambios mediante el método obligatorio.
-
Configurations That Require Custom Operations
Haga clic manualmente en la acción correspondiente a cada componente.
-
Configurations That Require Restart
Haga clic en Restart o en batch.
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
-
Modo manual
-
Configuraciones del lado del cliente
Después de guardar la configuración, haga clic en Deploy Client Configuration junto al botón Save.
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
En el cuadro de diálogo Confirm, haga clic en OK.
-
Configuraciones del lado del servidor
Después de guardar la configuración, en la página Configure, elija .
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
En el cuadro de diálogo Confirm, haga clic en OK.
-
Parámetros modificables a nivel de nodo
Este tema utiliza EMR-5.17.1 como ejemplo.
Los elementos de configuración relacionados con Kerberos se muestran únicamente cuando la autenticación Kerberos está habilitada.
|
Nombre del servicio |
Nombre del archivo |
Parámetros modificables |
|
Hadoop-Common |
core-site.xml |
fs.oss.tmp.data.dirs hadoop.tmp.dir |
|
HDFS |
hdfs-env.sh |
hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
OSS-HDFS |
Ninguna |
Ninguna |
|
Hive |
hive-env.sh |
hive_metastore_heapsize hive_server2_heapsize |
|
Spark2 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Spark3 |
hiveserver2-site.xml |
hive.server2.authentication.kerberos.principal |
|
spark-env.sh |
spark_history_daemon_memory spark_thrift_daemon_memory |
|
|
spark-thriftserver.conf |
spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal |
|
|
spark-defaults.conf |
spark.yarn.historyServer.address spark.history.kerberos.principal |
|
|
Tez |
Ninguna |
Ninguna |
|
Trino |
iceberg.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files Nota
El parámetro |
|
|
jvm.config |
Parámetros de JVM |
|
|
hudi.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
hive.properties |
hive.hdfs.trino.principal hive.metastore.client.principal |
|
|
DeltaLake |
Ninguna |
Ninguna |
|
Hudi |
Ninguna |
Ninguna |
|
Iceberg |
Ninguna |
Ninguna |
|
JindoData |
storage.yaml |
jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads Nota
|
|
Flume |
flume-conf.properties |
agent_name flume-conf.properties |
|
Kyuubi |
kyuubi-env.sh |
kyuubi_java_opts |
|
YARN |
yarn-site.xml |
yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition |
|
yarn-env.sh |
YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN |
|
|
mapred-env.sh |
HADOOP_JOB_HISTORYSERVER_HEAPSIZE |
|
|
mapred-site.xml |
mapreduce.cluster.local.dir |
|
|
Impala |
Ninguna |
Ninguna |
|
OpenLDAP |
Ninguna |
Ninguna |
|
Ranger |
Ninguna |
Ninguna |
|
Ranger-Plugin |
Ninguna |
Ninguna |
|
DLF-Auth |
Ninguna |
Ninguna |
|
Presto |
iceberg.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
delta.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
hive.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
config.properties |
coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path |
|
|
jvm.config |
Parámetros de JVM |
|
|
hudi.properties |
hive.hdfs.presto.principal hive.metastore.client.principal |
|
|
password-authenticator.properties |
ldap.url ldap.user-bind-pattern |
|
|
StarRocks2 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
StarRocks3 |
fe.conf |
JAVA_OPTS meta_dir |
|
be.conf |
storage_root_path JAVA_OPTS |
|
|
Doris |
fe.conf |
JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir |
|
be.conf |
storage_root_path |
|
|
ClickHouse |
server-config |
interserver_http_host |
|
server-metrika |
macros.shard macros.replica |
|
|
ZooKeeper |
Ninguna |
Ninguna |
|
Sqoop |
Ninguna |
Ninguna |
|
Knox |
Ninguna |
Ninguna |
|
Celeborn |
celeborn-env.sh |
CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY |
|
celeborn-defaults.conf |
celeborn.worker.storage.dirs celeborn.worker.flusher.threads |
|
|
Flink |
flink-conf.yaml |
security.kerberos.login.principal security.kerberos.login.keytab |
|
HBase |
hbase-env.sh |
hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts |
|
hbase-site.xml |
hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small |
|
|
HBASE-HDFS |
hdfs-env.sh |
hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize |
|
hdfs-site.xml |
dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves |
|
|
JindoCache |
Ninguna |
Ninguna |
|
Kafka |
server.properties |
broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners Nota
El parámetro |
|
kafka-internal-config |
broker_id |
|
|
user_params |
is_local_disk_instance |
|
|
Kudu |
master.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
tserver.gflags |
fs_data_dirs fs_wal_dir fs_metadata_dir log_dir |
|
|
Paimon |
Ninguna |
Ninguna |
|
Phoenix |
Ninguna |
Ninguna |