Manage parameters - E-MapReduce - Centre de documentation Alibaba Cloud

Prérequis

Un cluster existant est requis. Consultez la rubrique Créer un cluster pour obtenir des instructions.

Éléments de configuration

Connectez-vous à la console E-MapReduce.
Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.
Sur la page EMR on ECS, localisez le cluster cible et cliquez sur Services dans la colonne Actions.
Localisez le service cible et cliquez sur Configure.
Utilisez la zone de recherche pour trouver un élément de configuration spécifique.
Remarque
- Si un élément de configuration est modifié au niveau du groupe de nœuds ou au niveau du nœud, sa valeur à ce niveau remplace la valeur par défaut au niveau du cluster. Cette valeur substituée s'affiche ensuite sur la page de configuration au niveau du cluster.
- Pour afficher les valeurs de configuration au niveau du groupe de nœuds ou au niveau du nœud, sélectionnez le groupe de nœuds ou le nœud souhaité.
- Les valeurs de configuration sont appliquées à trois niveaux. La priorité de substitution est la suivante : niveau du nœud > niveau du groupe de nœuds > niveau du cluster.
Par défaut, l'onglet Configure affiche les éléments de configuration au niveau du cluster.

Pour modifier les éléments de configuration au node group level ou au node level, sélectionnez Node group level configuration ou Node-level configuration dans la liste déroulante Cluster-level configuration, puis modifiez et enregistrez les paramètres. Pour savoir quels éléments de configuration peuvent être modifiés pour des nœuds et des groupes de nœuds spécifiques, consultez la section Éléments de configuration modifiables.

Pour comparer les différences de configuration entre tous les niveaux (cluster, groupe de nœuds et nœud), cliquez sur Switch to full configuration page.

Modifier les paramètres

Accédez à la page de configuration d'un service.
1. Connectez-vous à la console E-MapReduce.
2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.
3. Sur la page EMR on ECS, localisez le cluster cible et cliquez sur ServicesServices dans la colonne Actions.
4. Recherchez le service souhaité et cliquez sur ConfigurerConfigure.
Modifiez la configuration.
1. Dans la zone de recherche, saisissez le nom de l'élément de configuration souhaité.
2. Localisez l'élément de configuration désiré et modifiez sa valeur de paramètre.
Enregistrez la configuration.
1. Sur la page ConfigurerConfigure, cliquez sur EnregistrerSave.
2. Dans la boîte de dialogue EnregistrerSave, saisissez une Raison d'exécutionExecution Reason et cliquez sur EnregistrerSave.
  
  Remarque
  Dans la boîte de dialogue EnregistrerSave, le commutateur Enregistrer et distribuer la configurationSave and Deliver Configuration est activé par défaut. Lorsque ce commutateur est activé, les éléments de configuration sont distribués au client après l'enregistrement. Vous pouvez appliquer les modifications en mode manuel. Si vous désactivez le commutateur Enregistrer et distribuer la configurationSave and Deliver Configuration dans la boîte de dialogue EnregistrerSave, vous pouvez appliquer les modifications en mode d'invite.
Appliquez les modifications.

Pour appliquer les modifications, suivez les étapes ci-dessous en fonction du type d'élément de configuration que vous avez modifié.
Mode d'invite

Remarque
Ce mode est disponible uniquement pour les versions EMR 5.12.1 et ultérieures, ainsi que EMR 3.46.1 et ultérieures.
- Configurations côté client
  1. Après avoir enregistré la configuration, une invite s'affiche.
  2. Cliquez sur l'invite À distribuerTo Be Delivered.
  3. Dans la boîte de dialogue, cliquez sur DistribuerDeliver.
    
    Remarque
    Pour le service YARN, si les éléments de configuration distribués incluent des éléments liés aux files d'attente, vous devez également cliquer sur DéployerDeploy ou sur l'invite après la distribution pour appliquer les modifications.
- Configurations côté serveur
  1. Après avoir enregistré la configuration, une invite s'affiche.
  2. Cliquez sur l'invite Pas encore effectifNot Effective Yet.
  3. Dans la boîte de dialogue, appliquez les modifications selon la méthode requise.
    
    Configurations nécessitant des opérations personnaliséesConfigurations That Require Custom Operations
    
    Cliquez manuellement sur l'action pour chaque composant.
    
    Configurations nécessitant un redémarrageConfigurations That Require Restart
    
    Cliquez sur RedémarrerRestart ou sur par lotbatch.
    
    Dans la boîte de dialogue, saisissez une Raison d'exécutionExecution Reason et cliquez sur OKOK.
Mode manuel
- Configurations côté client
  1. Après avoir enregistré la configuration, cliquez sur Déployer la configuration clientDeploy Client Configuration à côté du bouton EnregistrerSave.
  2. Dans la boîte de dialogue, saisissez une Raison d'exécutionExecution Reason et cliquez sur OKOK.
  3. Dans la boîte de dialogue ConfirmerConfirm, cliquez sur OKOK.
- Configurations côté serveur
  1. Après avoir enregistré la configuration, sur la page ConfigurerConfigure, choisissez More > Restart.
  2. Dans la boîte de dialogue, saisissez une Raison d'exécutionExecution Reason et cliquez sur OKOK.
  3. Dans la boîte de dialogue ConfirmerConfirm, cliquez sur OKOK.

Ajouter des éléments de configuration

Accédez à la page de configuration d'un service.
1. Connectez-vous à la console E-MapReduce.
2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources.
3. Sur la page EMR on ECS, localisez votre cluster et cliquez sur ServicesServices dans la colonne Actions.
4. Sous l'onglet Services, repérez le service souhaité et cliquez sur ConfigureConfigure.

Ajoutez des éléments de configuration.

Cliquez sur l'onglet correspondant aux éléments que vous souhaitez ajouter.
Cliquez sur Add Configuration ItemAdd Configuration Item.

Renseignez les éléments de configuration.

Vous pouvez ajouter plusieurs éléments de configuration simultanément.

Parameter

Description

Key

Clé de l'élément de configuration.

Value

Valeur de l'élément de configuration.

Description

Description de l'élément de configuration.

Actions

Permet de supprimer l'élément de configuration.

Une fois les éléments ajoutés, cliquez sur OKOK.
Saisissez un motif d'exécution dans le champ Execution ReasonExecution Reason puis cliquez sur SaveSave.

Appliquez les modifications.

Pour appliquer les changements, suivez la procédure adaptée au type d'élément de configuration modifié.
Mode d'invite

Remarque
Ce mode est disponible uniquement pour les versions EMR-5.12.1 et ultérieures, ainsi que EMR-3.46.1 et ultérieures.
- Configurations côté client
  1. Après avoir enregistré la configuration, une invite s'affiche.
  2. Cliquez sur l'invite To Be DeliveredTo Be Delivered.
  3. Dans la boîte de dialogue, cliquez sur DeliverDeliver.
    
    Remarque
    Pour le service YARN, si les éléments livrés incluent des configurations liées aux files d'attente, vous devez également cliquer sur DeployDeploy ou sur l'invite après la livraison pour appliquer les modifications.
- Configurations côté serveur
  1. Une fois la configuration enregistrée, une invite apparaît.
  2. Cliquez sur l'invite Not Effective YetNot Effective Yet.
  3. Dans la boîte de dialogue, appliquez les modifications selon la méthode requise.
    
    Configurations That Require Custom OperationsConfigurations That Require Custom Operations
    
    Cliquez manuellement sur l'action correspondante pour chaque composant.
    
    Configurations That Require RestartConfigurations That Require Restart
    
    Cliquez sur RestartRestart ou sur batchbatch.
    
    Dans la boîte de dialogue, saisissez un motif dans le champ Execution ReasonExecution Reason puis cliquez sur OKOK.
Mode manuel
- Configurations côté client
  1. Après avoir enregistré la configuration, cliquez sur Deploy Client ConfigurationDeploy Client Configuration à côté du bouton SaveSave.
  2. Dans la boîte de dialogue, saisissez un motif dans le champ Execution ReasonExecution Reason puis cliquez sur OKOK.
  3. Dans la boîte de dialogue ConfirmConfirm, cliquez sur OKOK.
- Configurations côté serveur
  1. Après avoir enregistré la configuration, sur la page ConfigureConfigure, choisissez More > Restart.
  2. Dans la boîte de dialogue, saisissez un motif dans le champ Execution ReasonExecution Reason puis cliquez sur OKOK.
  3. Dans la boîte de dialogue ConfirmConfirm, cliquez sur OKOK.

Paramètres modifiables au niveau du nœud

Cette rubrique utilise EMR-5.17.1 à titre d'exemple.

Remarque

Les éléments de configuration liés à Kerberos ne s'affichent que lorsque l'authentification Kerberos est activée.

Nom du service	Nom du fichier	Paramètres modifiables
Hadoop-Common	core-site.xml	fs.oss.tmp.data.dirs hadoop.tmp.dir
HDFS	hdfs-env.sh	hadoop_datanode_heapsize hadoop_secondarynamenode_opts hadoop_namenode_heapsize
HDFS	hdfs-site.xml	dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves
OSS-HDFS	Aucun	Aucun
Hive	hive-env.sh	hive_metastore_heapsize hive_server2_heapsize
Spark2	hiveserver2-site.xml	hive.server2.authentication.kerberos.principal
	spark-env.sh	spark_history_daemon_memory spark_thrift_daemon_memory
	spark-thriftserver.conf	spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.yarn.principal
	spark-defaults.conf	spark.yarn.historyServer.address spark.history.kerberos.principal
Spark3	hiveserver2-site.xml	hive.server2.authentication.kerberos.principal
	spark-env.sh	spark_history_daemon_memory spark_thrift_daemon_memory
	spark-thriftserver.conf	spark.yarn.historyServer.address spark.hadoop.hive.server2.thrift.bind.host spark.kerberos.principal
	spark-defaults.conf	spark.yarn.historyServer.address spark.history.kerberos.principal
Tez	Aucun	Aucun
Trino	iceberg.properties	hive.hdfs.trino.principal hive.metastore.client.principal
	delta.properties	hive.hdfs.trino.principal hive.metastore.client.principal
	config.properties	coordinator node-scheduler.include-coordinator query.max-memory query.max-total-memory query.max-memory-per-node http-server.authentication.type http-server.authentication.krb5.user-mapping.pattern http-server.authentication.krb5.service-name http-server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path event-listener.config-files Remarque Le paramètre `event-listener.config-files` spécifie le chemin du fichier de configuration pour l'écouteur d'événements. Ce paramètre ne s'affiche que lorsque l'écouteur d'événements est activé.
	jvm.config	Paramètres JVM
	hudi.properties	hive.hdfs.trino.principal hive.metastore.client.principal
	password-authenticator.properties	ldap.url ldap.user-bind-pattern
	hive.properties	hive.hdfs.trino.principal hive.metastore.client.principal
DeltaLake	Aucun	Aucun
Hudi	Aucun	Aucun
Iceberg	Aucun	Aucun
JindoData	storage.yaml	jindofsx.storage.cache-mode storage.watermark.high.ratio storage.watermark.low.ratio storage.handler.threads Remarque JindoData s'applique aux versions EMR 5.14.0 et antérieures, ainsi qu'aux versions EMR 3.48.0 et antérieures. JindoData n'est pas pris en charge dans les versions EMR 5.15.0 et ultérieures ou EMR 3.49.0 et ultérieures. Utilisez JindoCache pour la mise en cache et DLF-Auth pour l'authentification.
Flume	flume-conf.properties	agent_name flume-conf.properties
Kyuubi	kyuubi-env.sh	kyuubi_java_opts
YARN	yarn-site.xml	yarn.nodemanager.resource.memory-mb yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs yarn.nodemanager.resource.cpu-vcores yarn.nodemanager.address yarn.nodemanager.node-labels.provider.configured-node-partition
	yarn-env.sh	YARN_RESOURCEMANAGER_HEAPSIZE YARN_TIMELINESERVER_HEAPSIZE YARN_PROXYSERVER_HEAPSIZE YARN_NODEMANAGER_HEAPSIZE YARN_RESOURCEMANAGER_HEAPSIZE_MIN YARN_TIMELINESERVER_HEAPSIZE_MIN YARN_PROXYSERVER_HEAPSIZE_MIN YARN_NODEMANAGER_HEAPSIZE_MIN
	mapred-env.sh	HADOOP_JOB_HISTORYSERVER_HEAPSIZE
	mapred-site.xml	mapreduce.cluster.local.dir
Impala	Aucun	Aucun
OpenLDAP	Aucun	Aucun
Ranger	Aucun	Aucun
Ranger-Plugin	Aucun	Aucun
DLF-Auth	Aucun	Aucun
Presto	iceberg.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	delta.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	hive.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	config.properties	coordinator node-scheduler.include-coordinator query.max-memory-per-node query.max-total-memory-per-node http-server.authentication.type http.authentication.krb5.principal-hostname http.server.authentication.krb5.service-name http.server.authentication.krb5.keytab http.authentication.krb5.config http-server.https.enabled http-server.https.port http-server.https.keystore.key http-server.https.keystore.path
	jvm.config	Paramètres JVM
	hudi.properties	hive.hdfs.presto.principal hive.metastore.client.principal
	password-authenticator.properties	ldap.url ldap.user-bind-pattern
StarRocks2	fe.conf	JAVA_OPTS meta_dir
StarRocks2	be.conf	storage_root_path JAVA_OPTS
StarRocks3	fe.conf	JAVA_OPTS meta_dir
StarRocks3	be.conf	storage_root_path JAVA_OPTS
Doris	fe.conf	JAVA_OPTS JAVA_OPTS_FOR_JDK_9 meta_dir
Doris	be.conf	storage_root_path
ClickHouse	server-config	interserver_http_host
ClickHouse	server-metrika	macros.shard macros.replica
ZooKeeper	Aucun	Aucun
Sqoop	Aucun	Aucun
Knox	Aucun	Aucun
Celeborn	celeborn-env.sh	CELEBORN_WORKER_MEMORY CELEBORN_WORKER_OFFHEAP_MEMORY CELEBORN_MASTER_MEMORY
Celeborn	celeborn-defaults.conf	celeborn.worker.storage.dirs celeborn.worker.flusher.threads
Flink	flink-conf.yaml	security.kerberos.login.principal security.kerberos.login.keytab
HBase	hbase-env.sh	hbase_master_opts hbase_thrift_opts hbase_rest_opts hbase_regionserver_opts
HBase	hbase-site.xml	hbase.regionserver.handler.count hbase.regionserver.global.memstore.size hbase.regionserver.global.memstore.lowerLimit hbase.regionserver.thread.compaction.throttle hbase.regionserver.thread.compaction.large hbase.regionserver.thread.compaction.small
HBASE-HDFS	hdfs-env.sh	hadoop_secondarynamenode_opts hadoop_namenode_heapsize hadoop_datanode_heapsize
HBASE-HDFS	hdfs-site.xml	dfs.datanode.data.dir dfs.datanode.failed.volumes.tolerated dfs.datanode.du.reserved dfs.datanode.balance.max.concurrent.moves
JindoCache	Aucun	Aucun
Kafka	server.properties	broker.id num.network.threads num.io.threads kafka.heap.opts log.dirs kafka.public-access.ip listeners advertised.listeners Remarque Le paramètre `kafka.public-access.ip` spécifie l'adresse IP publique d'un courtier Kafka. Utilisez-le pour configurer les écouteurs lorsque l'accès public est activé.
	kafka-internal-config	broker_id
	user_params	is_local_disk_instance
Kudu	master.gflags	fs_data_dirs fs_wal_dir fs_metadata_dir log_dir
Kudu	tserver.gflags	fs_data_dirs fs_wal_dir fs_metadata_dir log_dir
Paimon	Aucun	Aucun
Phoenix	Aucun	Aucun