E-MapReduce:Configuring custom software

Configuration lors de la création du cluster

1. Connectez-vous à la console E-MapReduce.

2. Dans la barre de menu supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.

3. Sur la page EMR on ECS, cliquez sur CREATE_CLUSTER.

4. Dans la section Software Configuration, sous Advanced Settings, activez l'option Custom Software Configuration.

   Ajoutez un fichier de configuration au format JSON pour remplacer les paramètres de service par défaut ou en ajouter de nouveaux lors de la création du cluster. Exemple :

   [
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
           "ConfigItemValue":"8"
       },
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"aaa",
           "ConfigItemValue":"bbb"
       }
   ]

   • Le tableau suivant décrit les paramètres.

     Paramètre	Description
     ApplicationName	Nom du service, en majuscules.
     ConfigFileName	Nom du fichier de configuration à modifier. Remarque Respectez les conventions de nommage de fichiers ci-dessous. Pour les clusters Data Lake, DataFlow, OLAP, DataServing ou personnalisés, l'extension de fichier est requise. Par exemple : yarn-site.xml. Pour les anciens clusters data lake (Hadoop), l'extension de fichier n'est pas requise. Par exemple : yarn-site.
     ConfigItemKey	Nom de l'élément de configuration.
     ConfigItemValue	Valeur de l'élément de configuration.

   • Le tableau suivant répertorie les fichiers de configuration pour chaque service.

     Service	Fichier de configuration
     YARN	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
     Hive	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

   Une fois les paramètres configurés, poursuivez la création du cluster. Pour plus d'informations, consultez la rubrique Créer un cluster.

Configuration lors de l'ajout d'un groupe de nœuds

Lorsque vous ajoutez un groupe de nœuds pour mettre à l'échelle un cluster en cours d'exécution, vous pouvez également ajuster les configurations des services. Pour plus d'informations, consultez la rubrique Gérer les groupes de nœuds.

Documentation connexe

Après la création d'un cluster, vous pouvez modifier les configurations sur la page spécifique au service. Pour plus d'informations, consultez la rubrique Gérer les éléments de configuration.