Les clusters E-MapReduce (EMR) utilisent une structure de répertoires cohérente pour les binaires des services, les journaux et les fichiers de configuration. Connectez-vous au nœud maître de votre cluster pour accéder directement à ces chemins.
Les chemins varient selon le type de cluster : DataLake cluster et Hadoop cluster.
DataLake cluster
Répertoires des services
Les services sont installés dans le répertoire /opt/apps/<SERVICE>/<service>-current.
| Service | Répertoire |
|---|---|
| HDFS | /opt/apps/HDFS/hdfs-current |
| Hive | /opt/apps/HIVE/hive-current |
| Hudi | /opt/apps/HUDI/hudi-current |
| YARN | /opt/apps/YARN/yarn-current |
| Presto | /opt/apps/PRESTO/presto-current |
| Ranger | /opt/apps/RANGER/ranger-current |
Pour rechercher le répertoire d'installation d'un service, exécutez la commande suivante :
env |grep <service-name>Par exemple, exécutez env |grep hive pour localiser l'installation de Hive. Le résultat ressemble à ce qui suit :
JINDOTABLE_EXTRA_CLASSPATH=/opt/apps/METASTORE/metastore-current/hive2
HIVE_HOME=/opt/apps/HIVE/hive-current
HIVE_LOG_DIR=/var/log/taihao-apps/hive
HIVE_CONF_DIR=/etc/taihao-apps/hive-conf
PATH=/opt/apps/JINDOSDK/jindosdk-current/bin:/opt/apps/HADOOP-COMMON/hadoop-common-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/apps/HIVE/hive-current/bin:/opt/apps/JINDODATA/jindodata-current/bin:/opt/apps/JINDODATA/jindodata-current/sbin:/opt/apps/SPARK-EXTENSION/spark-extension-current/bin:/opt/apps/SPARK3/spark-current/bin:/root/bin
OLDPWD=/var/log/emr/hiveRépertoires des journaux
Les journaux sont stockés dans le répertoire /var/log/emr/<service>/.
| Service | Répertoire des journaux |
|---|---|
| Spark | /var/log/emr/spark/ |
| Hive | /var/log/emr/hive/ |
| YARN | /var/log/emr/yarn/ |
| JindoSDK | /var/log/emr/jindosdk/ |
Répertoires des fichiers de configuration
Les fichiers de configuration sont stockés dans le répertoire /etc/emr/<service>-conf/.
| Service | Répertoire de configuration |
|---|---|
| HDFS | /etc/emr/hdfs-conf/ |
| Spark | /etc/emr/spark-conf/ |
| Hive | /etc/emr/hive-conf/ |
| Hudi | /etc/emr/hudi-conf/ |
| Knox | /etc/emr/knox-conf/ |
| YARN | /etc/emr/hadoop-conf/ |
| ZooKeeper | /etc/emr/zookeeper-conf/ |
Hadoop cluster
Répertoires des services
Les services sont installés dans le répertoire /usr/lib/<service>-current.
| Service | Répertoire |
|---|---|
| Hadoop | /usr/lib/hadoop-current |
| Spark | /usr/lib/spark-current |
| Hive | /usr/lib/hive-current |
| Flink | /usr/lib/flink-current |
| Flume | /usr/lib/flume-current |
Pour rechercher le répertoire d'installation d'un service, exécutez la commande suivante :
env |grep <service-name>Par exemple, exécutez env |grep spark pour localiser l'installation de Spark. Le résultat ressemble à ce qui suit :
SPARK_HOME=/usr/lib/spark-current
SPARK_CONF_DIR=/etc/ecm/spark-conf
SPARK_LOG_DIR=/mnt/disk1/log/spark
PATH=/usr/lib/sqoop-current/bin:/usr/lib/jindosdk-current/bin:/usr/lib/hudi-current/bin:/usr/lib/hive-current/hcatalog/bin:/usr/lib/hive-current/bin:/usr/lib/datafactory-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/lib/flow-agent-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/jindodata-current//bin:/usr/lib/jindodata-current//sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin
HADOOP_CLASSPATH=/opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar
SPARK_PID_DIR=/usr/lib/spark-current/pidsRépertoires des journaux
Les journaux sont stockés dans le répertoire /mnt/disk1/log/<service>/. Certains services écrivent dans des répertoires différents selon le type de nœud.
| Service | Répertoire des journaux | Nœud |
|---|---|---|
| YARN ResourceManager | /mnt/disk1/log/hadoop-yarn |
Nœud maître |
| YARN NodeManager | /mnt/disk1/log/hadoop-yarn |
Nœud core ou task |
| HDFS NameNode | /mnt/disk1/log/hadoop-hdfs |
Nœud maître |
| HDFS DataNode | /mnt/disk1/log/hadoop-hdfs |
Nœud core ou task |
| Hive | /mnt/disk1/log/hive |
Nœud maître |
| ESS | /mnt/disk1/log/ess/ |
Nœud maître, nœud core ou nœud task |
Répertoires des fichiers de configuration
Les fichiers de configuration sont stockés dans le répertoire /etc/ecm/<service>-conf/.
| Service | Répertoire de configuration |
|---|---|
| Hadoop | /etc/ecm/hadoop-conf/ |
| Spark | /etc/ecm/spark-conf/ |
| Hive | /etc/ecm/hive-conf/ |
| Flink | /etc/ecm/flink-conf/ |
| Flume | /etc/ecm/flume-conf/ |
L'accès SSH est en lecture seule pour les fichiers de configuration. Pour modifier les paramètres de configuration, connectez-vous à la console EMR.
Répertoires de données
| Type de données | Répertoire |
|---|---|
| Données mises en cache JindoFS | /mnt/disk1/jindodata/ |