Os clusters do E-MapReduce (EMR) utilizam uma estrutura de diretórios consistente para binários de serviços, logs e arquivos de configuração. Acesse o nó mestre do cluster para consultar esses caminhos diretamente.
Os caminhos variam conforme o tipo de cluster: DataLake cluster e Hadoop cluster.
DataLake cluster
Diretórios de serviço
Os serviços são instalados em /opt/apps/<SERVICE>/<service>-current.
|
Serviço |
Diretório |
|
HDFS |
|
|
Hive |
|
|
Hudi |
|
|
YARN |
|
|
Presto |
|
|
Ranger |
|
Para consultar o diretório de instalação de qualquer serviço, execute:
env |grep <service-name>Por exemplo, execute env |grep hive para localizar a instalação do Hive. A saída será semelhante a:
JINDOTABLE_EXTRA_CLASSPATH=/opt/apps/METASTORE/metastore-current/hive2
HIVE_HOME=/opt/apps/HIVE/hive-current
HIVE_LOG_DIR=/var/log/taihao-apps/hive
HIVE_CONF_DIR=/etc/taihao-apps/hive-conf
PATH=/opt/apps/JINDOSDK/jindosdk-current/bin:/opt/apps/HADOOP-COMMON/hadoop-common-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/apps/HIVE/hive-current/bin:/opt/apps/JINDODATA/jindodata-current/bin:/opt/apps/JINDODATA/jindodata-current/sbin:/opt/apps/SPARK-EXTENSION/spark-extension-current/bin:/opt/apps/SPARK3/spark-current/bin:/root/bin
OLDPWD=/var/log/emr/hiveDiretórios de log
Os logs são armazenados em /var/log/emr/<service>/.
|
Serviço |
Diretório de log |
|
Spark |
|
|
Hive |
|
|
YARN |
|
|
JindoSDK |
|
Diretórios de arquivos de configuração
Os arquivos de configuração estão localizados em /etc/emr/<service>-conf/.
|
Serviço |
Diretório de configuração |
|
HDFS |
|
|
Spark |
|
|
Hive |
|
|
Hudi |
|
|
Knox |
|
|
YARN |
|
|
ZooKeeper |
|
Hadoop cluster
Diretórios de serviço
Os serviços são instalados em /usr/lib/<service>-current.
|
Serviço |
Diretório |
|
Hadoop |
|
|
Spark |
|
|
Hive |
|
|
Flink |
|
|
Flume |
|
Para identificar o diretório de instalação de um serviço específico, execute:
env |grep <service-name>Por exemplo, execute env |grep spark para localizar a instalação do Spark. A saída será semelhante a:
SPARK_HOME=/usr/lib/spark-current
SPARK_CONF_DIR=/etc/ecm/spark-conf
SPARK_LOG_DIR=/mnt/disk1/log/spark
PATH=/usr/lib/sqoop-current/bin:/usr/lib/jindosdk-current/bin:/usr/lib/hudi-current/bin:/usr/lib/hive-current/hcatalog/bin:/usr/lib/hive-current/bin:/usr/lib/datafactory-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/lib/flow-agent-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/jindodata-current//bin:/usr/lib/jindodata-current//sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin
HADOOP_CLASSPATH=/opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar
SPARK_PID_DIR=/usr/lib/spark-current/pidsDiretórios de log
Os logs são armazenados em /mnt/disk1/log/<service>/. Alguns serviços gravam em diretórios diferentes dependendo do tipo de nó.
|
Serviço |
Diretório de log |
Nó |
|
YARN ResourceManager |
|
Nó mestre |
|
YARN NodeManager |
|
Nó principal ou de tarefa |
|
HDFS NameNode |
|
Nó mestre |
|
HDFS DataNode |
|
Nó principal ou de tarefa |
|
Hive |
|
Nó mestre |
|
ESS |
|
Nó mestre, principal ou de tarefa |
Diretórios de arquivos de configuração
Os arquivos de configuração estão localizados em /etc/ecm/<service>-conf/.
|
Serviço |
Diretório de configuração |
|
Hadoop |
|
|
Spark |
|
|
Hive |
|
|
Flink |
|
|
Flume |
|
O acesso SSH aos arquivos de configuração é somente leitura. Para modifique parâmetros de configuração, acesse o console do EMR.
Diretórios de dados
|
Tipo de dado |
Diretório |
|
Dados em cache do JindoFS |
|