E-MapReduce (EMR) クラスターでは、サービスのバイナリ、ログ、構成ファイルに対して一貫したディレクトリレイアウトが採用されています。これらのパスに直接アクセスするには、クラスターのマスターノードにログインします。
パスはクラスタータイプによって異なります：DataLake クラスター および Hadoop クラスター です。
DataLake クラスター
サービスディレクトリ
各サービスは /opt/apps/<SERVICE>/<service>-current 以下にインストールされます。
| サービス | ディレクトリ |
|---|---|
| HDFS | /opt/apps/HDFS/hdfs-current |
| Hive | /opt/apps/HIVE/hive-current |
| Hudi | /opt/apps/HUDI/hudi-current |
| YARN | /opt/apps/YARN/yarn-current |
| Presto | /opt/apps/PRESTO/presto-current |
| Ranger | /opt/apps/RANGER/ranger-current |
任意のサービスのインストールディレクトリを確認するには、以下のコマンドを実行します：
env |grep <service-name>たとえば、Hive のインストール場所を特定するには、env |grep hive を実行します。出力例は以下のとおりです：
JINDOTABLE_EXTRA_CLASSPATH=/opt/apps/METASTORE/metastore-current/hive2
HIVE_HOME=/opt/apps/HIVE/hive-current
HIVE_LOG_DIR=/var/log/taihao-apps/hive
HIVE_CONF_DIR=/etc/taihao-apps/hive-conf
PATH=/opt/apps/JINDOSDK/jindosdk-current/bin:/opt/apps/HADOOP-COMMON/hadoop-common-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/apps/HIVE/hive-current/bin:/opt/apps/JINDODATA/jindodata-current/bin:/opt/apps/JINDODATA/jindodata-current/sbin:/opt/apps/SPARK-EXTENSION/spark-extension-current/bin:/opt/apps/SPARK3/spark-current/bin:/root/bin
OLDPWD=/var/log/emr/hiveログディレクトリ
ログは /var/log/emr/<service>/ 以下に保存されます。
| サービス | ログディレクトリ |
|---|---|
| Spark | /var/log/emr/spark/ |
| Hive | /var/log/emr/hive/ |
| YARN | /var/log/emr/yarn/ |
| JindoSDK | /var/log/emr/jindosdk/ |
構成ファイルディレクトリ
構成ファイルは /etc/emr/<service>-conf/ 以下に保存されます。
| サービス | 構成ディレクトリ |
|---|---|
| HDFS | /etc/emr/hdfs-conf/ |
| Spark | /etc/emr/spark-conf/ |
| Hive | /etc/emr/hive-conf/ |
| Hudi | /etc/emr/hudi-conf/ |
| Knox | /etc/emr/knox-conf/ |
| YARN | /etc/emr/hadoop-conf/ |
| ZooKeeper | /etc/emr/zookeeper-conf/ |
Hadoop クラスター
サービスディレクトリ
各サービスは /usr/lib/<service>-current 以下にインストールされます。
| サービス | ディレクトリ |
|---|---|
| Hadoop | /usr/lib/hadoop-current |
| Spark | /usr/lib/spark-current |
| Hive | /usr/lib/hive-current |
| Flink | /usr/lib/flink-current |
| Flume | /usr/lib/flume-current |
任意のサービスのインストールディレクトリを確認するには、以下のコマンドを実行します：
env |grep <service-name>たとえば、Spark のインストール場所を特定するには、env |grep spark を実行します。出力例は以下のとおりです：
SPARK_HOME=/usr/lib/spark-current
SPARK_CONF_DIR=/etc/ecm/spark-conf
SPARK_LOG_DIR=/mnt/disk1/log/spark
PATH=/usr/lib/sqoop-current/bin:/usr/lib/jindosdk-current/bin:/usr/lib/hudi-current/bin:/usr/lib/hive-current/hcatalog/bin:/usr/lib/hive-current/bin:/usr/lib/datafactory-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/lib/flow-agent-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/jindodata-current//bin:/usr/lib/jindodata-current//sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin
HADOOP_CLASSPATH=/opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar
SPARK_PID_DIR=/usr/lib/spark-current/pidsログディレクトリ
ログは /mnt/disk1/log/<service>/ 以下に保存されます。一部のサービスでは、ノードの種類に応じて異なるディレクトリにログが出力されます。
| サービス | ログディレクトリ | ノード |
|---|---|---|
| YARN ResourceManager | /mnt/disk1/log/hadoop-yarn |
マスターノード |
| YARN NodeManager | /mnt/disk1/log/hadoop-yarn |
コアノードまたはタスクノード |
| HDFS NameNode | /mnt/disk1/log/hadoop-hdfs |
マスターノード |
| HDFS DataNode | /mnt/disk1/log/hadoop-hdfs |
コアノードまたはタスクノード |
| Hive | /mnt/disk1/log/hive |
マスターノード |
| ESS | /mnt/disk1/log/ess/ |
マスターノード、コアノード、またはタスクノード |
構成ファイルディレクトリ
構成ファイルは /etc/ecm/<service>-conf/ 以下に保存されます。
| サービス | 構成ディレクトリ |
|---|---|
| Hadoop | /etc/ecm/hadoop-conf/ |
| Spark | /etc/ecm/spark-conf/ |
| Hive | /etc/ecm/hive-conf/ |
| Flink | /etc/ecm/flink-conf/ |
| Flume | /etc/ecm/flume-conf/ |
構成ファイルへの SSH アクセスは読み取り専用です。パラメーターを変更するには、EMR コンソールにログインしてください。
データディレクトリ
| データ種別 | ディレクトリ |
|---|---|
| JindoFS キャッシュデータ | /mnt/disk1/jindodata/ |