このトピックでは、E-MapReduce（EMR）で頻繁に使用されるファイルのパスについて説明します。クラスターのマスターノードにログオンして、ファイルパスを表示できます。
DataLake クラスター
ビッグデータサービスディレクトリ
ビッグデータサービスは、/opt/apps/xxx 形式のディレクトリにインストールされます。次に例を示します。
HDFS： /opt/apps/HDFS/hdfs-current
Hive： /opt/apps/HIVE/hive-current
Hudi： /opt/apps/HUDI/hudi-current
YARN： /opt/apps/YARN/yarn-current
Presto： /opt/apps/PRESTO/presto-current
Ranger： /opt/apps/RANGER/ranger-current
クラスターのマスターノードにログオンし、env |grep xxx コマンドを実行して、サービスがインストールされているディレクトリを照会することもできます。xxx は、関連するサービス名に置き換えます。
たとえば、env |grep hive コマンドを実行して、Hive サービスがインストールされているディレクトリを照会できます。
JINDOTABLE_EXTRA_CLASSPATH=/opt/apps/METASTORE/metastore-current/hive2
HIVE_HOME=/opt/apps/HIVE/hive-current
HIVE_LOG_DIR=/var/log/taihao-apps/hive
HIVE_CONF_DIR=/etc/taihao-apps/hive-conf
PATH=/opt/apps/JINDOSDK/jindosdk-current/bin:/opt/apps/HADOOP-COMMON/hadoop-common-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/apps/HIVE/hive-current/bin:/opt/apps/JINDODATA/jindodata-current/bin:/opt/apps/JINDODATA/jindodata-current/sbin:/opt/apps/SPARK-EXTENSION/spark-extension-current/bin:/opt/apps/SPARK3/spark-current/bin:/root/bin
OLDPWD=/var/log/emr/hiveログディレクトリ
ログは、/var/log/emr/xxx 形式のディレクトリに保存されます。次に例を示します。
Spark： /var/log/emr/spark/
Hive： /var/log/emr/hive/
YARN： /var/log/emr/yarn/
JindoSDK： /var/log/emr/jindosdk/
構成ファイルディレクトリ
構成ファイルは、/etc/emr/xxx 形式のディレクトリに保存されます。次に例を示します。
HDFS： /etc/emr/hdfs-conf/
Spark： /etc/emr/spark-conf/
Hive： /etc/emr/hive-conf/
Hudi： /etc/emr/hudi-conf/
Knox： /etc/emr/knox-conf/
YARN： /etc/emr/hadoop-conf/
ZooKeeper： /etc/emr/zookeeper-conf/
Hadoop クラスター
ビッグデータサービスディレクトリ
ビッグデータサービスは、/usr/lib/xxx 形式のディレクトリにインストールされます。次に例を示します。
Hadoop： /usr/lib/hadoop-current
Spark： /usr/lib/spark-current
Hive： /usr/lib/hive-current
Flink： /usr/lib/flink-current
Flume： /usr/lib/flume-current
クラスターのマスターノードにログオンし、env |grep xxx コマンドを実行して、サービスがインストールされているディレクトリを照会することもできます。
たとえば、次のコマンドを実行して、Spark サービスがインストールされているディレクトリを照会できます。
env |grep spark次の情報が返されます。/usr/lib/spark-current は、Spark サービスがインストールされているディレクトリです。
SPARK_HOME=/usr/lib/spark-current
SPARK_CONF_DIR=/etc/ecm/spark-conf
SPARK_LOG_DIR=/mnt/disk1/log/spark
PATH=/usr/lib/sqoop-current/bin:/usr/lib/jindosdk-current/bin:/usr/lib/hudi-current/bin:/usr/lib/hive-current/hcatalog/bin:/usr/lib/hive-current/bin:/usr/lib/datafactory-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/lib/flow-agent-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/jindodata-current//bin:/usr/lib/jindodata-current//sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin
HADOOP_CLASSPATH=/opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar
SPARK_PID_DIR=/usr/lib/spark-current/pidsログディレクトリ
サービスログは、/mnt/disk1/log/xxx 形式のディレクトリに保存されます。次に例を示します。
YARN ResourceManager ログ：マスターノードの /mnt/disk1/log/hadoop-yarn
YARN NodeManager ログ：コアノードまたはタスクノードの /mnt/disk1/log/hadoop-yarn
HDFS NameNode ログ：マスターノードの /mnt/disk1/log/hadoop-hdfs
HDFS DataNode ログ：コアノードまたはタスクノードの /mnt/disk1/log/hadoop-hdfs
Hive ログ：マスターノードの /mnt/disk1/log/hive
ESS ログ：マスターノード、コアノード、またはタスクノードの /mnt/disk1/log/ess/
構成ファイルディレクトリ
構成ファイルは、/etc/ecm/xxx 形式のディレクトリに保存されます。次に例を示します。
Hadoop： /etc/ecm/hadoop-conf/
Spark： /etc/ecm/spark-conf/
Hive： /etc/ecm/hive-conf/
Flink： /etc/ecm/flink-conf/
Flume： /etc/ecm/flume-conf/
SSH モードでクラスターにログオンした場合、構成ファイルのパラメーターのみを表示できます。構成ファイルのパラメーターを変更するには、EMR コンソールにログオンする必要があります。
データディレクトリ
JindoFS のキャッシュデータ： /mnt/disk1/jindodata/