Pengenalan jalur file yang sering digunakan - E-MapReduce

Topik ini menjelaskan jalur file yang sering digunakan di E-MapReduce (EMR). Anda dapat masuk ke Node master kluster untuk melihat jalur file tersebut.

Kluster DataLake

Direktori layanan data besar

Layanan data besar dipasang di direktori dalam format /opt/apps/xxx. Contoh:

HDFS: /opt/apps/HDFS/hdfs-current
Hive: /opt/apps/HIVE/hive-current
Hudi: /opt/apps/HUDI/hudi-current
YARN: /opt/apps/YARN/yarn-current
Presto: /opt/apps/PRESTO/presto-current
Ranger: /opt/apps/RANGER/ranger-current

Anda juga dapat masuk ke Node master kluster dan menjalankan perintah env |grep xxx untuk menanyakan direktori tempat layanan dipasang. Ganti xxx dengan nama layanan terkait.

Sebagai contoh, Anda dapat menjalankan perintah env |grep hive untuk menanyakan direktori tempat layanan Hive dipasang.

JINDOTABLE_EXTRA_CLASSPATH=/opt/apps/METASTORE/metastore-current/hive2
HIVE_HOME=/opt/apps/HIVE/hive-current
HIVE_LOG_DIR=/var/log/taihao-apps/hive
HIVE_CONF_DIR=/etc/taihao-apps/hive-conf
PATH=/opt/apps/JINDOSDK/jindosdk-current/bin:/opt/apps/HADOOP-COMMON/hadoop-common-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/apps/HIVE/hive-current/bin:/opt/apps/JINDODATA/jindodata-current/bin:/opt/apps/JINDODATA/jindodata-current/sbin:/opt/apps/SPARK-EXTENSION/spark-extension-current/bin:/opt/apps/SPARK3/spark-current/bin:/root/bin
OLDPWD=/var/log/emr/hive

Direktori log

Log disimpan di direktori dalam format /var/log/emr/xxx. Contoh:

Spark: /var/log/emr/spark/
Hive: /var/log/emr/hive/
YARN: /var/log/emr/yarn/
JindoSDK: /var/log/emr/jindosdk/

Direktori file konfigurasi

File konfigurasi disimpan di direktori dalam format /etc/emr/xxx. Contoh:

HDFS: /etc/emr/hdfs-conf/
Spark: /etc/emr/spark-conf/
Hive: /etc/emr/hive-conf/
Hudi: /etc/emr/hudi-conf/
Knox: /etc/emr/knox-conf/
YARN: /etc/emr/hadoop-conf/
ZooKeeper: /etc/emr/zookeeper-conf/

Kluster Hadoop

Direktori layanan data besar

Layanan data besar dipasang di direktori dalam format /usr/lib/xxx. Contoh:

Hadoop: /usr/lib/hadoop-current
Spark: /usr/lib/spark-current
Hive: /usr/lib/hive-current
Flink: /usr/lib/flink-current
Flume: /usr/lib/flume-current

Anda juga dapat masuk ke Node master kluster dan menjalankan perintah env |grep xxx untuk menanyakan direktori tempat layanan dipasang.

Sebagai contoh, Anda dapat menjalankan perintah berikut untuk menanyakan direktori tempat layanan Spark dipasang:

env |grep spark

Informasi berikut dikembalikan. /usr/lib/spark-current adalah direktori tempat layanan Spark dipasang.

SPARK_HOME=/usr/lib/spark-current
SPARK_CONF_DIR=/etc/ecm/spark-conf
SPARK_LOG_DIR=/mnt/disk1/log/spark
PATH=/usr/lib/sqoop-current/bin:/usr/lib/jindosdk-current/bin:/usr/lib/hudi-current/bin:/usr/lib/hive-current/hcatalog/bin:/usr/lib/hive-current/bin:/usr/lib/datafactory-current/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/lib/flow-agent-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/jindodata-current//bin:/usr/lib/jindodata-current//sbin:/usr/lib/spark-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin
HADOOP_CLASSPATH=/opt/apps/extra-jars/*:/usr/lib/spark-current/yarn/spark-3.2.1-yarn-shuffle.jar
SPARK_PID_DIR=/usr/lib/spark-current/pids

Direktori log

Log layanan disimpan di direktori dalam format /mnt/disk1/log/xxx. Contoh:

Log YARN ResourceManager: /mnt/disk1/log/hadoop-yarn di Node master
Log YARN NodeManager: /mnt/disk1/log/hadoop-yarn di Node inti atau Node tugas
Log HDFS NameNode: /mnt/disk1/log/hadoop-hdfs di Node master
Log HDFS DataNode: /mnt/disk1/log/hadoop-hdfs di Node inti atau Node tugas
Log Hive: /mnt/disk1/log/hive di Node master
Log ESS: /mnt/disk1/log/ess/ di Node master, Node inti, atau Node tugas

Direktori file konfigurasi

File konfigurasi disimpan di direktori dalam format /etc/ecm/xxx. Contoh:

Hadoop: /etc/ecm/hadoop-conf/
Spark: /etc/ecm/spark-conf/
Hive: /etc/ecm/hive-conf/
Flink: /etc/ecm/flink-conf/
Flume: /etc/ecm/flume-conf/

Jika Anda masuk ke kluster dalam mode SSH, Anda hanya dapat melihat parameter di file konfigurasi. Untuk memodifikasi parameter di file konfigurasi, Anda harus masuk ke konsol EMR.

Direktori data

Data yang di-cache di JindoFS: /mnt/disk1/jindodata/