Hadoop 分散ファイルシステム (HDFS) サービスログは、/mnt/disk1/log/hadoop-hdfs に保存されます。特定の HDFS コンポーネントのトラブルシューティングを行う際には、このリファレンスを参照して確認すべきログファイルを特定してください。
各 HDFS コンポーネントは、最大で次の 4 種類のログを出力します。
プロセス起動ログ (
.out):コンポーネントプロセスの起動時に発生した例外をキャプチャします。プロセス実行ログ (
.log):コンポーネントプロセスの内部ランタイムアクティビティを記録します。監査ログ:ファイルシステムへのアクセス操作を記録します。NameNode のみで利用可能です。
JVM-GC ログ (
*-gc.log.0.current):Java 仮想マシン (JVM) のガベージコレクション (GC) イベントを記録します。EMR V3.43.0、EMR V5.8.0、およびそれ以降のマイナーバージョンで利用可能です。
| コンポーネント | ログファイル | タイプ |
|---|---|---|
| ZKFailoverController (ZKFC) | hadoop-hdfs-zkfc-*.out | プロセス起動ログ |
| ZKFailoverController (ZKFC) | hadoop-hdfs-zkfc-*.log | プロセス実行ログ |
| ZKFailoverController (ZKFC) | zkfc-gc.log.0.current | JVM-GC ログ |
| NameNode | hadoop-hdfs-namenode-*.out | プロセス起動ログ |
| NameNode | hadoop-hdfs-namenode-*.log | プロセス実行ログ |
| NameNode | hdfs-audit.log | 監査ログ |
| NameNode | namenode-gc.log.0.current | JVM-GC ログ |
| JournalNode | hadoop-hdfs-journalnode-*.out | プロセス起動ログ |
| JournalNode | hadoop-hdfs-journalnode-*.log | プロセス実行ログ |
| JournalNode | journalnode-gc.log.0.current | JVM-GC ログ |
| DataNode | hadoop-hdfs-datanode-*.out | プロセス起動ログ |
| DataNode | hadoop-hdfs-datanode-*.log | プロセス実行ログ |
| DataNode | datanode-gc.log.0.current | JVM-GC ログ |