このトピックでは、E-MapReduce (EMR) のオープンソースコンポーネントのデフォルトポートを一覧表示します。コンポーネントの Web UI やサービスにアクセスするためにセキュリティグループ、ファイアウォールルール、または SSH トンネルを設定する際に、このリファレンスをご利用ください。
Hadoop 2.x
| ポート | サービス | プロトコル | 説明 | 外部アクセス | 設定パラメーター |
|---|---|---|---|---|---|
| 50070 | HDFS NameNode Web UI | HTTP | HDFS のステータスを監視し、ファイルシステムをブラウズします。 | 可 | dfs.namenode.http-address または dfs.http.address (非推奨、現在も機能) |
| 50075 | DataNode Web UI | HTTP | DataNode の Web UI です。 | 可 | — |
| 50010 | DataNode データ転送 | TCP | DataNode との間でデータを転送します。 | 不可 (クラスター内部) | — |
| 50020 | DataNode プロセス間通信 (IPC) | IPC | NameNode と DataNode 間の IPC を処理します。 | 不可 (クラスター内部) | — |
| 8020 | HDFS RPC (HA クラスター) | IPC | 高可用性 (HA) クラスターにおける HDFS のリモートプロシージャコール (RPC) ポートです。 | 不可 (クラスター内部) | — |
| 9000 | HDFS RPC (非 HA クラスター) | IPC | 非 HA クラスターにおける HDFS の RPC ポートです。 | 不可 (クラスター内部) | fs.defaultFS または fs.default.name (非推奨、現在も機能) |
| 8025 | ResourceManager リソース追跡 | IPC | NodeManager と ResourceManager 間のリソース追跡を処理します。 | 不可 (クラスター内部) | yarn.resourcemanager.resource-tracker.address |
| 8088 | YARN ResourceManager Web UI | HTTP | YARN クラスターのリソースとジョブステータスを監視します。 | 可 | — |
| 8485 | JournalNode RPC | IPC | JournalNode の RPC ポートで、HDFS HA で編集ログを同期するために使用されます。 | 不可 (クラスター内部) | — |
| 8019 | ZKFailoverController (ZKFC) | IPC | HA フェールオーバー連携のために ZKFailoverController によって使用されます。 | 不可 (クラスター内部) | — |
| 19888 | JobHistory Server Web UI | HTTP | 完了した MapReduce ジョブの履歴を表示します。 | 可 | mapreduce.jobhistory.webapp.address |
| 10020 | JobHistory Server RPC | IPC | JobHistory Server の RPC ポートです。 | 不可 (クラスター内部) | mapreduce.jobhistory.address |
Hadoop 3.x
| ポート | サービス | プロトコル | 説明 | 外部アクセス | 設定パラメーター |
|---|---|---|---|---|---|
| 8020 | NameNode RPC | IPC | NameNode の RPC ポートです。 | 不可 (クラスター内部) | dfs.namenode.http-address または dfs.http.address (非推奨、現在も機能) |
| 9870 | NameNode Web UI (HTTP) | HTTP | HDFS のステータスを監視し、ファイルシステムをブラウズします。 | 可 | — |
| 9871 | NameNode Web UI (HTTPS) | HTTPS | NameNode のセキュアな Web UI です。 | 可 | — |
| 9866 | DataNode データ転送 | TCP | DataNode との間でデータを転送します。 | 不可 (クラスター内部) | — |
| 9864 | DataNode Web UI (HTTP) | HTTP | DataNode の Web UI です。 | 可 | — |
| 9865 | DataNode Web UI (HTTPS) | HTTPS | DataNode のセキュアな Web UI です。 | 可 | — |
| 8088 | ResourceManager Web UI | HTTP | YARN クラスターのリソースとジョブステータスを監視します。 | 可 | yarn.resourcemanager.webapp.address |
Hadoop 3.x では、Hadoop 2.x からいくつかの HDFS のデフォルトポートが変更されました。特に、NameNode の Web UI はポート 50070 (HTTP) から 9870 に、DataNode の Web UI は 50075 から 9864 に移動しました。
MapReduce
| ポート | サービス | プロトコル | 説明 | 外部アクセス | 設定パラメーター |
|---|---|---|---|---|---|
| 8021 | JobTracker | IPC | MapReduce v1 でジョブの送信を受け付けます。 | 不可 (クラスター内部) | mapreduce.jobtracker.address |
ZooKeeper
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 2181 | クライアントポート | TCP | クライアントはこのポートで ZooKeeper に接続します。 | 可 (クライアントアクセス) |
| 2888 | リーダー通信 | TCP | ZooKeeper リーダーは、フォロワーとの通信のためにこのポートでリッスンします。 | 不可 (クラスター内部) |
| 3888 | リーダー選出 | TCP | ZooKeeper ノードがリーダーを選出するために使用されます。 | 不可 (クラスター内部) |
HBase
| ポート | サービス | プロトコル | 説明 | 外部アクセス | 設定パラメーター |
|---|---|---|---|---|---|
| 16010 | HMaster Web UI | HTTP | HBase マスターノードの Web UI です。 | 可 | hbase.master.info.port |
| 16000 | HMaster RPC | IPC | HMaster の RPC ポートです。 | 不可 (クラスター内部) | hbase.master.port |
| 16030 | RegionServer Web UI | HTTP | HBase RegionServer 管理用の Web UI です。 | 可 | hbase.regionserver.info.port |
| 16020 | HRegionServer RPC | IPC | HRegionServer の RPC ポートです。 | 不可 (クラスター内部) | hbase.regionserver.port |
| 9099 | Thrift サーバー | TCP | HBase Thrift サーバーのポートです。 | 可 | — |
Hive
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 9083 | MetaStore | TCP | Hive MetaStore サービスのデフォルトのリッスンポートです。 | 不可 (クラスター内部) |
| 10000 | HiveServer2 JDBC | TCP | HiveServer2 の Java Database Connectivity (JDBC) ポートです。 | 可 (クライアントアクセス) |
| 10001 | Spark Thrift Server JDBC | TCP | Spark Thrift サーバーの JDBC ポートです。 | 可 (クライアントアクセス) |
Spark
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 7077 | マスター通信 | TCP | Spark マスターは、ワーカーノード接続とスタンドアロンクラスターのジョブ送信のためにこのポートでリッスンします。 | 不可 (クラスター内部) |
| 8080 | マスター Web UI | HTTP | Spark マスターノードの Web UI で、リソーススケジューリングの監視に使用されます。 | 可 |
| 8081 | ワーカー Web UI | HTTP | Spark ワーカーノードの Web UI で、リソーススケジューリングの監視に使用されます。 | 可 |
| 4040 | ドライバー Web UI | HTTP | Spark ドライバーの Web UI で、タスクスケジューリングの監視に使用されます。 | 可 |
| 18080 | Spark History Server Web UI | HTTP | 完了した Spark アプリケーションの履歴を確認するための Web UI です。 | 可 |
Kafka
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 9092 | ブローカー RPC | TCP | Kafka クラスター内のノード間通信用の RPC ポートです。 | 可 (クライアントアクセス) |
Redis
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 6379 | Redis | TCP | Redis サービスのデフォルトポートです。 | 可 (クライアントアクセス) |
Hue
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 8888 | Hue Web UI | HTTP | Hue の Web UI です。 | 可 |
Oozie
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 11000 | Oozie Web UI | HTTP | Oozie の Web UI です。 | はい |
Druid
| ポート | サービス | プロトコル | 説明 | 外部アクセス | 設定パラメーター |
|---|---|---|---|---|---|
| 18888 | Druid Web UI | HTTP | Druid の Web UI です。 | 可 | — |
| 18090 | Overlord | HTTP | インデックス作成タスクを受信し、配布します。 | 不可 (クラスター内部) | overlord.runtime タブの druid.plaintextPort |
| 18091 | MiddleManager | HTTP | インデックス作成タスクを個別のプロセスとして実行します。 | 不可 (クラスター内部) | middleManager.runtime タブの druid.plaintextPort |
| 18081 | コーディネーター | HTTP | Historical ノード上のデータの可用性を管理します。 | 不可 (クラスター内部) | coordinator.runtime タブの druid.plaintextPort |
| 18083 | Historical | HTTP | 履歴セグメントデータを格納し、提供します。 | 不可 (クラスター内部) | historical.runtime タブの druid.plaintextPort |
| 18082 | ブローカー | HTTP | クエリを適切なデータノードにルーティングします。 | 不可 (クラスター内部) | broker.runtime タブの druid.plaintextPort |
Ganglia
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 9292 | Ganglia Web UI | HTTP | Ganglia クラスター監視用の Web UI です。 | 可 |
Ranger
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 6080 | Ranger Web UI | HTTP | Apache Ranger ポリシー管理用の Web UI です。 | 可 |
Kafka Manager
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 8085 | Kafka Manager | HTTP | Kafka クラスターを管理するための Web UI です。 | 可 |
Superset
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 18088 | Superset Web UI | HTTP | Apache Superset の Web UI です。 | 可 |
Impala
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 21050 | Impala JDBC | TCP | Impala に接続するための JDBC ポートです。 | 可 (クライアントアクセス) |
Presto
| ポート | サービス | プロトコル | 説明 | 外部アクセス |
|---|---|---|---|---|
| 9090 | Presto Web UI | HTTP | Presto の Web UI です。 | 可 |