E-MapReduce:DataNode Xceiver 数制限例外

エラーメッセージ

java.io.IOException: Xceiver count xxxx exceeds the limit of concurrent xceivers: xxxx

原因

dfs.datanode.max.transfer.threads パラメーターは、DataNode が読み取りおよび書き込みのデータストリームを処理するために使用するスレッドプールのサイズを制御します。デフォルト値は 4096 です。この値が低すぎると、DataNode は Xceiver 数制限例外をスローします。

操作手順

1. E-MapReduce コンソールにログインします。

2. 上部ナビゲーションバーで、適切なリージョンおよびリソースグループを選択します。

3. HDFS サービスの構成ページに移動します。

   1. Clustersページで、ご利用のクラスターを見つけ、Services をクリックします。

   2. Services ページで、HDFS セクションの Configure をクリックします。

4. 構成検索エリアで、パラメーター dfs.datanode.max.transfer.threads を検索し、その値を増やします（例：8192 または 16384 に倍増）。

   説明

   dfs.datanode.max.transfer.threads パラメーターは、DataNode 上で読み取りおよび書き込みのデータストリームを処理するためのスレッドプールサイズを制御します。デフォルト値は 4096 です。