E-MapReduce Doctor の基本設定はインストール時に設定され、クラスターとタスクのメタデータ収集をコントロールします。これらの設定は、変更が必要になることはほとんどありません。このトピックでは、これらのパラメーターについて説明し、変更方法を解説します。
-
このトピックでは、変更可能な E-MapReduce Doctor のパラメーターをリストアップしています。タスクの失敗など、深刻な問題を防ぐため、他のパラメーターは変更しないでください。
-
このトピックでは、「新しいクラスター」とは DataLake、DataServing、カスタムクラスターを指し、「古いクラスター」とは以前のコンソールから作成された Hadoop およびゲートウェイクラスターを指します。
ストレージメタデータ収集パラメーター
|
パラメーター |
デフォルト |
説明 |
|
collect.storage.enable |
false |
ストレージメタデータを収集するかどうかを指定します。この機能はデフォルトで無効になっています。 このパラメーターは ページで有効にできます。収集を開始するには、Collect Information About Storage Resources 設定を見つけ、右側の [有効化] をクリックします。 |
|
collect.storage.intermediate.path |
/mnt/disk1/log/doctor/derby/ |
ストレージメタデータ収集中に生成される中間データの保存パスです。 中間データのサイズは、FSImage ファイルのサイズに比例します。 |
|
collect.storage.max.depth |
6 |
詳細設定です。ルートディレクトリ (/) から始まる、ストレージメタデータ収集の最大ディレクトリ深度を指定します。 説明
この値を高く設定しすぎないことを推奨します。値が大きいと、分析時間が長くなり、中間データのストレージ使用量が過剰になる可能性があります。 |
|
collect.storage.top.size |
100 |
詳細設定です。ストレージメタデータの各レベルから取得する上位ディレクトリの数です。デフォルトは 100 です。 説明
この値を高く設定しすぎないことを推奨します。値が大きいと、分析時間が長くなり、中間データのストレージ使用量が過剰になる可能性があります。 |
|
collect.oss.bucket |
None |
分析対象のバケット名です。 このパラメーターは、Object Storage Service (OSS) のデータを分析する際に使用します。詳細については、「OSS ストレージ分析の有効化と設定」をご参照ください。 |
|
collect.oss.manifest.dir |
None |
インベントリリストファイルのディレクトリです。 このパラメーターは、OSS のデータを分析する際に使用します。詳細については、「OSS ストレージ分析の有効化と設定」をご参照ください。 |
E-MapReduce コンソールの [TAIHAODOCTOR] サービスの構成ページで、これらのパラメーターを表示または変更できます。 以下の手順に従ってください。
-
いずれかのサービスの設定ページに移動します。
説明E-MapReduce Doctor は非表示のサービスです。設定ページにアクセスするには URL を変更する必要があります。この例では HDFS サービスを使用します。
-
E-MapReduce コンソールで、対象のクラスターを見つけ、[操作] 列の Services をクリックします。
-
Services ページで、HDFS セクションの Configure をクリックします。
-
-
ブラウザの URL にあるサービス名を TAIHAODOCTOR に変更します。たとえば、URL パスに
application,HDFS,configが含まれている場合、HDFS を置き換えます。サービス名を置き換えて Enter キーを押すと、TAIHAODOCTOR サービスページが開きます。[設定] タブをクリックします。設定ファイルの一覧に
doctor-conf.propertiesファイルが見つかります。 -
TAIHAODOCTOR サービスの設定ページで、必要に応じてパラメーターを変更し、設定を保存して適用します。
パラメーターの変更方法の詳細については、「パラメーターの変更」をご参照ください。
スケジューラー収集パラメーター
E-MapReduce コンソールの [TAIHAODOCTOR] サービスの構成ページで、次のパラメーターを表示または変更できます。具体的な手順については、「ストレージメタデータ収集パラメーター」のプロシージャをご参照ください。
|
パラメーター |
デフォルト |
説明 |
|
collect.job.interval |
120 |
YARN でスケジュールされたタスクのステータスを収集する間隔 (秒)。デフォルトは 120 です。 |
|
collect.jobs.intermediate.path |
/mnt/disk1/log/doctor/jobs/ |
YARN でスケジュールされたタスクのステータスに関する中間データが保存されるパスです。 |
共通パラメーター
E-MapReduce コンソールの [TAIHAODOCTOR] サービスの設定ページで、次のパラメーターを表示または変更できます。具体的な手順については、「ストレージメタデータ収集パラメーター」のプロシージャをご参照ください。
|
パラメーター |
デフォルト |
説明 |
|
collect.metrics.interval |
15 |
各エンジンタスクのカウンターを収集する間隔 (秒)。デフォルトは 15 です。 説明
この値を高くまたは低く設定しすぎないことを推奨します。値が高いとタスクの推奨が不正確になり、値が低いと収集のオーバーヘッドが過剰になり、タスクの安定性に影響を与える可能性があります。 |
|
collect.rate.limit |
5000 |
データ収集のレート制限 (プロセスあたりレコード/秒)。プロセスの安定性を維持するため、この制限を超えるレコードは破棄されます。 |
MapReduce タスク収集パラメーター
E-MapReduce コンソールの [YARN] サービスの Configure タブで、以下のパラメーターを表示または変更できます。
パラメーターの変更方法の詳細については、「パラメーターの変更」をご参照ください。
|
パラメーター |
デフォルト |
説明 |
|
yarn.app.mapreduce.am.command-opts |
|
MapReduce タスクの AppMaster メタデータを収集します。
|
|
mapreduce.map.java.opts |
|
MapReduce のマップタスクのメタデータを収集します。
|
|
mapreduce.reduce.java.opts |
|
MapReduce の reduce タスクのメタデータを収集します。
|
Tez タスク収集パラメーター
E-MapReduce コンソールのTez サービスのConfigureタブで、次のパラメーターを表示または変更できます。
パラメーターの変更方法の詳細については、「パラメーターの変更」をご参照ください。
|
パラメーター |
デフォルト |
説明 |
|
tez.am.launch.cmd-opts |
|
Tez タスクの AppMaster メタデータを収集します。 |
|
tez.task.launch.cmd-opts |
|
Tez タスクのメタデータを収集します。 |
Spark タスク収集パラメーター
E-MapReduce コンソールの Spark サービスにある Configure タブで、以下のパラメーターを表示または変更できます。
パラメーターの変更方法の詳細については、「パラメーターの変更」をご参照ください。
|
パラメーター |
デフォルト |
説明 |
|
spark.driver.extraJavaOptions |
|
Spark ドライバーのメタデータを収集します。
|
|
spark.executor.extraJavaOptions |
|
Spark エグゼキュータのメタデータを収集します。
|
YARN Timeline Server パラメーター
E-MapReduce コンソールの [YARN] サービスの Configure タブで、以下のパラメーターを表示または変更できます。
パラメーターの変更方法の詳細については、「パラメーターの変更」をご参照ください。
|
パラメーター |
デフォルト |
説明 |
|
YARN_TIMELINESERVER_OPTS |
|
タスク完了シグナルを収集します。
|