E-MapReduce（EMR）Doctor の基本情報は、インストール時に構成されます。基本構成は、EMR クラスタおよびクラスタ内で実行されるタスクのメタデータ収集に関連しています。ほとんどの場合、基本構成を変更したり配信したりする必要はありません。このトピックでは、EMR Doctor の基本構成と、基本構成の変更方法について説明します。
以下のセクションでは、変更可能な EMR Doctor の構成について説明します。他の構成は変更しないでください。変更すると、タスクの失敗などの重大な問題が発生する可能性があります。
このトピックでは、新バージョンのクラスタとは DataLake クラスタ、DataServing クラスタ、およびカスタムクラスタシナリオのクラスタを指します。旧バージョンのクラスタとは、古い EMR コンソールでの Hadoop クラスタとゲートウェイクラスタを指します。
ストレージメタデータ収集の構成
構成項目 | デフォルト値 | 説明 |
collect.storage.enable | false | ストレージメタデータを収集するかどうかを指定します。デフォルトでは、EMR Doctor はストレージメタデータを収集しません。 タブで、[ストレージリソースに関する情報の収集] をオンにして、この構成項目を有効にすることができます。 |
collect.storage.intermediate.path | /mnt/disk1/log/doctor/derby/ | ストレージメタデータの収集時に生成される中間データが格納されるパス。 中間データは、ストレージメタデータの収集時に生成されます。中間データの量は、FSImage ファイルのサイズに比例します。 |
collect.storage.max.depth | 6 | 詳細構成項目。ストレージメタデータの収集時にトラバースされるディレクトリの最大レベル数。スラッシュ（/）で始まるディレクトリを含みます。 説明 このパラメータには、過度に大きな値を指定しないことをお勧めします。過度に大きな値を指定すると、分析時間が長くなったり、中間ストレージデータの量が多くなったりするなどの問題が発生する可能性があります。 |
collect.storage.top.size | 100 | 詳細構成項目。ストレージメタデータの収集時に各レベルで取得できる最大サイズのディレクトリの数。デフォルト値：100。 説明 このパラメータには、過度に大きな値を指定しないことをお勧めします。過度に大きな値を指定すると、分析時間が長くなったり、中間ストレージデータの量が多くなったりするなどの問題が発生する可能性があります。 |
collect.oss.bucket | デフォルト値なし | オブジェクトを分析するバケットの名前。 Object Storage Service（OSS）に格納されているデータを分析する場合は、この構成項目が必要です。詳細については、「ストレージ分析機能の有効化と構成」をご参照ください。 |
collect.oss.manifest.dir | デフォルト値なし | 生成されたインベントリリストが格納されるディレクトリ。 OSS に格納されているデータを分析する場合は、この構成項目が必要です。詳細については、「ストレージ分析機能の有効化と構成」をご参照ください。 |
上記の構成項目は、EMR コンソールの [TAIHAODOCTOR] サービスページの [構成] タブで表示または変更できます。手順：
サービスの [構成] タブに移動します。
説明EMR Doctor は EMR コンソールに表示されません。EMR Doctor にアクセスするには、現在のサービスの [構成] タブのリンクを変更する必要があります。このトピックでは、HDFS サービスを使用します。
EMR コンソールで、目的のクラスタを見つけ、[アクション] 列の [サービス] をクリックします。
[サービス] タブで、HDFS セクションの [構成] をクリックします。
ブラウザのアドレスバーにあるリンクのサービス名を TAIHAODOCTOR に置き換え、Enter キーを押します。
TAIHAODOCTOR サービスの [構成] タブが表示されます。
TAIHAODOCTOR サービスの [構成] タブで、ビジネス要件に基づいて上記の構成項目を変更し、構成を保存して、構成を有効にすることができます。
構成項目の変更方法の詳細については、「構成項目の変更」をご参照ください。
スケジューラ収集の構成
EMR コンソールの [TAIHAODOCTOR] サービスの [構成] タブで、次の構成項目を表示または変更できます。次の構成項目の変更方法の詳細については、「ストレージメタデータ収集の構成」をご参照ください。
構成項目 | デフォルト値 | 説明 |
collect.job.interval | 120 | YARN ベースのスケジューリングタスクのステータスを収集する間隔。デフォルト値：120。単位：秒。 |
collect.jobs.intermediate.path | /mnt/disk1/log/doctor/jobs/ | YARN ベースのスケジューリングタスクのステータス収集時に生成される中間データが格納されるパス。 |
一般情報の構成
EMR コンソールの [TAIHAODOCTOR] サービスの [構成] タブで、次の構成項目を表示または変更できます。次の構成項目の変更方法の詳細については、「ストレージメタデータ収集の構成」をご参照ください。
構成項目 | デフォルト値 | 説明 |
collect.metrics.interval | 15 | エンジнтаスクのメトリックに関する情報を収集する間隔。デフォルト値：15。単位：秒。 説明 タスクの安定性に影響を与えないように、このパラメータには過度に大きな値または小さな値を指定しないことをお勧めします。過度に大きな値を指定すると、タスクに対する不適切な提案が生成される可能性があります。過度に小さな値を指定すると、収集の負荷が過大になる可能性があります。 |
collect.rate.limit | 5000 | 各プロセスで 1 秒あたりに収集されるレコードの最大数。プロセスの安定性に影響を与えないように、超過したデータレコードは破棄されます。 |
MapReduce タスク収集の構成
EMR コンソールの [構成] タブの [YARN] サービスで、次の構成項目を表示または変更できます。
構成項目の変更方法の詳細については、「構成項目の変更」をご参照ください。
構成項目 | デフォルト値 | 説明 |
yarn.app.mapreduce.am.command-opts |
| MapReduce タスクの AppMaster メタデータを収集します。
|
mapreduce.map.java.opts |
| map タスクのメタデータを収集します。
|
mapreduce.reduce.java.opts |
| reduce タスクのメタデータを収集します。
|
Tez タスク収集の構成
EMR コンソールの [構成] タブの [tez] サービスで、次の構成項目を表示または変更できます。
構成項目の変更方法の詳細については、「構成項目の変更」をご参照ください。
構成項目 | デフォルト値 | 説明 |
tez.am.launch.cmd-opts |
| Tez タスクの AppMaster メタデータを収集します。 |
tez.task.launch.cmd-opts |
| Tez タスクのメタデータを収集します。 |
Spark タスク収集の構成
EMR コンソールの [構成] タブの [spark] サービスで、次の構成項目を表示または変更できます。
構成項目の変更方法の詳細については、「構成項目の変更」をご参照ください。
構成項目 | デフォルト値 | 説明 |
spark.driver.extraJavaOptions |
| Spark ドライバのメタデータを収集します。
|
spark.executor.extraJavaOptions |
| Spark Executor のメタデータを収集します。
|
YARN Timeline Server の構成
EMR コンソールの [構成] タブの [YARN] サービスで、次の構成項目を表示または変更できます。
構成項目の変更方法の詳細については、「構成項目の変更」をご参照ください。
構成項目 | デフォルト値 | 説明 |
YARN_TIMELINESERVER_OPTS |
| 収集タスクの終了フラグ。
|