EMR Doctor の有効化 - E-MapReduce - Alibaba Cloud ドキュメントセンター

デフォルトでは、EMR Doctor は DataLake クラスタ、DataServing クラスタ、およびカスタムクラスタに提供されます。 V3.41.0 より前のマイナーバージョン、V5.6.0 より前のマイナーバージョン、または V4.X の EMR Hadoop クラスタで EMR Doctor を使用する場合、EMR Doctor を有効にするリクエストを送信する必要があります。このトピックでは、EMR Doctor を有効にする方法について説明します。

概要

EMR Doctor は、オープンソースのビッグデータクラスタマネージャーです。エンドツーエンドのインテリジェントな診断および最適化サービスを提供します。 EMR Doctor は、ビッグデータクラスタとクラスタのサービスの O&M 操作を効率的に実行し、クラスタのリソース使用率を継続的に最適化するのに役立ちます。これにより、クラスタは健全で安定し、上位ビジネスにより良いコンピューティングサービスを提供できるようになります。

EMR Doctor を使用して、次の操作を実行できます。

クラスタの健全性に関する日次レポートの生成: EMR Doctor は、ストレージとコンピューティングエンジンを分析し、クラスタの全体的なヘルスチェックを実行し、レポートを使用してクラスタのヘルスステータスを毎日表示するために使用されます。
リアルタイムクラスタレポートの生成: EMR Doctor は、クラスタのコンピューティングタスクとサービスをリアルタイムでスキャンして問題を特定し、トラブルシューティングのために O&M 担当者に問題を報告するために使用されます。

説明

EMR Doctor は、EMR V3.41.0 以後のマイナーバージョン、および EMR V5.6.0 以後のマイナーバージョンでリリースされています。他のバージョンの EMR クラスタでこのサービスを使用する場合は、有効化手順で説明されている操作を実行してください。

有効化の影響

EMR Doctor は、クラスタ内の既存のタスクに影響を与えません。 EMR Doctor は、メトリックやタスクのイベントなど、必要なデータのみを収集します。次に、EMR Doctor はメトリックとイベントを分析し、バックエンドの分析結果に基づいてタスクをスコアリングします。

EMR Doctor のインストールに気付くことはありません。インストールは、実行中のタスクと実行予定のタスクには影響しません。

EMR Doctor のインストール中に、EMR は保存されているがクラスタに配信されていないサービス構成を配信します。 EMR Doctor をインストールする前に、一部のサービス構成が配信されていないかどうかを確認し、サービス構成をクラスタに配信することの影響を評価することをお勧めします。構成を配信する必要があるサービスは、Hive、Spark、YARN、または Tez の場合があります。

EMR Doctor がインストールされると、EMR は次のパラメータを自動的に構成します。

サービス名	構成ファイル	追加されたコンテンツ
Hive	hive-env.sh	環境変数
YARN	mapred-site.xml	構成項目名: `yarn.app.mapreduce.am.command-opts`、`mapreduce.map.java.opts`、および `mapreduce.reduce.java.opts` 値: `-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr`
YARN	yanr-env.sh	環境変数
Spark	spark-defaults.conf	構成項目名: `spark.driver.extraJavaOptions`、`spark.executor.extraJavaOptions`、および `spark.yarn.am.extraJavaOptions` 値: `-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark`
Tez	tez-site.xml	構成項目名: `tez.task.launch.cmd-opts` and `tez.am.launch.cmd-opts` 値: `-noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez`

EMR Doctor がインストールされた後、Alibaba Cloud EMR Doctor チームからインストールが完了したことが通知されます。 App Timeline Server、HiveServer2、および Spark Thrift Server サービスを再起動する必要があります。 EMR Doctor に関するよくある質問については、クラスタ管理に関する FAQ を参照してください。

重要

上記のサービスは、オフピーク時またはメンテナンスウィンドウ中に再起動できます。サービスを再起動しなくても、EMR Doctor を使用できます。ただし、Hive on MapReduce ジョブなど、一部のジョブでは一部のデータが収集に失敗します。

有効化手順

Alibaba Cloud EMR Doctor チームは、EMR Doctor をインストールするための包括的なサポートを提供します。これにより、インストールプロセス中のクラスタとクラスタ内の既存のタスクの安定性が確保されます。

ID が 44846846 の DingTalk グループに参加してください。Alibaba Cloud EMR Doctor チームがエンジニアを派遣してご連絡いたします。
派遣されたエンジニアがお客様のクラスタのステータスを確認し、お客様のクラスタの EMR Doctor を有効にする時間を調整します。
EMR Doctor チームは、指定された時間にクラスタに EMR Doctor をインストールします。
EMR Doctor がインストールされた後、EMR コンソールにログインして、EMR Doctor 分析に基づいて生成されたレポートを表示できます。

お問い合わせ

Alibaba Cloud EMR Doctor チームは、EMR Doctor をインストールするための包括的なサポートを提供しています。 EMR Doctor を使用するには、ID が 44846846 の DingTalk グループに参加してください。 Alibaba Cloud EMR Doctor チームがエンジニアを派遣してご連絡いたします。