EMR Doctor は、オープンソースのビッグデータクラスターマネージャーであり、エンドツーエンドのインテリジェントな診断および最適化サービスを提供します。毎日のヘルスレポートの生成とリアルタイムスキャンを実行し、ワークロードに影響を与える前に問題を検出します。EMR V3.x（V3.41.0 より前）、V4.x、または V5.x（V5.6.0 より前）で実行される Hadoop クラスターの場合、Alibaba Cloud EMR Doctor チームへ有効化の申請が必要です。
DataLake クラスター、DataServing クラスター、およびカスタムクラスターでは、EMR Doctor がデフォルトで有効化されています。本トピックは、上記に示した Hadoop クラスターのバージョンにのみ適用されます。
前提条件
開始する前に、以下の条件を確認してください。
ご利用の Hadoop クラスターが、以下のいずれかのバージョンで実行されていること：
EMR V3.x（V3.41.0 より前）
EMR V4.x（すべてのマイナーバージョン）
EMR V5.x（V5.6.0 より前）
DingTalk グループ（グループ ID：44846846）に参加し、EMR Doctor チームと連絡を取れること。
EMR Doctor の仕組み
EMR Doctor は、クラスター内のコンピューティングタスクからメトリックおよびイベントを収集し、バックエンドで各タスクにスコアを付与します。これにより、以下の 2 種類の可視性が得られます。
毎日のヘルスレポート：ストレージおよびコンピュートエンジンを分析し、クラスター全体のヘルスチェックを実行して、クラスターのヘルスステータスに関する毎日のレポートを生成します。
リアルタイムクラスターレポート：コンピューティングタスクおよびサービスを継続的にスキャンし、問題を検出し、運用・保守（O&M）担当者へトラブルシューティングのための通知を行います。
有効化による影響
EMR Doctor の有効化は、クラスター内で既に実行中のタスクには影響しません。EMR Doctor はタスクからメトリックおよびイベントのみを収集し、バックエンドで分析およびスコアリングを行います。インストールは、実行中およびキューに登録済みのタスクに対して透明です。
インストール時に適用される構成変更
EMR Doctor をインストールすると、自動的にクラスターのサービス構成ファイルに以下の設定が追加されます。
| サービス | 構成ファイル | 追加されるパラメーター |
|---|---|---|
| Hive | hive-env.sh | 環境変数 |
| YARN | mapred-site.xml | yarn.app.mapreduce.am.command-opts, mapreduce.map.java.opts, mapreduce.reduce.java.opts → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr |
| YARN | yarn-env.sh | 環境変数 |
| Spark | spark-defaults.conf | spark.driver.extraJavaOptions, spark.executor.extraJavaOptions, spark.yarn.am.extraJavaOptions → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark |
| Tez | tez-site.xml | tez.task.launch.cmd-opts, tez.am.launch.cmd-opts → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez |
保留中の構成
インストール中に、保存済みだがクラスターにまだ適用されていないサービス構成が Alibaba Cloud EMR から配信される場合があります。有効化前に、Hive、Spark、YARN、Tez の各サービスについて保留中の構成が存在しないか確認し、適用時の影響を評価してください。
インストール後のサービス再起動
インストール後に、以下のサービスを再起動します。
App Timeline Server
HiveServer2
Spark Thrift Server
再起動は、非ピーク時間帯またはメンテナンスウィンドウ内にスケジュールしてください。EMR Doctor はこれらの再起動なしでも動作しますが、一部のジョブ（例：MapReduce 上の Hive ジョブ）については、データが収集されない場合があります。
Alibaba Cloud EMR Doctor チームより、インストール完了の連絡があり、再起動が必要なサービスが確認されます。
有効化の申請
クラスターの安定性を確保するため、Alibaba Cloud EMR Doctor チームがインストールをエンドツーエンドで対応します。
DingTalk グループ（ID：44846846）に参加してください。EMR Doctor チームのエンジニアよりご連絡いたします。
エンジニアがご利用のクラスターの状態を確認し、インストール実施のための時間帯を調整します。
合意した時間に、EMR Doctor チームが EMR Doctor をインストールします。
インストール後、EMR コンソールにログインして、EMR Doctor の分析に基づいて生成されたレポートをご確認ください。
お問い合わせ
Alibaba Cloud EMR チームでは、本機能の有効化を支援する包括的なインストールサポートを提供しています。ご不明点やサポートが必要な場合は、DingTalk でグループ番号 44846846 を検索し、DingTalk グループに参加してください。担当エンジニアが割り当てられ、具体的な実施計画についてご相談いたします。