E-MapReduce Doctor (EMR Doctor) は、オープンソースのビッグデータクラスター向けのインテリジェントな診断システムです。チェックの監視 ページの チェックの監視 機能と チェックの監視 機能を使用して、クラスターヘルスを監視し、傾向を追跡し、運用の意思決定とリソースの最適化を支援します。
E-MapReduce (EMR) クラスターを管理する際には、通常、以下の項目を監視する必要があります：
-
YARN、HDFS、Hive、Spark などの主要サービスのステータス監視や例外処理を含む、クラスターの安定性。
-
ワークロード、メモリ、CPU 使用率を含む、クラスターの有効性。
-
重要なタスクが時間内に完了するために十分なリソースを利用できることを保証する、クラスターユーザー向けのサービスレベルアグリーメント (SLA)。
EMR Doctor は、以下の機能を提供します：
-
クラスターのヘルスステータスに関するタイムリーな更新を提供し、主要サービスに対するアクションを推奨することで、運用コストを削減し、安定性を向上させます。
-
リソースの使用量と割り当てを追跡し、ハードウェアの適正化と使用率の向上を支援します。
-
データパイプラインの効率性と安定性を維持するために、コンポーネントとワークロードのチューニングに関する最適化案を提案します。
主な機能：
-
クラスターまたはノードに対して詳細な診断を実行し、検出された問題と推奨される修正方法を表示します。詳細については、「ヘルスチェックの有効化」をご参照ください。
-
定量的なスコアと、改善の余地がある点に関する具体的な推奨事項を含むクラスターレポートを生成します。詳細については、「クラスター日次レポートの表示と分析」をご参照ください。
-
インテリジェントなアルゴリズムをクラスターデータに適用し、ビッグデータプラットフォーム管理における繰り返し行われる手作業を削減します。