EMR の YARN ダッシュボードでは、クラスターのリソース使用率をモニターし、Auto Scaling の効果を評価できます。この機能を活用して、過剰なリソース割り当て(オーバープロビジョニング)を検出し、過去 30 日間の使用率トレンドを確認したうえで、履歴 YARN メトリックに基づいて Auto Scaling ルールを最適化してください。
前提条件
開始する前に、以下の条件を満たしていることを確認してください。
-
YARN サービスが有効化された DataLake クラスターまたはカスタムクラスターを用意します。設定手順については、「クラスターの作成」をご参照ください。
操作方法の概要
| 目的 | 操作方法 |
|---|---|
| 使用率トレンドを比較し、推奨されるスケーリングルールを取得 | YARN リソース使用率トレンドの表示 |
| YARN メトリックデータを確認し、Auto Scaling の効果を評価 | YARN メトリックデータの表示 |
YARN リソース使用率トレンドの表示
本操作では、時間経過に伴うリソース使用率の推移を比較し、クラスターが過剰にプロビジョニングされていないかを確認します。コンソールは、このトレンドデータに基づき、推奨される Auto Scaling ルールを自動的に提示します。
-
EMR コンソール にログインします。左側ナビゲーションウィンドウで、EMR on ECS をクリックします。
-
上部ナビゲーションバーで、ご利用のクラスターが配置されているリージョンを選択し、リソースグループを指定します。
-
EMR on ECS ページの クラスター ID/名前 列から、対象クラスターの名前をクリックします。
-
Auto Scaling タブをクリックし、サブタブとして Auto Scaling の設定 を開きます。
-
過去 30 日間のリソース使用率の傾向線を確認します。リソースの無駄遣い(リソース浪費)を検出するには、過去 N 日間(N は 30 より小さい整数)の傾向と比較してください。コンソールは、この分析結果に基づき推奨される Auto Scaling ルールを表示します。推奨ルールに従って、クラスターのノードグループに対するスケーリングを設定してください。
YARN メトリックデータの表示
本操作では、生の YARN メトリックを確認し、コンテナおよびノードの使用率を観察することで、Auto Scaling がクラスターに与える効果を評価します。
-
EMR コンソール にログインします。左側ナビゲーションウィンドウで、EMR on ECS をクリックします。
-
上部ナビゲーションバーで、ご利用のクラスターが配置されているリージョンを選択し、リソースグループを指定します。
-
EMR on ECS ページの クラスター ID/名前 列から、対象クラスターの名前をクリックします。
-
モニタリングと診断 タブをクリックし、サブタブとして メトリックモニタリング を選択します。
-
ダッシュボード のドロップダウンリストから YARN-HOME を選択します。これにより、クラスターの YARN メトリックデータがダッシュボードに表示されます。
-
期間を指定して、その範囲におけるリソース使用率を確認できます。
-
ダッシュボード内の Yarn Scaling メトリックを特定します。Yarn Scaling は、YARN Auto Scaling の状況を可視化するためのメトリックです。ご利用のクラスター内で実行中のコンテナおよびノードのリソース使用率を示し、Auto Scaling の効果を把握し、クラスターのパフォーマンスを正確に評価するのに役立ちます。