EMR では、YARN ベースのメトリックダッシュボードを提供しており、クラスターのリソース使用率を確認し、auto scaling の効果を評価できます。また、過去の YARN メトリックを活用して、カスタム auto scaling ルールを設定・最適化することも可能です。
前提条件
DataLake クラスターまたは Custom クラスターを作成済みで、YARN サービスを選択している必要があります。詳細については、「Create a cluster」をご参照ください。
操作手順
方法 1：YARN リソース使用率の比較表示
-
Auto Scaling ページに移動します。
-
EMR on ECS コンソールにログインします。
-
上部ナビゲーションバーで、ご利用の要件に応じてリージョンおよびリソースグループを選択します。
-
対象クラスターの名前をクリックします。
-
表示されたページで、Auto Scaling タブをクリックします。
-
-
Configure Auto Scaling ページには、YARN リソース使用率の比較が表示されます。
直近 30 日間のリソース使用率の傾向を確認し、過去の日付と比較することでリソースの無駄を特定できます。システムは現在のリソース状況を分析し、auto scaling ルールを推奨します。これらの推奨事項を活用して、クラスターノードグループの auto scaling を設定してください。詳細については、「Create a custom auto scaling policy」および「Create a managed auto scaling policy」をご参照ください。
方法 2：詳細な YARN メトリックデータの表示
-
Metric Monitoring ページに移動します。
-
EMR on ECS コンソールにログインします。
-
上部メニューバーで、リージョンおよびリソースグループを選択します。
-
対象クラスターの名前をクリックします。
-
ページ上部の チェックの監視 をクリックします。
-
Metric Monitoring タブをクリックします。
-
-
Dashboard ドロップダウンリストから YARN-HOME を選択します。ダッシュボードにはクラスターの YARN メトリックデータが表示されます。期間を調整することで、過去のクラスター使用率を確認できます。
-
YARN Scaling セクションには、YARN auto scaling メトリックが表示されます。これらのメトリックを活用して、コンテナおよびノードのリソース使用率をドリルダウンし、auto scaling の効果を評価してください。