DataWorks では、EMR ノードが属するベースラインと YARN キュー間の優先順位マッピングに基づいて、E-MapReduce（EMR）ノードの最終的な YARN キューの優先順位を調整できます。このトピックでは、ベースラインと YARN キュー間の優先順位マッピングを構成する方法について説明します。
背景情報
YARN は、EMR クラスタ内のリソースを管理およびスケジュールし、YARN 上で実行されるさまざまな種類のジョブにリソースを割り当てるために使用される分散リソース管理システムです。 YARN では、キューの優先順位によって、YARN が優先的にリソースを割り当てるジョブが決まります。優先順位の高いジョブは、優先的にスケジュールして実行できます。 YARN の詳細については、「Yarn」をご参照ください。
DataWorks では、次のいずれかの方法を使用して、ノードのスケジュールに使用される YARN キューを構成できます。
方法 1：グローバル YARN キューを構成する。ワークスペースレベルのワークスペースページで、DataWorks サービスが EMR ノードを実行するために使用する YARN キューを構成できます。詳細については、「DataWorks への EMR クラスタの登録」をご参照ください。
方法 2：単一ノードの YARN キューを構成する。単一の EMR ノードの YARN キューを構成し、EMR ノードの構成タブで YARN キューの優先順位を構成できます。詳細については、「EMR Hive ノードを作成する」、「EMR Spark ノードを作成する」、または「EMR Spark SQL ノードを作成する」をご参照ください。
目的の EMR ノードが属するワークスペースで「グローバル設定が優先」機能が有効になっている場合、ワークスペースレベルで構成された YARN キューが EMR ノードのスケジュールに優先的に使用されます。「グローバル設定が優先」機能が有効になっていない場合は、EMR ノード用に構成された YARN キューが使用されます。
EMR ノードのスケジュールに使用される YARN キューの最終的な優先順位は、次の原則に基づいて決定されます。
EMR ノードが属するベースラインが有効になっている場合、ベースラインと YARN キュー間の優先順位マッピングが構成されていると、ノードのスケジュールに使用される YARN キューの最終的な優先順位は、優先順位マッピングに基づいて決定されます。
説明EMR ノードの構成タブで、
ENABLE_TASK_PRIORITYパラメーターを true に設定すると、ノードの実行がスケジュールされているときに、ベースラインと YARN キュー間の優先順位マッピングではなく、ノードのタスク用に構成された YARN キューの優先順位が優先されるようにすることができます。EMR ノードが属するベースラインと YARN キューの間に優先順位マッピングが構成されていない場合は、EMR ノード用に構成された YARN キューの優先順位が使用されます。
前提条件
EMR ノードが作成され、EMR ノード用に構成された YARN キューの優先順位が指定されています。詳細については、「EMR Hive ノードを作成する」、「EMR Spark ノードを作成する」、または「EMR Spark SQL ノードを作成する」をご参照ください。
制限事項
ベースラインと YARN キュー間の優先順位マッピングを構成する際には、次の制限事項に注意してください。
機能
この機能は、EMR Hive ノード、EMR Spark ノード、および EMR Spark SQL ノードでのみ使用できます。
ベースラインと YARN キュー間の優先順位マッピングを構成する前に、EMR クラスタ内の YARN キューの最高の優先順位を構成する必要があります。
EMR コンソール にログインして、目的のクラスタの [サービス] タブで YARN キューの優先順位を変更する必要があります。 YARN キューの優先順位を変更した後、YARN サービスを再起動する必要があります。変更された優先順位は、指定された YARN キューに対してのみ有効になります。
説明YARN キューの優先順位の構成方法については、「EMR DataLake クラスタを構成する」をご参照ください。
権限
[テナント管理者] のみが優先順位マッピングを構成できます。メンバーアカウントを使用して優先順位マッピングを構成する場合、メンバーアカウントに [テナント管理者] ロールが割り当てられている必要があります。詳細については、「テナントメンバーの権限を管理する」をご参照ください。
この機能はテナントレベルで使用できます。構成されたマッピング関係は、テナント内で有効になります。
[aliyundataworksaccessingemrreadonlypolicy] ポリシーがアタッチされているユーザーのみが、優先順位マッピングを構成できます。詳細については、「RAM ユーザーに権限を付与する」をご参照ください。
リソースグループ
2023 年 8 月 31 日より前に購入された専用スケジューリングリソースグループは、この機能をサポートしていません。 EMR ノードの実行に使用する専用スケジューリングリソースグループがこの日付より前に購入された場合は、DataWorks の技術担当者に連絡してリソースグループをアップグレードし、この機能を使用できるようにしてください。リソースグループがアップグレードされていない場合、構成されたマッピングは有効になりません。この場合、EMR ノード用に構成された YARN キューの優先順位が使用されます。
優先順位マッピングを構成するためのエントリポイント
[オペレーションセンター] ページに移動します。
DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
左側のナビゲーションウィンドウで、[スマートベースライン] をクリックします。
優先順位マッピングを構成するためのロジック
[スマートベースライン] ページの [ベースラインの優先順位マッピング] タブで、優先順位マッピングを構成できます。
ビジネス要件に基づいて、EMR ノードの実行に使用するクラスタと YARN キューを選択し、EMR ノードが属するベースラインと YARN キュー間の優先順位マッピングを構成します。構成ロジック：
EMR コンソール にログインし、目的のクラスタの [サービス] タブで YARN キュー情報を取得する必要があります。
構成された YARN キューの優先順位は、EMR クラスタ内の最高の YARN キューの優先順位を超えることはできません。
数値が大きいほど、YARN キューの優先順位が高くなります。リソースは、優先順位の高い YARN キューで実行されているノードをスケジュールするために優先的に割り当てられます。
低いベースラインの優先順位にマッピングされた YARN キューの優先順位は、高いベースラインの優先順位よりも高くすることはできません。
YARN 構成の詳細については、「Yarn」をご参照ください。