DataWorks:グローバル YARN リソースキューの設定

背景情報

Yet Another Resource Negotiator (YARN) は、分散リソース管理システムであり、Hadoop のコアコンポーネントです。Hadoop クラスター内で、リソースの管理、ジョブのスケジューリング、タスクのモニタリングを行います。E-MapReduce の YARN の詳細については、「YARN スケジューラ」をご参照ください。

DataWorks では、次のいずれかの方法で定期タスクの YARN リソースキューを設定できます。

• 方法 1：グローバル YARN リソースキューの設定

  DataWorks モジュールが EMR タスクに使用するワークスペースレベルの YARN リソースキューを設定し、このグローバル設定がモジュール固有の設定をオーバーライドするかどうかを指定します。詳細については、本トピックの「グローバル YARN リソースキューの設定」セクションをご参照ください。

• 方法 2：プロダクトモジュール内での YARN キューの設定

  • Data Studio: Hive ノードおよび Spark ノードの場合、ノード編集ページの右側にあるScheduling Settingsセクションの[DataWorks] パラメーターで queue パラメーターを設定することで、シングルノードタスクの YARN リソースキューを指定できます。

  • Data Quality: E-MapReduce テーブルのパーティションモニタリングルールでは、Queue 設定を使用して YARN リソースキュー を指定できます。 詳細については、「単一テーブルのモニタリングルールを設定する」をご参照ください。

  • その他のプロダクトモジュール：他のモジュール内で個別の YARN リソースキュー を設定することはできません。

制限事項

• YARN リソースキューを設定できるのは、次のアカウントとロールのみです：

  • Alibaba Cloud アカウント。

  • RAM ユーザーまたは RAM ロール (AliyunDataWorksFullAccess ポリシーを持つ)。

  • RAM ユーザー (スペース管理者 ロールを持つ)。

• YARN の最大アプリケーション優先度の変更

  DataWorks で EMR タスクの YARN 優先度を変更する場合、EMR クラスターの yarn-site.xml ファイルに yarn.cluster.max-application-priority 設定項目を追加し、その値をデフォルトの 0 より大きい数値に設定する必要もあります。そうしないと、DataWorks で設定した優先度は有効になりません。

  説明

  変更を有効にするには、YARN サービスを再起動する必要があります。

• グローバル YARN リソースキューは、Data Studio、Data Quality、データ分析、オペレーションセンターに対してのみ設定できます。

前提条件

EMR クラスターを DataWorks ワークスペースに関連付ける必要があります。詳細については、「E-MapReduce コンピュートエンジンのバインド」をご参照ください。

グローバル YARN リソースキューの設定

1. グローバル YARN リソースキュー設定ページに移動します。

   1. DataWorks コンソールにログインします。対象リージョンで、左側のナビゲーションウィンドウにある さらに表示 > 管理センター をクリックします。ドロップダウンリストからワークスペースを選択し、入力 管理センター をクリックします。

   2. 左側のナビゲーションウィンドウで、Computing Resources をクリックします。

   3. 対象の EMR クラスターを見つけ、YARN リソースキュー タブをクリックします。

      このページの 本番環境と開発環境 セクションには、Data Studio、Data Quality、データ分析、オペレーションセンター などのモジュールの リソースキュー と グローバル設定を優先 の設定が一覧表示されます。設定を変更するには、右上隅の YARN リソースキューの編集 をクリックします。

2. グローバル YARN リソースキューを設定します。

   YARN リソースキュー ページで、右上隅の [YARN リソースキューの編集] をクリックして、各モジュールのグローバル YARN リソースキューと優先度を設定します。

   説明

   これらの設定はワークスペース全体にグローバルに適用されます。続行する前に、正しいワークスペースを選択していることを確認してください。

   パラメーター	説明
   リソースキュー	各モジュールの EMR タスクを実行するために使用される YARN リソースキュー。利用可能なリソースキューは EMR on ECS コンソール で確認できます。
   グローバル設定が優先されるかどうか	このオプションを選択すると、グローバル設定がモジュール固有の設定をオーバーライドします。その後、すべてのタスクはグローバルに設定された YARN リソースキューを使用します。 グローバル設定：EMR クラスターの YARN リソースキュー タブで設定された YARN リソースキュー。このタブは、管理センター > Computing Resources に移動して見つけることができます。 説明 グローバル YARN リソースキューは、Data Studio、Data Quality、データ分析、オペレーションセンターに対してのみ設定できます。 モジュール固有の設定： Data Studio: Hive ノードおよび Spark ノードの場合、ノード編集ページの右側にあるScheduling Settings セクションの[DataWorks] パラメーターで queue パラメーターを設定することで、シングルノードタスクの YARN リソースキューを指定できます。 Data Quality：E-MapReduce テーブルのパーティションモニタリングルールでは、Queue 設定を使用して YARN リソースキュー を指定できます。 詳細については、「単一テーブルのモニタリングルールを設定する」をご参照ください。 その他のプロダクトモジュール：他のモジュール内で個別の YARN リソースキュー を設定することはできません。

関連ドキュメント

ベースラインの優先度と YARN キューの優先度のマッピング