DataWorks サービスのワークスペースレベルでグローバル YARN キューを設定できます。グローバル YARN キューは、デフォルトで E-MapReduce（EMR）タスクを実行するために使用されます。 また、指定された DataWorks サービスで単一のタスクを実行するように設定した YARN キューよりも、グローバル YARN キューの優先順位を高くするかどうかを指定することもできます。 このトピックでは、グローバル YARN キューを設定する方法について説明します。
背景情報
YARN は分散リソース管理システムです。 Hadoop システムのコアコンポーネントであり、Hadoop クラスタ内のリソースを管理し、クラスタ内のジョブをスケジュールおよび監視するために使用されます。 EMR YARN の詳細については、「YARN スケジューラ。」をご参照ください。
DataWorks では、次のいずれかの方法を使用して、ノードのスケジュールに使用する YARN キューを設定できます。
方法 1：グローバル YARN キューを設定する
ワークスペースレベルで、DataWorks サービスが EMR タスクを実行するために使用するグローバル YARN キューを設定し、グローバル YARN キューの優先順位を、同じ DataWorks サービスで単一のタスクを実行するように設定した YARN キューよりも高くするかどうかを指定できます。 詳細については、このトピックのグローバル YARN キューを設定するセクションをご参照ください。
方法 2：DataWorks サービスで単一のタスクを実行するように YARN キューを設定する
Data Studio では、Hive ノードおよび Spark ノードの場合、ノード編集ページの右側にある[スケジューリング]で
queueパラメーターを設定することにより、シングルノードタスクの YARN リソースキューを指定できます。Data Quality では、EMR テーブルのパーティションの監視ルールを設定するときに、[キュー] パラメーターを設定して YARN キューを指定できます。 詳細については、「単一テーブルの監視ルールを設定する」をご参照ください。
他の DataWorks サービスで単一のタスクを実行するために使用する YARN キューを指定することはできません。
制限
YARN キューを設定するには、次のアカウントとロールのみを使用できます。
Alibaba Cloud アカウント
RAM ユーザーまたは AliyunDataWorksFullAccess ポリシーがアタッチされている RAM ロール
RAM ユーザーで、[ワークスペース管理者]ロールが割り当てられているもの
EMR クラスタの最大アプリケーション優先度を変更する必要があります。
DataWorks で EMR タスクを実行するために使用される YARN キューの優先度を変更する場合は、EMR クラスタの
yarn.cluster.max-application-priority設定項目をyarn-site.xmlファイルに追加し、デフォルト値の0をより大きい値に置き換える必要があります。 設定項目を追加しない場合、またはデフォルト値を置き換えない場合、DataWorks の優先順位設定は EMR タスクに反映されません。説明変更が完了したら、変更を有効にするために YARN サービスを再起動する必要があります。
グローバル YARN キューは、Data Studio、Data Quality、DataAnalysis、および Operation Center に対してのみ設定できます。
前提条件
EMR クラスタが DataWorks に登録されていること。 詳細については、「Data Studio：EMR 計算リソースをバインドする」をご参照ください。
グローバル YARN キューを設定する
グローバル YARN キューを設定するためのページに移動します。
SettingCenter ページに移動します。
DataWorks コンソール にログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、 を選択します。 表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
SettingCenter ページの左側のナビゲーションウィンドウで、[計算リソース]をクリックします。
目的の EMR クラスタを見つけ、[YARN リソースキュー]タブをクリックします。
グローバル YARN キューを設定します。
YARN リソースキュー タブの右上隅にある[YARN リソースキューの編集] をクリックして、DataWorks サービスのグローバル YARN キューとキューの優先順位を設定します。
説明設定はワークスペース全体に適用されます。 パラメーターを設定する前に、ワークスペースを確認する必要があります。
パラメーター
説明
リソースキュー
DataWorks サービスで EMR タスクを実行するために使用するグローバル YARN キュー。EMR コンソールの EMR on ECS ページに移動して、既存の YARN キューを取得できます。
グローバル設定が優先される
DataWorks サービスに設定したグローバル YARN キューの優先順位を、同じ DataWorks サービスで単一のタスクを実行するように設定した YARN キューよりも高くするかどうかを指定します。「はい」を選択すると、現在のワークスペースの DataWorks サービスでタスクを実行するためにグローバル YARN キューが使用されます。
グローバル設定：[SettingCenter] ページに移動します。 左側のナビゲーションウィンドウで、[計算リソース]をクリックします。 目的の EMR クラスタを見つけ、YARN リソースキュータブをクリックします。
説明グローバル YARN キューは、Data Studio、Data Quality、DataAnalysis、および Operation Center に対してのみ設定できます。
DataWorks サービスの単一タスクの個別設定：
Data Studio では、Hive ノードと Spark ノードの場合、ノード編集ページの右側にある[スケジュール] の下にある
queueパラメーターを設定することで、単一ノードタスクの YARN リソースキューを指定できます。Data Quality では、EMR テーブルのパーティションの監視ルールを設定するときに、[キュー] パラメーターを設定して YARN キューを指定できます。 詳細については、「単一テーブルの監視ルールを設定する」をご参照ください。
他の DataWorks サービスで単一のタスクを実行するために使用する YARN キューを指定することはできません。