EMR (E-MapReduce) クラスターリソースの管理は、多くのテナントを持つ大規模クラスターが関係する場合に行います。
EMR クラスターのリソース管理では、以下の機能がサポートされています。
- ユーザーごとに異なるリソースキューが使用されます。 これは、リソースの分離に役立ちます。
- リソースキューには柔軟性があるため、クラスターの効率が向上します。
注
- 現在、EMR リソース管理では Capacity Scheduler または Fair Scheduler が使用できます。
- 現在、 EMR Hadoop クラスターのリソースのみ管理できます。
リソースキューの有効化
- Alibaba Cloud E-MapReduce コンソールにログインします。 [クラスター管理] をクリックして、クラスター管理ページに移動します。
- [操作] 列の [管理] をクリックします。
- 左側のナビゲーションペインで、[クラスターリソース] をクリックします。
- [リソースキューの有効化] をオンにします。
重要 YARN の [設定] タブページで [リソースキューの有効化] をオンにした後は、[capacity-scheduler] と [fair-scheduler] のセクションは編集できません。 クラスターリソースページで、設定が同期されている場合、 [クラスターリソース] ページで [リソースキューの有効化] をオフにし、YARN の [設定] タブページで XML を使用して再度クラスターを設定する必要があります。
リソースキューの設定
- [リソースキューの有効化] をオンにした後、スケジューラタイプとして [fair scheduler] か [capacity scheduler] を選択します。
- [キュー設定] をクリックして、キュー設定ページに移動します。
- [スケジューラのデフォルトを設定] をクリックし、スケジューラのデフォルト構成を設定します。
リソースキューの発効
リソースキューを設定した後、 [設定の確認] をクリックして構成された XML ファイルをプレビューします。次に [デプロイ] をクリックして構成をデプロイします。
注
- スケジューラのタイプを切り替えた後 (たとえば、Fair Scheduler から Capacity Scheduler に) 、あるいは Fair Scheduler でリソースのプリエンプションに関連するパラメーターを変更した後は、[デプロイ] をクリックする前にクラスターとサービスページですべての YARN コンポーネントを再起動する必要があります。
- リソースキューの作成や関連するパラメータの設定が完了したら、[デプロイ] をクリックするだけです。
- 構成のデプロイの進行状況は、クラスターとサービスページで確認できます。