ノードグループの追加

このトピックでは、DataLake、DataFlow、OLAP、DataServing、および Custom クラスターのノードグループを追加、変更、削除する方法について説明します。

背景情報

ノードグループは、Alibaba Cloud E-MapReduce でクラスターノードを管理するためのコアユニットです。ノードグループは通常、同じインスタンスタイプの Elastic Compute Service (ECS) インスタンスで構成されます。ノードグループで操作を実行して、その中のノードをバッチで管理できます。ビジネスニーズに基づいて、異なるインスタンスタイプのノードグループを作成することもできます。たとえば、オフラインのビッグデータ処理にはメモリ最適化インスタンス (vCore:vMem = 1 vCPU:8 GiB) を使用し、モデルトレーニングにはコンピューティング最適化インスタンス (vCore:vMem = 1 vCPU:2 GiB) を使用できます。

Hadoop、Data Science、および EMR Studio クラスターでのノードグループの管理に関する詳細については、「ノードグループの管理 (Hadoop、Data Science、および EMR Studio クラスター)」をご参照ください。

制限事項

このトピックの操作は、DataLake、DataFlow、OLAP、DataServing、および Custom クラスターにのみ適用されます。
[従量課金] または [スポットインスタンス] の [課金方法] を使用するタスクノードグループは、[設定のアップグレード] の対象外です。
設定のアップグレードに関する詳細については、「ノード設定のアップグレード」をご参照ください。

ノードタブに移動します。
1. EMR コンソールにログインします。左側のナビゲーションウィンドウで、EMR on ECS をクリックします。
2. 上部のナビゲーションバーで、クラスターが存在するリージョンを選択し、ビジネス要件に基づいてリソースグループを選択します。
3. EMR on ECS ページで、管理するクラスターを見つけ、[アクション] 列の [ノード] をクリックします。
[ノード管理] ページで、[ノードグループの追加] をクリックします。

[ノードグループの追加] ペインで、次のパラメーターを設定できます。

パラメーター	説明
ゾーン	クラスターが配置されているゾーンがデフォルトで表示されます。リージョン内の別のゾーンを選択するには、[すべてのゾーンを表示] をクリックします。他のゾーンにはタスクノードグループのみを追加できます。ゾーンをまたぐノードグループを追加した後、YARN ノードラベル機能を有効にして、クラスターを異なるパーティションに分割します。これにより、特にシャッフルプロセス中のネットワーク伝送によって引き起こされる帯域幅の不確実性がタスク効率に与える影響を軽減します。詳細については、「ノードのパーティション分割にノードラベルを使用する」をご参照ください。
ノードグループタイプ	次の 4 種類のノードグループを追加できます。コア: コアノードグループ。このタイプは、ログ分析やウェブサイトのトラフィック統計など、データ量が少ないシナリオに適しています。タスク: タスクノードグループ。このタイプは、バッチ処理やデータクリーニングなど、一時的に計算リソースを追加する必要があるシナリオに適しています。ゲートウェイ: ゲートウェイノードグループ。このタイプは、EMR V5.10.1 以降の DataLake および DataFlow クラスターでのみサポートされます。データサイエンティストによるモデルトレーニングやデータエンジニアによるデータ処理など、タスクが頻繁に送信されるシナリオに適しています。 Master-Extend: 負荷拡張グループ。このタイプは、EMR V3.51.1 以降および EMR V5.17.1 以降の高可用性クラスターでのみサポートされます。クラスターのマスターノードのペイロードが高い場合は、Master-Extend ノードグループを追加して、サービスを異なるノードグループにデプロイできます。これにより、マスターノードへの負荷が分散されます。このタイプは、大規模クラスターでマスターノードのペイロードが高いシナリオに適しています。説明サービスを追加した後、デフォルトでは Master-Extend ノードグループにはデプロイされません。サービスをデプロイするには、Master-Extend ノードグループを追加するときにサービスを選択できます。
課金方法	ノードグループの課金方法。サポートされている課金方法は、従量課金、スポットインスタンス、サブスクリプションです。説明タスクノードグループのみがスポットインスタンスをサポートします。
ノードグループ名	ノードグループ名は一意である必要があります。
サービスのデプロイ	Master-Extend ノードグループのみがカスタムサービスデプロイメントをサポートします。次のサービスをデプロイできます。 Hive: HiveMetaStore、HiveServer Kyuubi: KyuubiServer Spark: SparkHistoryServer、SparkThriftServer
インターネットアクセスを有効にする	ノードグループのインターネットアクセスを有効にするかどうかを選択します。この機能を有効にすると、ノードグループ内のすべてのノードがインターネットに接続されます。
VSwitch	ノードグループを作成するときに、同じ VPC 内に vSwitch を設定できます。ノードグループの作成後に vSwitch を変更することはできません。説明 VPC 内にあるがクラスターと同じゾーンにない vSwitch は設定できません。
追加のセキュリティグループ	(オプション) ノードグループにさらにセキュリティグループを関連付けることができます。ノードグループには最大 4 つの追加セキュリティグループを関連付けることができます。
インスタンスタイプ	必要に応じてインスタンスタイプを選択します。課金方法がサブスクリプションの場合、インスタンスタイプは 1 つしか選択できません。課金方法が従量課金またはスポットインスタンスで、ノードグループタイプがタスクの場合、バックアップオプションとして同じ vCPU 数とメモリサイズのインスタンスタイプを最大 10 個選択できます。
ストレージ設定	[システムディスク]: 必要に応じてエンタープライズ SSD (ESSD) または Ultra ディスクを選択します。システムディスクのサイズは 60 GiB から 500 GiB の範囲で指定できます。少なくとも 120 GiB のサイズを推奨します。 [データディスク]: 必要に応じて ESSD または Ultra ディスクを選択します。データディスクのサイズは 40 GiB から 32,768 GiB の範囲で指定できます。少なくとも 80 GiB のサイズを推奨します。説明拡張 SSD を選択した場合、ディスク容量に基づいて拡張 SSD に異なるパフォーマンスレベル (PL) を指定して、さまざまなクラスターパフォーマンス要件を満たすことができます。デフォルトのパフォーマンスレベルは PL1 です。システムディスクを設定する際には、PL0、PL1、PL2 のパフォーマンスレベルの拡張 SSD を選択できます。データディスクを設定する際には、PL0、PL1、PL2、PL3 のパフォーマンスレベルの拡張 SSD を選択できます。詳細については、「ディスク」をご参照ください。
リソース予約ポリシー	説明このパラメーターは、[ノードグループタイプ] が [TASK (タスクインスタンスグループ)] に設定され、[課金方法] が [従量課金] に設定されている場合にのみ使用できます。リソース予約ポリシーを使用すると、プライベート ECS プールを関連付けることができます。ECS コンソールに移動してリソースを予約できます。詳細については、「リソースバトラーの概要」をご参照ください。 [パブリックプールのみ] (デフォルト): パブリックリソースプールから直接リソースを使用します。 [プライベートプール優先]: ECS コンソールでプライベートプールを作成し、特定のプロジェクトやチームに事前に割り当てられたこれらのリソースを使用したい場合にこのオプションを選択します。システムはまず、指定されたプライベートプールから ECS インスタンスを取得しようとします。プライベートプールに十分な利用可能リソースがない場合、システムは自動的にパブリックリソースプールに切り替えてリクエストを満たします。 [指定されたプライベートプール]: 現在の EMR クラスターに ECS プライベートプールを指定します。
自動補正	説明このパラメーターは、[ノードグループタイプ] が [TASK (タスクインスタンスグループ)] に設定されている場合にのみ使用できます。自動補正を有効にすると、EMR は現在のノードグループ内のノードの実行ステータスを自動的に監視します。異常なノードが検出されると、EMR は自動的にノードを解放し、同数の新しいノードをスケールアウトします。詳細については、「ノード補正」をご参照ください。
スケーリングポリシー	説明このパラメーターは、[課金方法] がスポットインスタンスに設定されている場合にのみ使用できます。 [優先度ポリシー] (デフォルト) ノードが作成されると、システムは最初のインスタンスタイプからインスタンスの購入を試み、作成が成功するまで続けます。最終的に購入されるインスタンスタイプは、在庫状況によって異なる場合があります。 [コスト最適化ポリシー] スケールアウト中、Auto Scaling は vCPU 単価の昇順で ECS インスタンスを作成しようとします。スケールイン中、Auto Scaling は vCPU 単価の降順で ECS インスタンスを削除しようとします。スケーリング設定の課金方法がスポットインスタンスに設定されている場合、スポットインスタンスが優先的に作成されます。在庫不足などの理由で指定されたインスタンスタイプのスポットインスタンスを作成できない場合、システムは自動的に従量課金インスタンスを作成しようとします。詳細については、「コスト最適化モード」をご参照ください。
グレースフルシャットダウン	説明このパラメーターは、YARN サービスがデプロイされているクラスターでのみ使用できます。グレースフルシャットダウンを有効にすると、システムはノード上のタスクが完了するか、指定されたタイムアウト期間が経過するのを待ってからノードをスケールインします。YARN サービスページに移動し、yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs パラメーターを設定して、グレースフルシャットダウンのタイムアウト期間を変更できます。

[OK] をクリックします。
ノードグループが追加されると、[ノード管理] ページに表示されます。

ノードグループの変更

[ノード管理] ページで、ターゲットグループの [ノードグループ名] をクリックします。
[ノードグループのプロパティ] ダイアログボックスで、ノードグループ情報を変更し、[保存] をクリックします。
- Master、Core、Gateway、および Master-Extend ノードグループの場合、ノードグループ名と追加のセキュリティグループを変更できます。
- タスクノードグループの場合、ノードグループ名、ノード仕様、および追加のセキュリティグループを変更できます。[詳細情報] セクションで設定を構成することもできます。

ノードグループの削除

重要

タスクまたはコアノードグループを削除するには、その [ステータス] が [実行中] であり、[ノード数] が 0 である必要があります。

[ノード管理] ページで、目的のノードグループを見つけ、[アクション] 列の [ノードグループの削除] をクリックします。
表示されるダイアログボックスで、[削除] をクリックします。

コスト最適化モード

説明

このモードは、タスクノードグループを追加し、課金方法を [スポットインスタンス] に設定した場合にのみ使用できます。

このモードでは、より詳細なコスト管理ポリシーを作成して、コストと安定性のバランスをとることができます。

パラメーター	説明
グループ内のオンデマンドノードの最小数	スケーリンググループ内のオンデマンドインスタンスの最小数。オンデマンドインスタンスの数がこの値を下回る場合、システムはオンデマンドインスタンスの作成を優先します。
オンデマンドノードの割合	スケーリンググループ内のオンデマンドノードの最小数を満たした後に作成するオンデマンドインスタンスの割合。
最低コストのインスタンスタイプ	使用する最低コストのインスタンスタイプの数。スポットインスタンスが作成されると、指定された数のインスタンスタイプに均等に分散されます。最大値は 3 です。
スポットインスタンスの補償	スポットインスタンスの補償を有効にするかどうかを指定します。この機能を有効にすると、システムは回収される約 5 分前にスポットインスタンスを事前に置き換えます。
オンデマンドインスタンスによるスポットインスタンスの補充	オンデマンドインスタンスでスポットインスタンスを補充するかどうかを指定します。価格や在庫の問題で必要なスポットインスタンス容量を満たせない場合、システムはオンデマンドインスタンスを作成して容量要件を満たすことができます。

[最小従量課金ノード]、[従量課金ノードの割合]、または [最低コストのインスタンスタイプ] パラメーターを指定しない場合、マシングループは一般的なコスト最適化スケーリンググループになります。パラメーターを指定する場合、マシングループは混合インスタンスコスト最適化スケーリンググループになります。2 種類のコスト最適化スケーリンググループは、インターフェイスと機能の点で完全に互換性があります。

混合インスタンスポリシーを適切に設定することで、混合インスタンスコスト最適化スケーリンググループを使用して、特定の一般的なコスト最適化スケーリンググループと同じ効果を得ることができます。例:

一般的なコスト最適化スケーリンググループでは、従量課金インスタンスのみが作成されます。
混合インスタンスコスト最適化スケーリンググループで、[最小従量課金ノード] を 0 に、[従量課金ノードの割合] を 100 に、[最低コストのインスタンスタイプ] を 1 に設定します。
一般的なコスト最適化スケーリンググループでは、プリエンプティブルインスタンスが優先的に作成されます。
混合インスタンスコスト最適化スケーリンググループで、[最小従量課金ノード] を 0 に、[従量課金ノードの割合] を 0 に、[最低コストのインスタンスタイプ] を 1 に設定します。

E-MapReduce:ノードグループの管理

背景情報

制限事項