E-MapReduce:クラスターの作成

前提条件

• AliyunOSSFullAccessポリシーとAliyunDLFFullAccessポリシーがRAMロールにアタッチされていること。詳細については、RAMロールにポリシーをアタッチするをご参照ください。

• Container Service for Kubernetes（ACK）クラスターが作成されていること。詳細については、ACK専用クラスターを作成するまたはACKマネージドクラスターを作成するをご参照ください。

• ノードプールが作成されていること。詳細については、ノードプールを作成するをご参照ください。

• オブジェクトストレージサービス（OSS）がアクティブ化されていること。詳細については、OSSをアクティブ化するをご参照ください。

手順

1. EMRコンソールにログオンします。左側のナビゲーションペインで、EMR on ACK をクリックします。

2. EMR on ACKページで、[クラスターの作成] をクリックします。

3. [e-mapreduce On ACK] ページで、パラメーターを構成します。次の表にパラメーターを示します。

   パラメーター	説明
   リージョン	クラスターを作成するリージョン。クラスターの作成後、リージョンを変更することはできません。
   クラスタータイプ	クラスターのタイプ。有効な値： Shuffle Service：コンピュートエンジンのシャッフル操作を最適化するためにEMRが提供する拡張機能。 Shuffle Service が提供するリモートシャッフルサービスにより、Spark ジョブをローカルディスクを持たないノードで実行でき、動的リソースをサポートします。このサービスは、ACK 環境の Spark クラスターに適しています。詳細については、Celebornをご参照ください。 重要 Shuffle Service クラスターを作成する場合、専用ノードプールのノードまたは関連付けられた ACK クラスターのノードは、ビッグデータインスタンスファミリーまたはローカル SSD を搭載したインスタンスファミリーに属している必要があります。そうでない場合、リモートシャッフルサービスのデプロイは失敗します。 説明 EMR for ACK シナリオでは、システムは Shuffle Service クラスター用に rss-pvc-clean という名前の組み込み自動クリーンアップタスクを提供します。このタスクは、通常の方法または特定の条件下で不要になった PVC リソースをクリーンアップするために使用されます。これにより、ストレージリソースの管理が最適化され、無効または冗長な永続データによってストレージスペースが占有されるのを防ぎます。 Presto：対話型クエリに使用されるインメモリ分散 SQL エンジン。 Presto クラスターはさまざまなデータソースをサポートし、ペタバイト規模のデータの複雑な分析やクロスデータソースクエリに適しています。 Spark：抽出、変換、ロード（ETL）、バッチ処理、データモデリングなど、さまざまな機能を提供する一般的な分散ビッグデータ処理エンジン。 重要 Spark クラスターを Shuffle Service クラスターに関連付ける場合、クラスターの EMR バージョンは同じである必要があります。たとえば、EMR バージョンが EMR-5.x-ack の Spark クラスターは、EMR バージョンが EMR-5.x-ack の Shuffle Service クラスターにのみ関連付けることができます。 Flink：有限または無限のデータストリームに対するステートフルコンピューティング用の分散コンピューティングエンジン。 ACK 上の Flink は、EMR on ACK と Flink Kubernetes Operator 1.0.1 に基づいて開発されています。デフォルトでは、ACK 上の Flink は Flink Enterprise Edition のカーネルを使用するため、ユーザーは追加の構成なしで ACK 上の Flink を使用できます。
   製品バージョン	EMR のバージョン。デフォルトでは、最新バージョンが選択されています。
   コンポーネントバージョン	指定されたタイプのクラスターにデプロイされているコンポーネントのタイプとバージョンを表示します。
   ACKクラスター	既存の ACK クラスターを選択するか、ACK コンソールで ACK クラスターを作成します。 [専用ノードの構成] をクリックして、EMR 専用ノードを構成できます。ノードまたはノードプールに taint とラベルを追加することで、EMR 専用ノードまたはノードプールを構成できます。このようにして、ノードまたはノードプールは EMR 専用に使用できます。 説明 ノードプールに専用ノードを構成することをお勧めします。ノードプールがない場合は、ノードプールを作成します。詳細については、ノードプールを作成するをご参照ください。
   OSSバケット	既存のバケットを選択するか、オブジェクトストレージサービス（OSS）コンソールでバケットを作成します。
   クラスター名	クラスターの名前。名前は 1 ～ 64 文字で、英字、数字、ハイフン（-）、アンダースコア（_）のみ使用できます。

4. [作成] をクリックします。

   クラスターのステータスが [実行中] に変わると、クラスターが作成されます。