このトピックでは、EMR on ACK コンソールで Kubernetes ベースのクラスターを作成する方法について説明します。
前提条件
-
AliyunOSSFullAccess および AliyunDLFFullAccess ポリシーが付与されていること。詳細については、「OSS および DLF へのアクセス権限の付与」をご参照ください。
-
Kubernetes クラスターが作成されていること。詳細については、「ACK 専用クラスターの作成 (提供終了)」または「ACK マネージドクラスターの作成」をご参照ください。
-
ノードプールが作成されていること。詳細については、「ノードプールの作成と管理」をご参照ください。
-
Object Storage Service (OSS) が有効化されていること。詳細については、「OSS の有効化」をご参照ください。
操作手順
-
EMR on ACK コンソールにログインします。
-
[EMR on ACK] ページで、Create Cluster をクリックします。
-
[EMR on ACK] ページで、クラスターのパラメーターを設定します。
パラメーター
説明
[Region]
クラスターをデプロイするリージョンです。作成後に変更することはできません。
[Cluster Type]
次のクラスタータイプがサポートされています。
-
シャッフルサービス：シャッフル操作を最適化する EMR 拡張コンポーネントです。リモートシャッフルサービスを提供し、Spark ジョブをローカルディスクなしでノード上で実行できるようにし、動的リソースを効率的にサポートします。これにより、ACK 環境の Spark クラスターに非常に適しています。詳細については、「Celeborn」をご参照ください。
重要シャッフルサービス クラスターを作成する際、関連付けられた ACK クラスターの専用ノードプールまたはノードのインスタンス仕様は、ビッグデータまたはローカル SSD である必要があります。そうでない場合、RSS のデプロイは失敗します。
説明このジョブは、無効または冗長な PVC を削除することで、ストレージ管理を最適化し、無駄を防ぎます。
-
Presto：インタラクティブなクエリのためのインメモリ分散 SQL エンジンです。
複数のデータソースをサポートし、ペタバイト規模のデータの複雑な分析や、データソースをまたいだクエリに適しています。
-
Spark：ETL、オフラインバッチ処理、データモデリングのための、汎用の分散ビッグデータ処理エンジンです。
重要Spark クラスターをシャッフルサービス クラスターに関連付けるには、両者のメジャーな製品バージョンが一致している必要があります。たとえば、バージョンが EMR-5.x-ack の Spark クラスターは、バージョンが EMR-5.x-ack のシャッフルサービス クラスターにのみ関連付けることができます。
-
Flink：有界および無界のデータストリームに対するステートフルな計算のための分散処理エンジンです。Flink on ACK は EMR on ACK とコミュニティの Flink Kubernetes Operator 1.0.1 をベースに構築されています。デフォルトでは、公式の Flink チームが提供するエンタープライズカーネルを使用し、すぐに使える Flink on Kubernetes のエクスペリエンスを提供します。
[Product Version]
デフォルトでは最新のソフトウェアバージョンが使用されます。
[Component Version]
選択したクラスタータイプのコンポーネントとそのバージョンが表示されます。
[ACK クラスター]
既存の ACK クラスターを選択するか、Container Service for Kubernetes (ACK) コンソールで新規に作成します。
Configure Dedicated Nodes をクリックして、EMR 専用ノードを設定します。このプロセスでは、EMR 固有のテイントとラベルをノードプールまたは個々のノードに適用し、EMR による排他的な使用のために予約します。
説明専用ノードはノードプールを使用して設定することを推奨します。利用可能なノードプールがない場合は、作成してください。詳細については、「ノードプールの作成」をご参照ください。
OSS バケット
既存のバケットを選択するか、OSS コンソールで新規に作成します。
[クラスター名]
長さは 1～64 文字で、中国語の文字、英字、数字、ハイフン (-)、アンダースコア (_) のみ使用できます。
-
-
create をクリックします。
ステータスが Running に変わると、クラスターの作成は完了です。