Alibaba Cloud E-MapReduce (EMR) on ACK は、ビッグデータジョブを開発および実行するために使用できる新しいプラットフォームを提供します。Alibaba Cloud Container Service for Kubernetes (ACK) 上にオープンソースのビッグデータサービスをデプロイできます。ACK を使用してサービスをデプロイし、コンテナ化されたアプリケーションを管理できます。これにより、基盤となるクラスタリソースの O&M コストが削減され、ビッグデータジョブに集中できます。
ECS 上の EMR と ACK 上の EMR の比較
さまざまなユーザーの要件を満たすために、Alibaba Cloud は ECS 上の EMR と ACK 上の EMR を提供しています。
Elastic Compute Service (ECS) インスタンスでホストされている EMR クラスタを使用してジョブを実行する場合、ACK クラスタでも Spark ジョブと Presto ジョブを実行できます。このように、異なるアプリケーションが 1 つの ACK クラスタを共有でき、コンピューティングリソースはゾーン間で共有されます。
Spark ジョブや Presto ジョブなどのビッグデータジョブを ACK クラスタで実行する場合、EMR on ACK はクラスタを自動的にデプロイおよび管理できます。EMR on ACK を EMR Shuffle Service とともに使用すると、Spark ジョブのパフォーマンスを大幅に向上させることができます。
項目 | 説明 |
ECS 上の EMR | EMR クラスタを作成すると、EMR システムは構成に基づいて ECS インスタンスにオープンソース Hadoop エコシステムのコンポーネントをデプロイし、クラスタ内のサービスとしてコンポーネントを起動します。EMR コンソールで、EMR クラスタのサービスと ECS インスタンスで O&M 操作を実行できます。 ビッグデータジョブを実行すると、ジョブは EMR クラスタにコミットされます。 |
ACK 上の EMR | EMR on ACK を使用する前に、ACK クラスタがデプロイされていることを確認してください。ACK クラスタがデプロイされた後、EMR クラスタを作成して ACK リソースに基づいてビッグデータコンポーネントをデプロイし、関連するコンテナでコンポーネントを実行できます。 |
ACK 上の EMR の利点
利点 | 説明 |
費用対効果 | ビッグデータコンポーネント用に ACK クラスタを購入する必要なく、簡単な構成に基づいて既存の ACK クラスタでビッグデータジョブを実行できます。これにより、コストが削減されます。 既存の ACK クラスタのアイドルリソースを使用して、数回クリックするだけで、Spark ジョブや Presto ジョブなどの EMR ジョブを実行できます。ビッグデータアプリケーションとオンラインアプリケーションは、クラスタリソースを共有できます。 オンラインジョブとオフラインジョブの両方を実行するシナリオでは、クラスタリソースを最大限に活用できます。さらに、ビッグデータアプリケーションとオンラインアプリケーションは、クラスタリソースを共有してリソース使用率を最大化できます。 |
O&M の簡素化 | ビッグデータとオンラインビジネスの両方に、統合された O&M およびクラスタ管理システムが提供されます。これにより、O&M が簡素化されます。 |
最適化されたユーザーエクスペリエンス | EMR コンソールは、次のサービスとしてのインフラストラクチャ (IaaS) モデルを提供します。ECS 上の EMR と ACK 上の EMR。2 つのモデルをシームレスに切り替えることができます。 ACK と Elastic Container Instance を使用すると、短期間で柔軟なコンピューティングリソースを取得できます。これにより、ピーク時にコンピューティングリソースが十分に確保されます。 ジョブレベルで Spark のバージョンを調整して、新機能やさまざまなビジネス要件に適応させることができます。 |
緊密な統合 | EMR on ACK は、クラウドネイティブのデータレイクアーキテクチャを採用しています。このアーキテクチャは、ACK を統合してコンピューティングリソースを無制限にスケールアウトし、Object Storage Service (OSS) を統合してコンピューティングリソースとストレージリソースを分離し、Data Lake Formation (DLF) を統合してデータレイクの構築を支援します。 |