E-MapReduce (EMR) は、クラウドネイティブのオープンソースビッグデータプラットフォームです。Hadoop、Hive、Spark、StarRocks、Flink、Presto、ClickHouse など、統合が容易なオープンソースビッグデータコンピューティングおよびストレージエンジンを使用できます。 EMR のコンピューティングリソースは柔軟に拡張できます。 EMR クラスターは、Alibaba Cloud Elastic Compute Service (ECS)、Container Service for Kubernetes (ACK)、またはサーバーレスアーキテクチャ上にデプロイできます。
特典
-
オープンソースコンポーネントとの完全な互換性
EMR は、100% オープンソースコンポーネント上に構築され、オープンソースコンポーネントのバージョンのイテレーションに合わせて進化します。
-
高いセキュリティと信頼性
EMR を使用すると、数分でビッグデータコンピューティング環境を作成できます。 インテリジェントな診断と分析、Kerberos 認証、データ暗号化などの機能がサポートされています。
-
費用対効果
コンピューティングリソースはオンデマンドで使用され、ホットデータとコールドデータは異なるレイヤーに保存されます。また、プリエンプティブ Alibaba Cloud インスタンスがサポートされています。
-
エラスティックリソース
クラスターリソースは、クラスターワークロードごとに、または指定された期間内に動的に調整できます。 クラスターの自動スケーリングは数分で完了でき、複数のエラスティックリソースタイプがサポートされています。
シナリオ
リアルタイムレイクハウス分析
ECS上のEMRでのストリームバッチ統合分析
ECSのEMRは、ストリーミングとバッチ処理を統合して、湖にデータを数分で取り込み、クエリ結果を数秒で返し、リアルタイムのダッシュボードとユーザー行動分析を強化します。
メリット
ユニファイドストリーム & バッチ
単一のアーキテクチャでストリーミングとバッチワークロードを実行します。
急速な取り込みとクエリ
秒レベルのクエリ応答による分レベルの取り込み。
リアルタイムの洞察
ライブダッシュボードとユーザー行動分析を有効にします。
サーバーレスElastic Compute
EMRサーバーレスを使用した柔軟な従量課金スパーク
EMR Serverless Sparkは、1秒あたりの課金で計算とストレージを分離し、月末のクローズやアドホック分析などの柔軟なワークロードのバースト計算コストを40% 削減します。
メリット
コンピューティングとストレージの分離
ストレージを再プロビジョニングせずに独立してスケール計算。
1秒あたりの課金
2番目までに使用されたリソースに対してのみ支払います。
低バーストコスト
とがったワークロードのバースト計算コストを40% 削減します。
AI強化データ処理
SparkからモデルトレーニングへのエンドツーエンドのAIパイプライン
EMRは、Spark機能エンジニアリングとPAIラージモデルトレーニングを統合して、データ前処理からQwen3の微調整まで、エンドツーエンドのパイプラインを提供します。
メリット
機能からトレーニングへの統合フロー
Spark機能エンジニアリングをPAIトレーニングに直接リンクします。
エンドツーエンドの自動化
1つのパイプラインで前処理からQwen3の微調整に移行します。
より速いイテレーション
データの準備からモデルの更新までのサイクルを短くします。
サーバーレスリアルタイム分析
サブ秒分析のための完全管理EMRサーバーレススターロック
EMR Serverless StarRocksは、サブ秒のアドホッククエリ用に完全に管理されたベクトル化されたMPPエンジンを提供し、トラフィックスパイクの自動スケールイン/アウト、opsオーバーヘッドのない高可用性、コンピューティングとストレージの分離により、ストレージコストが30% 〜70% 削減されます。
メリット
サブセカンドアドホッククエリ
ベクトル化されたMPPは、インタラクティブなパフォーマンスを大規模に提供します。
自動スケーリング
自動的にスケールイン/アウトしてピークトラフィックを吸収します。
完全管理HA
高可用性を維持しながら、操作のオーバーヘッドを減らします。
低ストレージコスト
コンピューティングストレージ分離でストレージコストを30% 〜70% 削減します。
