E-MapReduce:EMR Serverless Spark とは

内蔵 Fusion Engine (Spark Native Engine): オープンソース版と比較して 300% のパフォーマンス向上を実現し、ビッグデータコンピューティングタスクを大幅に高速化します。このエンジンは、ベクトル化エンジンとバッチデータ処理技術により、コンピューティング効率を最適化します。また、メモリ使用量を削減し、全体的なパフォーマンスを向上させます。

内蔵 Celeborn (リモートシャッフルサービス): ペタバイト規模のシャッフルデータ処理をサポートし、大規模なシャッフルタスクの安定性とパフォーマンスを大幅に向上させます。コンピュートノードに大容量ディスクは必要ありません。このサービスは、Spark の動的リソーススケーリング機能を最大限に活用して、ストレージコストを削減します。計算資源の総コストを最大 30% 削減できます。

オンデマンドの弾力的なスケーリング: コンピュートとストレージが分離されたアーキテクチャをサポートします。計算資源は数秒以内に弾力的にスケーリングでき、最小粒度は 1 コアです。リソースは、タスクまたはキューレベルで詳細に計測されます。ストレージは従量課金モデルを使用しており、リソースの無駄を防ぎ、運用コストを大幅に削減します。

シームレスな移行と互換性: OSS-HDFS と統合され、HDFS クラウドストレージと完全な互換性があり、ビジネスのクラウドへのスムーズな移行をサポートします。DLF を使用してレイクハウスのメタデータを完全に統合します。これにより、データアクセスの一貫性と完全な権限管理が保証され、最新のデータレイクハウスアーキテクチャを簡単に構築するのに役立ちます。

オープンソース Spark との完全な互換性: コードを変更することなくジョブを直接実行できます。互換性のある spark-submit および spark-sql ツールを提供し、移行の障壁を低くします。

主流のレイクハウスフォーマットとの緊密な統合: Apache Paimon、Iceberg、Delta、Hudi などの主流のレイクハウスフォーマットを完全にサポートし、多様なデータストレージのニーズに対応します。

スケジューリングシステムとセキュリティ機能: Apache Airflow や Apache DolphinScheduler などの主流のスケジューリングシステムとの統合をサポートします。外部の Kerberos または LDAP に接続して身分認証を行い、Apache Ranger を使用してデータ権限付与を行い、データセキュリティを確保できます。

機械学習への適応: 組み込みの SparkML 環境と Notebook を提供します。サードパーティの Python ライブラリの完全なライフサイクル管理をサポートします。

エンドツーエンドの開発サポート: タスク開発、デバッグ、公開からスケジューリングまで、ワンストップの開発エクスペリエンスを提供します。これにより、エンタープライズレベルの開発とリリースの高い基準を満たします。組み込みのバージョン管理機能は、各リリースの完全な履歴を記録し、ソースコードと構成の差分比較をサポートして、変更が追跡可能であることを保証します。

効率的なコラボレーションと安定性: 開発環境と本番環境は厳密に分離されており、ビジネスの安定性を確保します。これにより、チームが効率的に共同作業し、安定した結果を提供できるよう支援します。

すぐに使える: 手動管理や複雑なインフラストラクチャ設定なしで、タスク開発を迅速に開始できます。

秒単位の弾力性: Spark タスクのリソース要件に基づいて、リソースを動的にプルし、Pod を起動します。計算が完了すると、リソースはすぐに解放されます。課金は実際に使用されたリソース量にのみ基づいており、これにより総コンピューティングコストがさらに削減されます。

コスト見積もり: タスクレベルのリソース計測とコスト見積もりを提供し、詳細な運用を実現するのに役立ちます。