E-MapReduce（EMR）Serverless Spark は、データおよび AI シナリオ向けのハイパフォーマンスなレイクハウスサービスです。ジョブ開発、デバッグ、スケジューリング、O&M など、企業向けのエンドツーエンドのデータプラットフォームサービスを提供します。これにより、データ処理とモデル学習のワークフローが大幅に簡素化されます。EMR Serverless Spark は、オープンソースの Spark エコシステムとも完全に互換性があり、既存の顧客側のデータプラットフォームとシームレスに統合できます。EMR Serverless Spark は、データ処理と分析、およびモデル学習の最適化に重点を置くことで、企業の効率向上に役立ちます。
機能
企業向けのフルマネージドデータプラットフォームサービス
使いやすさ
最適なユーザーエクスペリエンスの提供に努めています。複雑なインフラストラクチャを構築する必要なく、ジョブの開発を開始できます。
高パフォーマンス
旧称 Spark Native Engine である Fusion Engine をベースに構築された EMR Serverless Spark は、オープンソースの Spark の最大 4 倍のパフォーマンスを提供します。
高スケーラビリティ
Alibaba Cloud のサーバーレスコンピューティング機能に基づいて、EMR Serverless Spark は高度にスケーラブルなリソースを提供します。これにより、ETL（抽出、変換、書き出し）ジョブのトラフィックの急増に対応しながら、計算リソースのコストを削減できます。
リソースの可観測性
リソースとジョブ実行のモニタリングメトリックとアラートがサポートされています。
高セキュリティ
EMR Serverless Spark は、Alibaba Cloud Virtual Private Cloud（VPC）に基づいてデプロイされ、VPC を使用してアクセスできます。これにより、よりきめ細かいアクセスの制御が可能になり、セキュリティが向上します。
オープンアーキテクチャに基づくエコシステム統合
EMR Serverless Spark は、Alibaba Cloud Object Storage Service (OSS)、OSS-Hadoop 分散ファイルシステム (HDFS)、Data Lake Formation (DLF)、および DataWorks とシームレスに統合されています。これにより、関連サービスを使用する際のユーザーエクスペリエンスが最適化されます。
アーキテクチャ
メリット
超高速クラウドネイティブコンピューティングエンジン
組み込みの Fusion Engine（旧称 Spark Native Engine）により、オープンソースの Spark より 300% 高いパフォーマンスを実現します。
組み込みの Celeborn（旧称 Remote Shuffle Service）は、ペタバイト単位のシャッフルデータをサポートします。これにより、計算リソースの総コストを最大 30% 削減できます。
オープンデータレイクアーキテクチャ
コンピューティングとストレージの分離、スケーラブルな計算リソース、および従量課金制ストレージがサポートされています。
このサービスは OSS-HDFS と統合されており、HDFS のクラウドストレージと完全に互換性があります。これにより、ビジネスをシームレスにクラウドに移行できます。
データレイクとデータウェアハウスのメタデータを統合するために、一元化された DLF メタデータサービスが提供されます。
エンドツーエンドの開発
ジョブの開発、デバッグ、公開、スケジューリングを網羅した、エンドツーエンドのデータ開発がサポートされています。
開発と本番環境間の組み込みのバージョン管理と分離がサポートされており、開発と公開に関する企業標準を満たしています。
サーバーレスリソースプラットフォーム
すぐに使えるサービスなので、クラウドインフラストラクチャを手動で管理および保守する必要がありません。
リソースは自動的にスケーリングされ、数秒以内に提供されます。
計算リソースは、従量課金制で課金されます。これにより、リソースの総コストが削減されます。