Open source big data platform EMR comprehensive upgrade

12 月 27 日、Alibaba Cloud はクラウドネイティブなオープンソースビッグデータプラットフォーム EMR 2.0 を正式にリリースしました。アップグレードされたオープンソースビッグデータプラットフォームは、同等のコストでスケールアウト性能を最大 6 倍に向上できます。

Alibaba Cloud EMR 2.0 は、新しいプラットフォーム、開発、リソース形式、分析シナリオなど、より優れたプロダクト体験をユーザーに提供します。EMR Doctor のヘルスチェックアップグレード、包括的なサービスパトロールとイベント通知、ノード障害補填といった運用保守機能により、運用保守コストを推定 20〜30% 削減できます。新しいプラットフォームは、コスト効率に優れた、安全で信頼性が高く、エコシステムと互換性のあるオープンソースビッグデータプラットフォームを顧客のために迅速に構築することを目指しています。

EMR 2.0 と EMR 1.0 の弾性スケーリング速度比較

クラウドネイティブの潮流の中、オープンソースビッグデータは再構築の過程にあります。Hadoop を中核とするオープンソースビッグデータシステムは、並行開発のための多様化したテクノロジーへの変革を開始しています。Alibaba Cloud EMR プロダクト責任者の He Yuan 氏によると、Alibaba Cloud EMR は 2009 年から Alibaba Group の社内顧客へのサービス提供を開始し、2016 年に過去の技術力を製品化して商用サービスを提供開始しました。オープンソースビッグデータ分野のリーディングプロダクトとして、EMR 2.0 はクラウドネイティブ機能を通じてプラットフォーム層、データ層、コンピューティング層を再構築し、数千の顧客が求めるストリーム処理、データビジュアライゼーション、インタラクティブ分析、データレイクのマルチシナリオ要件に対応する次世代オープンソースビッグデータプラットフォームを再定義しています。顧客のために次世代オープンソースビッグデータインフラを構築します。

EMR 2.0 プロダクトアーキテクチャ図

EMR 2.0 プラットフォームを基盤として、顧客はより低コストで効率的かつインテリジェントなビッグデータクラスター管理とアプリケーション開発を実現できます。プリエンプティブインスタンスの活用により、本番環境での実証で最大 80% のコスト削減が可能です。障害インスタンスの自動補填を有効化できます。フルシナリオクラスターにおいて、安定性を 1.9 倍向上できます。新しくリリースされた EMR Doctor は、ヘルスチェックサービスのクラスター日報機能を通じてクラスター内のリソース浪費を確認し、タスクスコアの逆順ランキングで最もリソースを浪費しているジョブを特定して最適化できます。継続的最適化を通じて、顧客のリソース利用率を最大化し、浪費を防止します。同時に、潜在的なリスクを事前に発見し、対処することも可能です。EMR Studio は Notebook および Workflow サービスを提供します。フルマネージドの Notebook はユーザーの Jupyter の使用習慣と互換性があり、EMR のコンピューティングエンジンおよびストレージエンジンとシームレスに連携して、インタラクティブなビッグデータ開発とデバッグを実現します。開発およびデバッグ済みのジョブは Workflow に追加してスケジューリングおよびオンラインデプロイが可能です。さらに、EMR Studio の Workflow サービスは Flink など他のジョブもサポートしています。

2022 年 6 月、Alibaba Cloud EMR は OSS、DLF、DataWorks と連携してクラウドネイティブデータレイク製品ソリューションを構築し、ICT Academy の評価・認証を取得しました。これは中国初かつ唯一の満点評価を受けた製品ソリューションです。このソリューションは「フルマネージドレイクストレージ、包括的レイクアクセラレーション、統合レイク管理、マルチモーダルレイクコンピューティング、インテリジェントレイクガバナンス」といった包括的なデータレイク機能をユーザーに提供します。（中国初の Alibaba Cloud クラウドネイティブデータレイク製品として ICT Academy の評価・認証を取得）

国内の有名広告マーケティングサービスプロバイダーであるHuiliang Technologyは、EMR 製品を 4 年間活用してきました。ビジネスの急速な成長に伴い、Huiliang Technologyはますます多くの課題に直面していました。データソースの複雑化、データ量の増大、多次元のデータ、リアルタイム運用での秒レベルのデータ鮮度要件といったビジネス要件です。今回のアップグレードにより、Huiliang Technologyのデータプラットフォーム、ヒートエンジンなどのビジネスにおけるデータ同期とクエリの効率が数倍向上し、システム安定性も大幅に改善されました。以前頻発していた CPU、メモリ、I/O の高負荷状態は発生しなくなりました。

Alibaba Cloud EMR 2.0 のリリースに伴い、Alibaba Cloud EMR は技術的なリーディング優位性をクラウドベースの製品サービス能力に変換します。再定義された次世代 EMR 製品は、あらゆる業界の顧客にオープンソースビッグデータプラットフォーム構築のための最も堅牢な基盤を提供します。