Alibaba Cloud、Flink Forward Asia で Apache Flink 2.0 の新機能を発表

Flink 2.0 で強化されたデータ処理は GenAI 時代に不可欠

インドネシア、ジャカルタ、2024 年 12 月 6 日 - Alibaba Group のデジタルテクノロジーおよびインテリジェンスのバックボーンである Alibaba Cloud は、ジャカルタで開催された Flink Forward Asia において、近日公開予定の Apache Flink 2.0 の革新的な機能を紹介しました。本イベントは、Apache Software Foundation によるストリーム処理とバッチ処理を統一するオープンソースフレームワーク、Apache Flink の発展に特化した東南アジア初のコンファレンスです。長年のコントリビューターとして、Alibaba Cloud は特にアジア地域における Apache Flink コミュニティの発展に重要な役割を果たしてきました。

Alibaba Cloud Intelligence のオープンデータプラットフォーム責任者、Feng Wang 氏は、本イベントで次のように述べています。「データ需要の増大に伴い、効率的でスケーラブルかつ統一されたデータ処理の必要性はかつてないほど高まっています。Flink 2.0 のリリースは、2016 年の登場以来の大きな飛躍であり、Flink が Apache トップレベルプロジェクトとなって 10 周年という節目にも重なります。Apache Flink コミュニティへの支援をこれまで以上に強化し、近い将来、Flink 2.0 の強化された機能をグローバルなお客様向けのクラウドサービスに統合していく予定です。」

Alibaba Cloud Intelligence のオープンデータプラットフォーム責任者、Feng Wang 氏

新たなコンピューティング時代に向けた Apache Flink 2.0 の新機能

2025 年初頭のリリースが予定されている Apache Flink 2.0 は、データ処理技術の大幅な進化を示すもので、バッチ処理とストリーム処理の統一アーキテクチャに向けた大きな前進を強調しています。これによりクラウドネイティブ時代のコンピューティングが簡素化され、新しい AI アプリケーションに高度なデータ処理能力が不可欠な GenAI 時代に求められるハイブリッドワークロードへの対応基盤が整います。

Alibaba Cloud による Apache Flink 2.0 への主な貢献は以下の通りです。

・分離型ステートストレージと管理：Flink のクラウドネイティブな未来を実現するため、Alibaba Cloud は Flink 2.0 でリモートストレージをプライマリストレージとして使用する分離型ステートストレージと管理を導入しました。この新しいアーキテクチャにより、ユーザーはローカルディスクの制約を気にすることなく大規模データセットを扱え、ジョブの再スケーリングがより高速かつ効率的になり、リソースのスパイクを削減し、ネイティブな方法で軽量かつ高速なチェックポイントを実現できます。

・Materialized Table：バッチ処理とストリーム処理をさらに合理化し、統一された開発体験を提供する機能です。Flink 2.0 のリリースでは、最先端のレイクフォーマットとのコネクタ統合や本番環境対応のスケジューラなど、Materialized Table の運用サポートを強化しています。

・Adaptive Batch Execution：実行インサイトに基づいて論理計画と物理計画を動的に最適化することで、バッチ処理とオンライン分析処理 (OLAP) ワークロードの効率とパフォーマンスを向上させます。

・ストリーミングレイクハウスアーキテクチャ：ストリームバッチ統一処理を搭載したこのアーキテクチャは、Lakehouse パラダイムの統一データストレージ、オープンフォーマット、コスト効率性を活用してリアルタイムデータ分析をより効果的にサポートします。その結果、ユーザーは動的なデータ更新とさまざまな鮮度レベルのクエリに柔軟に対応でき、多様な分析ニーズを満たすことができます。

Apache Flink を活用した顧客成功事例

インドネシアを代表する SaaS (Software-as-a-Service) 企業である Mekari は、Flink 1.0 の堅牢なストリーム処理機能を活用して、リアルタイムデータ処理と統合の課題を克服しました。これにより、さまざまなソースからリアルタイムでデータを取り込み、Alibaba の大規模データ処理プラットフォームである MaxCompute にシームレスに統合できるようになりました。この統合により処理時間が短縮されただけでなく、信頼性の高いストリーミングデータインジェストを通じて意思決定の速度と品質が向上し、運用効率の改善とステークホルダーへのタイムリーかつ正確なインサイト提供を実現しました。

Wang 氏はさらに次のように述べています。「Apache Flink 2.0 はデータ処理の未来と、クラウド + AI 業界への潜在的な影響を示しています。コンポーネントの近代化、AI 革新の取り込み、他の Apache プロジェクトとの連携強化により、Apache Flink は業界の新たなベンチマークを確立しました。この画期的な技術の能力を最大限に活用するため、Apache Flink コミュニティとの連携をさらに深めていきます。」

本イベントで、Alibaba Cloud は Fluss (Flink Unified Streaming Storage) を GitHub でオープンソース化したことも発表しました。Fluss はリアルタイム分析向けに設計されたストリーミングストレージソリューションで、Lakehouse アーキテクチャ上のリアルタイムデータ層として機能します。Fluss はデータストリーミングとデータレイクハウスのギャップを効果的に埋め、低レイテンシかつ高スループットのデータインジェストと処理を実現します。Apache Flink を含む主要なコンピューティングエンジンとシームレスに統合され、データ管理における有用性と効率性を高めます。

Alibaba Cloud は、Flink の SQL 層とランタイム層の最適化に加え、Flink と他のエコシステムプロジェクトとの統合を進めながら、オープンソース Apache Flink コミュニティの発展を推進する技術貢献を続けてきました。これらの革新により、Flink のスケーラビリティ、信頼性、安定性、パフォーマンスを強化する全体的なメカニズムが大幅に改善されています。

Alibaba Cloud について

2009 年に設立された Alibaba Cloud (www.alibabacloud.com) は、Alibaba Group のデジタル技術とインテリジェンス事業の中核を担っています。世界中の顧客に、エラスティックコンピューティング、データベース、ストレージ、ネットワーク仮想化、大規模コンピューティング、セキュリティ、ビッグデータ分析、機械学習、人工知能 (AI) サービスを含む包括的なクラウドサービスを提供しています。Gartner によると、Alibaba は 2018 年以降、アジア太平洋地域で売上高トップの IaaS プロバイダーと位置付けられています。また IDC によると、2018 年以降、世界有数のパブリッククラウド IaaS サービスプロバイダーとしての地位を維持しています。