阿里雲在Flink Forward Asia會議上分享Apache Flink 2.0的新功能

在GenAI時代，Flink 2.0中增強資料處理功能必不可少

2024年12月6日，印尼雅加達—阿里巴巴集團的數字技術與智能骨幹業務阿里雲在雅加達舉行的Flink Forward Asia會議上強調了即將推出的Apache Flink 2.0的創新功能。 本次活動標誌著東南亞首次專門討論Apache Flink進步的會議，Apache Flink是一個開源架構，旨在統一Apache軟體基金會的流處理和批處理。 作為長期貢獻者，阿里雲在推動Apache Flink社區發展（尤其是在亞洲）方面發揮了關鍵作用。

阿里雲智能開放資料平台負責人王峰在活動中表達了自己的熱情：“隨著對資料需求的不斷增長，對高效、可縮放且統一的資料處理的需求比以往任何時候都更加關鍵。 即將發布的Flink 2.0代表了其自2016年首次亮相以來的重大進步，恰逢Flink成為Apache頂級專案十周年。 我們比以往任何時候都更加致力於支援Apache Flink社區，並且我們將在不久的將來探索將Flink 2.0的增強功能整合到我們面向全球客戶的雲供應項目中。”

王峰，阿里雲智能開放資料平台負責人

面向新計算時代的Apache Flink 2.0新功能

Apache Flink 2.0計劃於2025年初發布，標誌著資料處理技術的重大發展，強調了在統一的批處理和流處理架構方面取得的重大進展。 這使得雲原生時代的計算簡化，為處理GenAI時代必不可少的混合工作負載奠定了基礎，在GenAI時代，複雜的資料處理能力對新的AI應用程式至關重要。

阿里雲對Apache Flink 2.0的主要貢獻包括：

•分解狀態儲存和管理：為了實現Flink的雲原生未來，阿里雲引入了分解狀態儲存和管理功能，該功能在Flink 2.0中將遠程儲存用作主儲存。 這種新的架構使使用者能夠在不擔心本地磁碟限制的情況下處理大量資料集並更快、更有效地重新縮放作業，減少資源高峰，並以本機方式實現輕量級快速檢查點。

•物化表：此功能旨在進一步簡化批處理和流資料處理，同時提供統一的開發體驗。 在即將發布的Flink 2.0版本中，阿里雲將增強對物化表的營運支援，包括與尖端lake格式和生產就緒發送器的連接器整合。

•自適應批處理執行：通過基於執行見解動態地最佳化邏輯和物理計劃，Flink 2.0將提高批處理和線上分析處理（OLAP）工作負載的效率和效能。

•流式湖倉一體架構：此架構以流-批統一處理為特徵，通過利用湖倉一體範式的統一資料存放區、開放格式和成本效益，可以更好地支援即時資料分析。 因此，使用者可以更好地處理不同新鮮度的動態資料更新和查詢，從而滿足廣泛的分析需求。

客戶使用Apache Flink取得成功

印尼領先的軟體即服務（SaaS）公司Mekari利用Flink 1.0強大的流處理能力，克服了即時資料處理和整合方面的挑戰。 這使他們能夠從各種來源即時捕獲資料，並將其無縫整合到阿里巴巴的大規模資料處理平台MaxCompute中。 這種整合不僅縮短了處理時間，而且通過可靠的流資料入湖提高了決策的速度和品質，從而提高了營運效率，並為利益相關者提供了及時、準確的見解。

王峰補充道：“Apache Flink 2.0揭示了資料處理的未來及其對雲+AI行業的潛在影響。 通過將組件現代化，歡迎更多的AI創新並改進與其他Apache專案的整合，Apache Flink為行業樹立了新的標杆。 我們期待著進一步與Apache Flink社區合作，充分利用這項突破性技術的能力。”

在此次活動中，阿里雲還宣布在GitHub上開源Flink Unified Streaming Storage（Fluss），這是一種為即時分析量身定製的流儲存解決方案，可作為湖倉一體架構上的即時資料層。 Fluss有效地彌合了資料流和資料湖倉一體之間的差距，促進了低延遲、高輸送量的資料入湖和處理。 它與領先的計算引擎（包括Apache Flink）無縫整合，增強了其在資料管理方面的實用性和效率。

阿里雲不斷貢獻其技術以推動開源Apache Flink社區的發展，最佳化Flink的SQL和運行時層，以及將Flink與其他生態系統專案整合。 這些創新極大地改進了Flink的整體機制，增強了可縮放性、可靠性、穩定性和效能。

關於阿里雲

阿里雲（www.alibabacloud.com）成立於2009年，是阿里巴巴集團的數字技術與智能骨幹業務。 阿里雲面向全球客戶提供全套雲端服務，涵蓋彈性計算、資料庫、儲存、網路虛擬化、大規模計算、安全、巨量資料分析、機器學習及AI服務。 據Gartner資料顯示，自2018年起，阿里雲始終是亞太地區營收（以美元計）規模 領先的IaaS供應商。 據IDC資料顯示，自2018年以來，阿里雲持續穩居全球頭部公用雲端IaaS服務提供者之列。