Flink功能發布記錄（2025年01月15日） - Realtime Compute for Apache Flink

本文介紹2025年01月15日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

重要

本次升級將分階段灰階發布，具體升級計劃請關注Realtime Compute控制台的最新公告。如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。

概述

2025年1月15日，我們正式對外發布Realtime ComputeFlink版新版本，包含平台升級、引擎更新、連接器更新以及缺陷修複。

平台側

平台側的更新提升了作業應用開發能力和營運效率，同時增強系統穩定性。以下是本次更新的主要亮點：

相容Hive文法：支援使用Hive方言建立批次工作，通過相容Hive SQL文法增強與Hive互通性，便於從現有Hive作業平滑遷移至Flink平台。
任務編排能力提升：支援資料回刷，便於對歷史資料進行補數和訂正。
新購時無需指定可用性區域：新購Flink工作空間時，無需再進行可用性區域的配置。單可用性區域部署模式將自動選擇最佳計算可用性區域，跨可用性區域部署模式可有效避免因單個可用性區域故障導致服務中斷，確保作業的持久性和高可用性。
自動調優最佳化：智能調優的平穩策略新增了輸出能力，達到平穩狀態後可以查看、修改並儲存產生的資源調優計劃。
擴充專案變數應用情境：支援在作業運行參數配置中使用專案變數，避免明文AccessKey、密碼等敏感資訊，降低安全風險。

引擎側

引擎側正式對外發布VVR 8.0.11，該版本基於Apache Flink 1.17.2，並在社區最新完成的缺陷修複上繼續最佳化和增強，主要包括以下變更：

引擎更新

PyFlink升級到Python 3.9：該升級在效能、功能和安全性等多個方面帶來了顯著提升。升級後，需要對先前版本的PyFlink作業進行重新測試、部署和運行。

連接器更新

Hologres連接器更新：新增了對消費分區父表的支援，並擴充了中繼資料列，以擷取更多的表資訊。同時，最佳化了流寫入能力，支援條件更新和激進寫入。
MaxCompute連接器更新：支援Delta Table部分列更新。
StarRocks類型映射擴容：進行了更大範圍的自動擴容，以適應emoji等特殊字元的長度。
物化表累加式更新最佳化：批模式全量更新或累加式更新將根據使用情境由引擎自動判斷，並優先考慮採用累加式更新。

主要功能介紹

特性	詳情	相關文檔
相容Hive文法	支援使用Hive方言建立批次工作，便於平滑遷移Hive作業。	Hive方言作業快速入門
任務編排能力提升	工作流程支援資料回刷，便於對歷史資料進行補數和訂正。	管理工作流程
新購流程簡化	通過部署模式實現快速配置。單可用性區域部署模式將為您分配最佳計算可用性區域，同一地區內可用性區域之間內網互連，可用性區域之間網路延時SLA保障在3 ms內，詳見地區內可用性區域間平均網路時延。計算層會進行可用性區域無感調度，以進行庫存打通，提升資源彈性負載能力。跨可用性區域部署模式當作業運行所在的可用性區域出現故障時，作業將自動調度到同一地區其他穩定可用性區域恢複，從而有效避免因單個可用性區域故障導致服務中斷，確保作業的持久性和高可用性。	開通Realtime ComputeFlink版同城高可用
擴充專案變數應用情境	作業運行參數配置支援使用專案變數。	變數管理
自動調優最佳化	智能調優支援產生定時計劃和固定資源兩種調優方案，並提供應用儲存功能。	配置自動調優
Hologres連接器更新	支援`check-and-put`寫入Hologres條件更新能力，根據條件判斷是否更新寫入。提供`aggressive.enabled`激進寫入模式，提升在流量較小時寫入的時效性。	即時數倉Hologres
Hologres連接器更新	支援分區父表Binlog消費能力（公測），在構造即時數倉時可以直接消費分區父表Binlog。新增Hologres Catalog源表消費時擷取中繼資料列的能力，方便使用Catalog擷取更多`hg_binlog_event_type`等中繼資料資訊。	Realtime ComputeFlink版即時消費Hologres 管理Hologres Catalog
MaxCompute連接器更新	支援`upsert.partial-column`部分列更新，提供了多流寫入MaxCompute構建寬表的能力。	MaxCompute
StarRocks類型映射擴容	對CHAR類型的映射進行自動擴容，增加至原有長度的四倍。	StarRocks
物化表累加式更新最佳化	批處理支援物化表累加式更新。	建立及使用物化表
Python版本升級	Python 3.7.9版本升級到3.9.21版本，低引擎版本升級至VVR 8.0.11及以上引擎版本時，需要對PyFlink作業進行相容性測試並重新部署運行。	Python作業開發

主要缺陷修複

連接器缺陷

修複MySQL連接器在啟動時出現的null 指標異常，並解決升級版本後非主鍵表寫入效能下降問題。
修複Kafka連接器因重用Source導致Canal-JSON和Kafka Metadata列順序錯亂的問題。
修複雲訊息佇列HBase連接器啟動異常No length info found when processingnull問題。
修複SLS Catalog報錯AssertionError: Conversion to relational algebra failed問題。

SQL缺陷修複

修複浮水印下發延遲導致視窗不觸發的問題。
修複在CTAS建立的表中新增Bit(1)類型列時，出現ValidationException: Binary string length must be between 1 and 2147483647報錯的問題。

穩定性修複

修複作業在退出碼137異常重啟時，系統檢查點恢複位置錯誤的問題。