本文介紹2025年8月8日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網分步驟完成灰階,具體升級計劃,請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能,說明您的帳號暫未完成灰階。如果您需要儘快升級,請提交工單告知我們,我們將結合實際情況進行安排。
概述
2025年8月8日正式對外發布Realtime ComputeFlink版新版本。本次更新包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。
引擎側
引擎側正式發布VVR 11.2版本。該版本基於Apache Flink 1.20.2核心深度定製,在繼承社區能力的基礎上進行了最佳化和增強。
Flink SQL
本次版本顯著擴充了SQL內建函數庫,新增了多個內建函數,涵蓋了字串處理、JSON處理和Regex等多個領域。包括:
純量涵式:
字串處理:PRINTF、TRANSLATE、ELT、BTRIM、STARTSWITH、ENDSWITH
JSON處理:JSON_QUOTE、JSON_UNQUOTE
Regex:REGEXP_SUBSTR、REGEXP_INSTR、REGEXP_COUNT、REGEXP_EXTRACT_ALL
算術:UNHEX
類型支援
新增了Variant類型支援。
Table API
新增對Hive方言的支援。
大語言模型函數
對超過Context視窗大小的訊息後續處理行為實現可配置。
連接器增強
MySQL CDC變長字串(varchar)處理得到最佳化。
CDC YAML格式新增對Kafka canal-json和es-ts時間戳記格式的支援。
AnalyticDB MySQL的INSERT IGNORE文法。
安全增強
加強了資料訪問的安全性,Paimon和OSS連接器支援通過RAM角色進行授權訪問。
效能增強
MongoDB CDC 解析Binlog支援並發,Redis維表支援非同步關聯。
平台側
新增能力
批作業支援多語句執行 可在單個作業中運行多個 DDL/DML 語句,完成建表、計算、刪表全流程。
物化表支援定時回刷 可周期性重新整理歷史分區,修複資料遲到,保障最終一致性。
Session 叢集預設定時釋放 建立叢集空閑超 30 分鐘自動釋放,提升資源使用率。
自動調優支援禁止變更時段 關鍵時段禁止資源變更,僅保留調優建議,保障業務穩定。
Git 整合全面升級 支援雲效等主流 Git 服務,目錄結構拉取,錯誤提示增強。
許可權更細化 支援資料查詢細粒度。
體驗最佳化
支援圖形化建立、刪除和修改AI模型,可以在中繼資料中心VVP Catalog目錄下更好的管理相關的AI模型。
支援展示批作業CU*H的統計資訊,通過該指標可以更好的反映批作業的運行效能。
支援任務編排介面通過名稱模糊搜尋已建立的工作流程。
支援圖形化建立Iceberg Catalog。
OpenAPI
本次發布包含2個新增API、2個廢棄API及2項缺陷修複。請在升級叢集並更新pom依賴至 1.8.0 後,再使用新功能。
原Resource和DeploymentTarget相關 API 無法操作混合計費叢集,現已升級:
新增:
CreateDeploymentTargetV2UpdateDeploymentTargetV2
廢棄:
原
CreateDeploymentTarget/UpdateDeploymentTarget(請儘快遷移)。Resource 對象增強:新增欄位,支援混合計費模式配置。
最佳化
createDeploymentDraft/modifyDeploymentDraft介面,修複此前未校正 Label 數量上限的問題。最佳化
listDeployments介面,對排序參數sortName和sortOrder增加輸入合法性校正:僅允許傳入由字母(a-z, A-Z)和底線(_) 組成的字串。
功能介紹
特性 | 詳情 | 相關文檔 |
MySQL CDC變長字串最佳化 | 最佳化了MySQL CDC對變長字串(varchar)的處理機制,提升了資料同步效能和穩定性。 | |
CDC YAML格式增強 | 新增對Kafka的canal-json格式和es-ts時間戳記格式的支援,簡化了CDC情境的配置工作,提升了資料同步的靈活性。 | |
Table API的Hive方言支援 | 在Table API的作業中可以使用Hive方言操作資料。 | |
Paimon/OSS Connector RAM認證 | 支援通過RAM角色進行Paimon連接器的訪問授權,使用者無需指定AK/SK,提升了資料訪問的安全性,簡化了許可權管理。 | |
ADB MySQL支援INSERT IGNORE | AnalyticDB MySQL連接器支援INSERT IGNORE文法,增強了資料寫入的容錯能力。 | |
Redis 連接器維表非同步效能最佳化 | 最佳化Redis連接器的效能和功能,提升緩衝訪問效率和穩定性。 | |
PyFlink 可以直接使用內建連接器 | 改善Python開發體驗,提供更好的開發支援。 | |
MongoDB CDC 並發解析OpLog | 提升資料同步的穩定性和可靠性。 | |
Flink SQL內建函數擴充 | 新增了多個內建函數,涵蓋了字串處理、JSON處理和Regex等多個領域,極大豐富了SQL處理能力。 | |
資料攝入 Kafka -> CDC Schema自動演化支援 | 支援在Kafka和Paimon之間的自動Schema演化,增強了資料模型的靈活性和適應性。 | |
VVR SQL Variant類型 | 新增對Variant類型的支援,增強了資料類型的靈活性。 | |
AI SQL 函數 Context Window 限制行為支援配置 | 對於超出大模型Context Window大小的訊息,可以根據不同的策略選擇是否丟棄或者裁剪這些資料,並可以指定是否記錄日誌。 |
主要缺陷修複
本次發布修複了以下主要問題:
連接器缺陷修複
修複Kafka時區轉換及資料同步問題。
修複MySQL資料庫許可權認證異常問題。
修複Paimon Avro格式時間戳記精度校正問題。
修複DLF資料訪問Token到期問題。
修複MySQL 8.0版本相容性問題。
SQL及轉換缺陷修複
修複Paimon Like文法解析問題。
修複YAML日期處理和REGEXP_REPLACE函數問題。
修複Schema Registrynull 指標異常問題。
穩定性及效能最佳化
修複任務失敗重啟時的中繼資料一致性問題。
修複作業異常退出時的資源清理問題。
修複Paimon checkpoint標記崩潰問題。
最佳化連接器重試機制,提升作業穩定性。