本文介紹2025年10月13日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。
本次升級計劃在全網分步驟完成灰階,具體升級計劃,請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能,說明您的帳號暫未完成灰階。如果您需要儘快升級,請提交工單告知我們,我們將結合實際情況進行安排。
概述
2025年10月13日正式對外發布Realtime ComputeFlink版新版本。本次更新包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。
引擎側
引擎側持續迭代,進一步增強了對複雜資料類型、AI功能以及多種資料來源的支援能力。
資料攝入
Kafka源端:Canal-JSON格式支援MySQL_TYPE解析。
連接器
Hologres連接器:支援讀取指定的Binlog類型。
StarRocks連接器:SQL Connector升級,同步社區Connector Release 1.2.11版本。
Lindorm連接器:維表支援一對多Join。
MaxCompute連接器:支援設定時區。
SLS連接器:新增
processor參數,支援在消費前通過SLS消費處理器進行資料過濾,以節約成本並提高處理速度。
AI功能
新增
Vector_search通過結合Milvus進行即時向量近似檢索。AI Function:提供更多可配置參數,增強功能靈活性。
SQL及資料管理
支援將JSON String中的數組解析為SQL的ARRAY<STRING>。
StarRocks Catalog:使用Starrocks Catalog時,無需再顯式傳遞URL資訊。
效能最佳化
MySQL連接器:最佳化了布爾類型的下推效能。
Hologres連接器:消費Binlog時支援projection下推與資料壓縮。
MaxCompute連接器:最佳化了寫入普通表時對Array等複雜類型的效能。
平台側
新增能力
美國(矽谷)地區新增支援使用任務編排功能。
烏蘭察布地區ARM架構下新增支援使用混合計費模式。
平台體驗最佳化
購買體驗提升
取消 CU 限制:在擴容、新購及按量轉包年等情境中,取消訂用帳戶叢集超過 1000 CU 的白名單限制,支援大規模作業的彈性擴縮容,提升新購靈活性。
優惠券全面支援:在續約、按量轉包年、擴容等情境均可使用優惠券,增強使用者購買靈活性與優惠權益體驗。
可觀測性增強
統一 GC 指標展示:新增對 ParallelGC 與 CMS 等記憶體回收類型的指標適配,實現統一監控與管理,提升操作一致性與可觀測性。
新增
busyTimePerSecond指標:精準反映任務負載情況,助力使用者識別效能瓶頸、合理分配資源,保障作業穩定性。
許可權模型最佳化
打通檔案夾操作許可權與作業草稿、資料查詢許可權,解決因許可權缺失導致無法建立檔案夾的問題,實現許可權體系聯動與操作順暢。
物化表功能改進
編輯物化表時支援同步升級引擎版本,新增版本對比功能,並自動觸發部署作業更新,顯著提升操作便捷性與配置一致性。
訊息投遞靈活配置
支援使用者按需自訂訊息投遞範圍,實現精細化投遞控制,在滿足業務需求的同時有效最佳化投遞成本。
功能發布列表
功能名稱 | 功能描述 | 參考文檔 |
Hologres批作業並發寫入 | 支援reshuffle後並發寫入帶主鍵的Hologres表,提升寫入吞吐。 | |
Hologres Binlog消費最佳化 | 消費Binlog時支援projection下推與資料壓縮,降低網路和計算開銷。 | |
Hologres指定Binlog類型 | 支援使用者指定讀取的Binlog類型,滿足更精細的資料同步需求。 | |
Kafka Canal-JSON MySQL_TYPE解析 | Kafka Source的Canal-JSON格式支援解析MySQL原生類型。 | |
JSON String解析為ARRAY<STRING> | 支援通過JSON_QUERY函數將JSON String中的數組解析為SQL的ARRAY<STRING>。 | |
AI Vector Search | 新增AI函數,支援向量檢索功能。 | |
MaxCompute時區設定 | MaxCompute連接器支援自訂時區,方便跨時區資料處理。 | |
SLS消費處理器(Processor) | 通過 |
主要缺陷修複
本次發布修複了以下主要問題:
連接器缺陷修複
修複PostgreSQL CDC讀取數據卡死的問題。
修複Kafka連接器帶有時區屬性的時間戳記轉換丟失時區問題。
修複Lindorm維表Join時null 指標異常。
修改paimon表參數配置錯誤後查看和刪除該表報錯Could not find any factory for identifier 'last_not_null_value' 。
SQL缺陷修複
修複JSON_QUERY函數使用RETURNING ARRAY<STRING>子句時的返回字串格式問題 。