2026-01-09版本 - Realtime Compute for Apache Flink

本文介紹2026年01月09日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

重要

本次升級計劃在全網分步驟完成灰階，具體升級計劃，請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。

概述

2026年1月8日正式對外發布Realtime Compute Flink 版新引擎版本 VVR 11.5.0，。本次升級重點最佳化了 CDC YAML 的靈活度與複雜情境處理能力，增強了 Paimon 在流式湖倉中的表現，並引入了期待已久的 Bitmap（位元影像）原生類型支援。同時，針對主流連接器（如 PolarDB-X、OceanBase、MongoDB 等）進行了深度特性增強與穩定性修複，全面提升大規模Data Integration效率。另外，本版本包含了Apache Flink 1.20.2/3的主要相關缺陷修複。

引擎側

持續夯實核心能力，在新型資料類型支援、作業容錯恢複以及社區同步方面進行了重要升級。

SQL增強

Bitmap 類型支援：新增原生 Bitmap 類型及一期配套函數（如位元影像構造、基數統計等），支援高效的即時精確去重情境（UV 統計）。

資料攝入（CDC）

中繼資料引用：支援在 CDC YAML 中直接引用已在 Catalog 中註冊的 Source 和 Sink 表。
複雜路由邏輯：YAML 支援配置以標準Regex來設定的 Route 表名路由邏輯，滿足分庫分表合并情境。
髒資料處理：JSON 格式解析支援髒資料處理機制，提升作業魯棒性。
自動擴精度：StarRocks（SR）部分支援 Decimal 類型自動擴充精度。
空 Schema 容錯：Kafka CDC YAML 支援在源端無資料時通過空 Schema 建表，避免作業啟動失敗。
Paimon Source 正式對接 Flink YAML CDC。

連接器

MySQL：
- 限流功能：新增資料限流功能，防止對源庫產生過大衝擊。
- 中繼資料擴充：新增支援 Binlog 中繼資料欄位file、pos，使用者可以方便地通過這些中繼資料資源區分同一個資料的修改順序。
- 效能最佳化：在 snapshot-only 模式下最佳化了流程，不再執行任何 Binlog 相關命令。
PolarDB-X CDC（公測中）：
- 支援多並發訂閱 Binlog 流，顯著提升攝入吞吐。
- 支援按表維度訂閱 Binlog。
OceanBase（公測中）：支援旁路匯入寫入新特性，極大提升大批量資料寫入效能。
MongoDB：結果表（Sink）支援部分更新（Partial Update）模式。
Elasticsearch (ES)：
- 支援顯式配置 doc_as_upsert 參數。
- 新增連線逾時參數配置支援。
Kafka：針對開源 Kafka，Flink 現在可以自動刪除由 Flink 建立的冗餘 Consumer Group。

湖倉整合（Iceberg）

Iceberg Connector：支援配置 Hadoop 相關參數，提升在複雜 Hadoop 環境下的串連靈活性。

缺陷修複

合入 Flink 1.20.2/3 版本的相關重要修複。
修複了資料查詢無法查詢Fluss表的異常。
修複了在消費Hologres binlog 源表時出現消費資料欄位為null的異常。
修複了Kafka連接器在開啟事務後，讀Kafka寫OSS丟資料的問題。
修複了 PolarDB-X 串連斷開導致延遲驟增並報錯 EOFException 的問題。
最佳化了 CDC 在特定模式下不必要的指令執行邏輯。