2026-04-09版本 - Realtime Compute for Apache Flink

本文介紹2026年04月09日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

重要

本次升級計劃在全網分步驟完成灰階，具體升級計劃，請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能，說明您的帳號暫未完成灰階。如果您需要儘快升級，請提交工單告知我們，我們將結合實際情況進行安排。

概述

2026年4月9日正式對外發布Realtime Compute Flink 版新引擎版本 VVR 11.6.0。本次升級重點增強了 AI Function 多模態處理能力，支援圖片、PDF 等非結構化資料的即時推理與清洗；同時引入 Variant 類型及相關函數，大幅提升半結構化資料的處理效率。資料攝入（CDC YAML）能力全面升級，支援多列合并入湖、分區追加寫入、主鍵清除等複雜情境，並正式結束公測。連接器方面，新增 Elasticsearch 8.x 源表與維表支援、PolarDB-X CDC Source、OceanBase 旁路匯入最佳化等多項特性，並對 MySQL CDC、Kafka、Hologres 等核心連接器進行了穩定性與易用性改進。此外，本版本包含了 Apache Flink 1.20.2/3 社區相關缺陷修複。

引擎側

持續增強 AI 推理、資料類型與可觀測效能力，為即時資料處理和智能分析提供更完善的基礎支撐。

AI Function 多模態能力

多模態資料處理：新增 PDF 轉圖片、檔案內容擷取（OSS/MNS）、圖片清晰度識別（基於 OpenCV）、圖片壓縮、Base64 圖片透傳等內建函數，支援調用通義千問 VL 等 VLM 模型進行圖片模態資料推理。
MNS 連接器：新增Message Service MNS 連接器，支援訂閱 OSS 變更事件，打通 AI 即時處理鏈路。

SQL 增強

Variant 類型支援：新增 Variant 類型及欄位訪問文法（variant.field、variant['key']），支援與基礎類型相互轉換，並在 Paimon Sink 中支援寫入 Variant 資料。
新增內建函數：資料攝入 Transform 中支援 MD5 等雜湊函數；CDC YAML 新增 parse_json 函數，可將 JSON 字串轉換為 Variant 類型。

資料攝入（CDC YAML）

資料攝入功能整體結束公測，正式對外開放。

Paimon、StarRocks、Hologres、MySQL、Kafka YAML Connector 結束公測；

Doris、OceanBase、MaxCompute、SLS、MongoDB、Postgres、Fluss YAML Connector 進入公測。

多列合并入湖：支援將上遊 JSON 中因大小寫或命名差異產生的多個欄位合并為目標列，提供正則匹配、大小寫歸一、自訂映射等規則。
分區追加寫入：Paimon Sink 支援寫入無主鍵分區表（Append-Only 情境），不再強制將分區鍵加入主鍵。
Transform 增強：
- 支援完全清除 PrimaryKey 或 PartitionKey（傳入空值即可）。
- 支援通過Regex設定複雜表名路由邏輯。
Variant 全鏈路：CDC YAML 支援 Variant 類型欄位訪問、類型轉換，並寫入 Paimon。
Source 能力擴充：
- 新增 polardbx-cdc Source，支援多並發訂閱 Binlog 及按表維度訂閱。
- SLS Source 支援強制指定欄位解析類型。
- Kafka Source 支援將一條訊息按欄位拆分為多條記錄寫入不同目標表（欄位路由），並支援自訂 Partitioner。
Sink 能力擴充：
- Paimon Sink 支援單獨配置 commit 節點的並發度。
- MaxCompute Sink 支援 DATETIME 類型映射，並最佳化 Commit 邏輯降低 QPS 消耗。
- Iceberg Sink 支援內建 Catalog 引用與串連資訊自動擷取（如 URL、帳號密碼），實現配置複用。

連接器

Kafka：
- Sink 端支援 Debezium JSON 格式寫入三段式 Table ID（Database.Schema.Table）。
- 修複更換 Topic 後有狀態重啟同時消費新舊兩個 Topic 的問題，現會拋出狀態不相容異常。
MySQL CDC：
- 最佳化 GTID 到期報錯資訊，明確提示根因。
- 日誌中增加消費者 Server ID 展示，便於問題排查。
PolarDB-X：正式支援作為 CDC YAML Source（公測）。
OceanBase：重構 JDBC Sink 寫入邏輯，支援手動交易回復、串連池複用，修複 wait_timeout 導致的斷連問題。
Elasticsearch：源表、維表正式支援 8.x 版本（相容 ES7 用戶端）。
Doris：最佳化連接埠配置錯誤時的報錯資訊。

湖倉整合

Iceberg：
- Sink 端新增 numRecordsOutOfSinkPerSecond（OUT RPS）指標上報。
- 支援配置 Hadoop 相關參數，提升串連靈活性。
- 資料攝入作業支援寫入 DLF Iceberg。

Hologres：
- Binlog 源表支援從 LATEST offset 消費。
- Connector Catalog 支援二級索引、Prefix Scan Key 等索引資訊。
- 支援讀取 varchar[] 數群組類型。
- 最佳化探測參數緩衝，避免表數量多時初始化逾時。
- 支援 sink.reshuffle-by-holo-distribution-key.enabled 配置下並發度大於 Shard 數。
MaxCompute：
- Catalog 支援分頁查詢，解決中繼資料中心卡頓問題。
- YAML Sink 最佳化 Commit 邏輯，減少 QPS 超限導致的 OOM。
Hive：Catalog 建表時支援指定儲存格式（如 Parquet）。
Paimon：支援 Lance 檔案格式。

可觀測性

新增本地磁碟用量指標（geminiDB.disk_space_*）。
新增 Gemini Native 記憶體指標（geminiDB.native_memory_usage / limit）。
新增 Auto-pilot 運算元並發限制 Metric（如 sourceParallelismUpperBound）。
屏蔽非必要的 WARN 日誌（如 Format 不支援快照時的提示），降低幹擾。

缺陷修複

穩定性修複：
- 合入 Flink 1.20.2/1.20.3 社區相關重要修複。
- 修複了 Kafka 連接器在開啟事務後，讀 Kafka 寫 OSS 丟資料的問題。
- 修複了 PolarDB-X 串連斷開導致延遲驟增並報錯 EOFException 的問題。
- 修複了 OceanBase JDBC Sink 因 wait_timeout 導致的頻繁斷連。

正確性修複：
- 修複了 CDC YAML 中 Canal Protobuf 資料格式不一致（timestamp 格式、tinyint 類型）的問題。
- 修複了 MySQL CDC Source 複用開啟時調試功能少展示一張表的問題。
- 修複了 YAML ODPS Sink 因頻繁 Commit 導致 Metaspace OOM 的問題。
體驗最佳化：
- 最佳化了 Temporal Join 文法報錯不清晰的提示。
- 隱藏了內部 WARN 日誌（如 Cannot snapshot the table），改為 DEBUG 層級。
- 修複了 Hologres Binlog 消費時部分欄位為 null 的異常。