2026-01-09版本 - 实时计算Flink版

本文介绍2026年01月09日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度，具体升级计划，请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。

概述

2026年1月8日正式对外发布实时计算 Flink 版新引擎版本 VVR 11.5.0，。本次升级重点优化了 CDC YAML 的灵活度与复杂场景处理能力，增强了 Paimon 在流式湖仓中的表现，并引入了期待已久的 Bitmap（位图）原生类型支持。同时，针对主流连接器（如 PolarDB-X、OceanBase、MongoDB 等）进行了深度特性增强与稳定性修复，全面提升大规模数据集成效率。另外，本版本包含了Apache Flink 1.20.2/3的主要相关缺陷修复。

引擎侧

持续夯实内核能力，在新型数据类型支持、作业容错恢复以及社区同步方面进行了重要升级。

SQL增强

Bitmap 类型支持：新增原生 Bitmap 类型及一期配套函数（如位图构造、基数统计等），支持高效的实时精确去重场景（UV 统计）。

数据摄入（CDC）

元数据引用：支持在 CDC YAML 中直接引用已在 Catalog 中注册的 Source 和 Sink 表。
复杂路由逻辑：YAML 支持配置以标准正则表达式来设定的 Route 表名路由逻辑，满足分库分表合并场景。
脏数据处理：JSON 格式解析支持脏数据处理机制，提升作业鲁棒性。
自动扩精度：StarRocks（SR）部分支持 Decimal 类型自动扩展精度。
空 Schema 容错：Kafka CDC YAML 支持在源端无数据时通过空 Schema 建表，避免作业启动失败。
Paimon Source 正式对接 Flink YAML CDC。

连接器

MySQL：
- 限流功能：新增数据限流功能，防止对源库产生过大冲击。
- 元数据扩展：新增支持 Binlog 元数据字段file、pos，用户可以方便地通过这些元数据资源区分同一个数据的修改顺序。
- 性能优化：在 snapshot-only 模式下优化了流程，不再执行任何 Binlog 相关命令。
PolarDB-X CDC（公测中）：
- 支持多并发订阅 Binlog 流，显著提升摄入吞吐。
- 支持按表维度订阅 Binlog。
OceanBase（公测中）：支持旁路导入写入新特性，极大提升大批量数据写入性能。
MongoDB：结果表（Sink）支持部分更新（Partial Update）模式。
Elasticsearch (ES)：
- 支持显式配置 doc_as_upsert 参数。
- 新增连接超时参数配置支持。
Kafka：针对开源 Kafka，Flink 现在可以自动删除由 Flink 创建的冗余 Consumer Group。

湖仓集成（Iceberg）

Iceberg Connector：支持配置 Hadoop 相关参数，提升在复杂 Hadoop 环境下的连接灵活性。

缺陷修复

合入 Flink 1.20.2/3 版本的相关重要修复。
修复了数据查询无法查询Fluss表的异常。
修复了在消费Hologres binlog 源表时出现消费数据字段为null的异常。
修复了Kafka连接器在开启事务后，读Kafka写OSS丢数据的问题。
修复了 PolarDB-X 连接断开导致延迟骤增并报错 EOFException 的问题。
优化了 CDC 在特定模式下不必要的指令执行逻辑。