实时计算Flink版：2026-04-09版本

AI Function 多模态能力

• 多模态数据处理：新增 PDF 转图片、文件内容获取（OSS/MNS）、图片清晰度识别（基于 OpenCV）、图片压缩、Base64 图片透传等内置函数，支持调用通义千问 VL 等 VLM 模型进行图片模态数据推理。

• MNS 连接器：新增消息服务 MNS 连接器，支持订阅 OSS 变更事件，打通 AI 实时处理链路。

SQL 增强

• Variant 类型支持：新增 Variant 类型及字段访问语法（variant.field、variant['key']），支持与基础类型相互转换，并在 Paimon Sink 中支持写入 Variant 数据。

• 新增内置函数：数据摄入 Transform 中支持 MD5 等哈希函数；CDC YAML 新增 parse_json 函数，可将 JSON 字符串转换为 Variant 类型。

数据摄入（CDC YAML）

数据摄入功能整体结束公测，正式对外开放。

Paimon、StarRocks、Hologres、MySQL、Kafka YAML Connector 结束公测；

Doris、OceanBase、MaxCompute、SLS、MongoDB、Postgres、Fluss YAML Connector 进入公测。

• 多列合并入湖：支持将上游 JSON 中因大小写或命名差异产生的多个字段合并为目标列，提供正则匹配、大小写归一、自定义映射等规则。

• 分区追加写入：Paimon Sink 支持写入无主键分区表（Append-Only 场景），不再强制将分区键加入主键。

• Transform 增强：

  • 支持完全清除 PrimaryKey 或 PartitionKey（传入空值即可）。

  • 支持通过正则表达式设定复杂表名路由逻辑。

• Variant 全链路：CDC YAML 支持 Variant 类型字段访问、类型转换，并写入 Paimon。

• Source 能力扩展：

  • 新增 polardbx-cdc Source，支持多并发订阅 Binlog 及按表维度订阅。

  • SLS Source 支持强制指定字段解析类型。

  • Kafka Source 支持将一条消息按字段拆分为多条记录写入不同目标表（字段路由），并支持自定义 Partitioner。

• Sink 能力扩展：

  • Paimon Sink 支持单独配置 commit 节点的并发度。

  • MaxCompute Sink 支持 DATETIME 类型映射，并优化 Commit 逻辑降低 QPS 消耗。

  • Iceberg Sink 支持内置 Catalog 引用与连接信息自动获取（如 URL、账号密码），实现配置复用。

连接器

• Kafka：

  • Sink 端支持 Debezium JSON 格式写入三段式 Table ID（Database.Schema.Table）。

  • 修复更换 Topic 后有状态重启同时消费新旧两个 Topic 的问题，现会抛出状态不兼容异常。

• MySQL CDC：

  • 优化 GTID 过期报错信息，明确提示根因。

  • 日志中增加消费者 Server ID 展示，便于问题排查。

• PolarDB-X：正式支持作为 CDC YAML Source（公测）。

• OceanBase：重构 JDBC Sink 写入逻辑，支持手动事务回滚、连接池复用，修复 wait_timeout 导致的断连问题。

• Elasticsearch：源表、维表正式支持 8.x 版本（兼容 ES7 客户端）。

• Doris：优化端口配置错误时的报错信息。

湖仓集成

• Iceberg：

  • Sink 端新增 numRecordsOutOfSinkPerSecond（OUT RPS）指标上报。

  • 支持配置 Hadoop 相关参数，提升连接灵活性。

  • 数据摄入作业支持写入 DLF Iceberg。

• Hologres：

  • Binlog 源表支持从 LATEST offset 消费。

  • Connector Catalog 支持二级索引、Prefix Scan Key 等索引信息。

  • 支持读取 varchar[] 数组类型。

  • 优化探测参数缓存，避免表数量多时初始化超时。

  • 支持 sink.reshuffle-by-holo-distribution-key.enabled 配置下并发度大于 Shard 数。

• MaxCompute：

  • Catalog 支持分页查询，解决元数据中心卡顿问题。

  • YAML Sink 优化 Commit 逻辑，减少 QPS 超限导致的 OOM。

• Hive：Catalog 建表时支持指定存储格式（如 Parquet）。

• Paimon：支持 Lance 文件格式。

可观测性

• 新增本地磁盘用量指标（geminiDB.disk_space_*）。

• 新增 Gemini Native 内存指标（geminiDB.native_memory_usage / limit）。

• 新增 Auto-pilot 算子并发限制 Metric（如 sourceParallelismUpperBound）。

• 屏蔽非必要的 WARN 日志（如 Format 不支持快照时的提示），降低干扰。