本文介绍2025年11月30日发布的实时计算Flink版的重大功能变更和主要缺陷修复。
概述
2025年11月30日正式对外发布实时计算Flink版新引擎版本VVR 11.4.0。本次升级聚焦增强引擎内核与生态系统的连接能力,全面强化 Flink CDC、Paimon、AI 集成及主流数据源连接器的功能与稳定性,并首次引入新的数据源 Catalog 支持。同时,平台核心能力与用户体验也得到显著提升。主要功能如下:
引擎侧
引擎侧持续迭代,进一步增强了流批一体处理、数据集成、AI功能以及多种数据源的支持能力。
AI功能
新增 7 个AI函数用于 Flink SQL 文本处理:
AI_CLASSIFY(文本分类):根据预设类别对文本分类。返回置信度分数。适用于工单归类和内容打标。
AI_SENTIMENT(情感分析):分析文本情感。返回量化分数及正向、负向或中性标签。适用于评论分析和舆情监控。
AI_EXTRACT(信息提取):使用 JSON Schema 从非结构化文本中提取数据(如姓名、电话)。输出结构化数据。
AI_SUMMARIZE(摘要生成):生成长文本摘要。支持设置最大长度。
AI_EMBED(向量化):将文本转换为高维向量。用于计算相似度和语义检索。
AI_TRANSLATE(文本翻译):在 10 余种语言间互译。自动检测源语言。
AI_MASK(数据脱敏):自动屏蔽电话、身份证号等敏感信息。
数据摄入
兼容社区 Flink CDC 3.5 版本。
Postgres Source:支持PostgreSQL CDC YAML作业。
MongoDB Source:支持MongoDB CDC YAML作业。
连接器
Canal-JSON 格式支持解析源库索引事件。支持提取原始 Key 和 Value 作为元数据。
数据处理升级,支持Protocol Buffers v3 (Proto3) 协议标准。
维表关联支持过滤条件下推。
Stream Copy 模式支持 BinaryRow 格式。
INSERT 操作支持配置主键冲突处理逻辑。
JDBC(PostgreSQL):新增
ignore delete选项, 忽略源表删除事件。支持跨分区更新。
支持设置用户名前缀,方便定位作业。
Redis:增强集群模式支持。支持批处理写入。
Catalog
PostgreSQL Catalog:新增 PostgreSQL Catalog,用于管理 PostgreSQL 元数据。
StarRocks Catalog:支持将下游可空列映射为主键。
MaxCompute Catalog:支持 Database 映射到 MaxCompute Project 或 Schema 层级。
平台侧
核心功能
项目空间克隆:将项目空间复制到其他工作空间。适用于集群迁移或双跑测试。
切换监控服务:支持控制台手动切换 Flink 监控类型。
权限管理:
支持配置“禁用”权限点。
支持设置 Git 集成的细粒度权限。
日志归档:使用 RAM 授权将日志归档至 SLS。此方式替代 Access Key,增强安全性。
体验改进
运维展示:在运维页面显示动态更新与自动调优的状态及结果。
计费标签:自动标记混合计费的弹性资源,便于分账。
资源搜索:支持按工作空间、订单实例 ID 或项目空间搜索资源。
主要缺陷修复
本次发布修复了社区版本中的已知问题,并针对以下主要问题进行了重点改进:
Kafka 连接器:修复因事务堆积导致的任务挂起。
Prometheus Metric Reporter:修复因未关闭网络连接导致的内存溢出。
MySQL CDC:修复无法读取 OSS Binlog 归档日志的问题。
混合计费:已修复开通流程中,订单作废后,再次开通报错的问题。
项目空间:已经禁止删除最后一个项目空间,避免无法登录开发控制台。