版本发布记录（2023年8月21日） - 实时计算Flink版

本文为您介绍2023年8月21日发布的Flink全托管版本的重大功能变更和主要缺陷修复。

重要

本次版本将在两周内在全网进行分步骤的灰度。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。具体升级计划，请关注实时计算控制台页面右侧的最新公告。

概述

2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。

引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1的全新企业级Flink引擎。在该版本中，我们将包含Apache Flink 1.17.1的所有新功能、性能提升与缺陷修复。在Apache Flink 1.17中，通过通用增量Checkpoint（GIC）功能，提升了Checkpoint的处理速度和稳定性。同时，增强了Unaligned Checkpoint（UC）在处理作业反压时的稳定性，现在已达到生产级可用性。此外，Batch的性能也得到大幅度改进。

在这个版本中，我们对企业级状态后端核心架构进行了重构，在性能和稳定性方面都有大幅提升，主要体现在两个方面：（1）采用了更紧凑的状态格式和文件存储，以及更高效的数据清理策略，显著降低了本地状态存储空间，并大幅提升了访问性能。对于状态瓶颈的作业，其平均性能可以提升40%以上，状态大小可缩减约30%。（2）进一步提升了状态扩缩容和恢复机制，在大状态场景下（100G）可以让作业更新断流时间从分钟级降低到秒级。新版本企业级状态在VVR 8.0.1作为默认版本，无需您更改配置。

除引擎内核与状态后端升级外，本次发布进一步增强了Flink与阿里云各存储和计算产品间的互操作性，提供了更丰富的连接器功能，并提升了性能和稳定性。主要包括：

正式推出MongoDB CDC连接器，进入公测阶段，支持高效地从MongoDB数据库中（复本集或分片集群架构）捕获实时增量和历史数据同步到下游系统。MongoDB CDC连接器实现了增量快照算法，在全量阶段支持并发读取海量历史数据，自动切换从全量读到增量读，同步过程提供数据不丢不重语义；在增量读取阶段，支持扫描完整变更事件流，对下游Flink SQL计算作业非常友好。同时MongoDB CDC提供多种启动位点模式，方便您按需灵活选择。
CDAS功能支持了在对新增表等变更操作后，可以以有状态的方式重启作业并继续执行，这避免了重启带来的状态丢失与额外作业的管理成本。
新增OceanBase连接器，可以将OceanBase数据库作为结果表和维表使用。OceanBase是阿里巴巴和蚂蚁集团100% 自主研发的一款原生分布式关系型HTAP数据库，具有数据强一致、高可用、高性能、在线扩展、高度兼容SQL标准和主流关系型数据库、低成本等特点。
加强了Tair的企业级数据结构的更全面支持，您可以使用Flink+TairTs实时构建时序数据集，使用Flink+TairVector构建AI向量数据集，也可以通过Flink+TairCpc进行实时风控应用构建，或者采用Flink+TairRoaring实现实时客户画像系统。
新增对阿里云SLS Catalog结果表的支持，您可以使用持久表的方式进行SLS数据表的定义与写入。
作为一个预览功能，本次发布包含了Apache Paimon 0.5-snapshot的更新，并支持了Flink CDC写入Paimon时源表列类型变更应用。

我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎的列表中看到新引擎版本，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！

主要功能介绍

特性	详情	相关文档
MongoDB CDC连接器开始公测	支持以源表形式读取MongoDB增量变化数据。	MongoDB CDC（公测中）
CDAS支持源库新增表加入数据同步	CDAS作业启动后，如果源库新增表，支持从作业快照重启，从而捕获到新的表，对新增表进行数据同步。	CREATE DATABASE AS（CDAS）语句
支持在Begin Statement/END中新添加CTAS子句	如果新增CTAS语句，支持从作业快照重启，从而捕获到新的表，对新增表进行数据同步。CTAS的使用更加灵活，且不会增加作业数量。	CREATE TABLE AS（CTAS）语句
双流Join支持不同流的State TTL分别设置	在部分涉及双流Join的业务场景中，两个不同的流可能需要设定不一样的长度。通常而言，某一个流或许需要长达15天的设置时间，与此同时，另一条流可能只需短至1天的设置时间，即可使业务需求得以满足。通过新加此项功能，一方面能提升作业稳定性，另一方面则能有效降低运行成本。	高性能Flink SQL优化技巧
新增OceanBase连接器	支持作为结果表和维表使用。	OceanBase（公测中）
SLS连接器支持查询下推	支持在源端进行数据过滤，提升读取效率。	日志服务SLS
SLS Catalog支持结果表	支持使用Catalog进行SLS的写入。	管理SLS Catalog
ADB PostgreSQL连接器支持ADB PostgreSQL 7.0版本	新增对云原生数据仓库AnalyticDB PostgreSQL版7.0版本的支持。	云原生数据仓库AnalyticDB PostgreSQL版（ADB PG）
Tair连接器支持更多的数据类型写入	新增对TairTs、TairCpc、TairRoaring、TairVector和TairGis的支持。	云原生内存数据库Tair
Paimon升级，并支持Flink CDC写入Paimon时源表列类型变更应用	Paimon升级到0.5-snapshot版本，并支持了当通过Flink CDC写入Paimon数据时，如果源表发生了列变更，Paimon可以应用此变更。	CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句

重要缺陷修复

修复MySQL源表读取PolarDB MySQL时出现Filtering update table metadata event: Event{header=EventHeaderV4的问题。
修复使用带有条件的窗口TVF时无数据输出的问题。