实时计算 Flink 版 - 全托管VVR 8.0.7版本发布
May 29 2024
实时计算 Flink 版国际站产品文档
https://www.alibabacloud.com/help/flink/product-overview/2024-05-29-version
适用客户
所有企业客户
新增功能/规格
· 在实时湖仓方面，Paimon连接器SDK升级，支持Paimon数据湖格式0.9版本。 · 在SQL增强方面，您可以使用算子状态生命周期（TTL）Hints单独为双流联接算子和分组聚合算子设定TTL，更精准的控制各个算子的状态大小；您可以使用命名参数来实现自定义函数，提升开发效率，降低维护成本。 · 在连接器方面，本版本MongoDB连接器结束公测，正式进入生产阶段，它提供了完整的CDC源表、维表和结果表能力。另外本版本还重点提升了MySQL CDC和Redis连接器相关能力： MySQL CDC： · 支持通过op_type虚拟列获取数据操作类型，使得下游能够获得该变化数据的操作类型（+I、+/-U、-D），借此功能，您可灵活地根据具体的操作类型设计业务逻辑和数据清理策略。 · 优化了以Decimal类型作为主键的MySQL表的读取性能，并实现了大容量表的SourceRecord（数据变更记录）并行处理，以提升处理效率。 · 支持Source复用功能，开启Source复用功能后，Flink会尝试合并同一作业内某些配置项（库名、表名和server-id除外）均相同的MySQL CDC源表，以减轻MySQL服务器的连接和监听压力。 · 在开启sink.ignore-null-when-update参数时，会进行攒批执行，数倍提升了处理性能。 · Redis：Redis作为维表和结果表时，当Key的数据类型为HashMap时，支持多种非主键Key格式的DDL定义，方便您更好地理解；支持设置Key的前缀和分隔符，满足Redis数据治理要求。 · 在元数据管理方面，MySQL视图作为数据库中的一种逻辑结构，本身无法进行实际的数据读写。为避免数据操作错误，新创建的MySQL Catalog中将不再展示视图信息。 · 在安全方面，本版本对开启Kerberos的Hive集群的兼容范围扩展至Hadoop 2.x版本；对日志中连接器的连接配置等敏感信息进行了隐藏屏蔽。