全部产品
Search

搜索本产品

    实时计算Flink版：2023-10-23版本

    文档中心

    实时计算Flink版：2023-10-23版本

    更新时间：Nov 17, 2023

    本文为您介绍2023年10月23日发布的Flink全托管版本的重大功能变更和主要缺陷修复。

    重要

    本次升级计划两周内在全网分步骤完成灰度。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。具体升级计划，请关注实时计算控制台页面右侧的最新公告。

    概述

    2023年10月23日正式对外发布Flink全托管的新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。

    引擎侧将正式对外发布VVR 8.0.3版本，该版本是基于Apache Flink 1.17.1的企业级Flink引擎。在该版本中，我们增强了Flink与阿里云各存储和计算产品之间的互操作性，对MaxCompute、StarRocks、Redis、SLS、RocketMQ连接器进行了功能增强，提高了连接器的性能和稳定性，此外，我们还提升了CTAS的易用性。

    平台侧主要变更有：优化了自动调优的能力，加入平稳策略使调优结果可以收敛，不再频繁重启；支持定时计划设置多组定时策略，并在不停止作业的情况下切换定时计划；支持字段粒度的SQL作业数据血缘，协助您管理实时资产；支持动态参数更新，减少启停作业；支持RAM角色、资源目录成员、云SSO用户登录等。

    说明

    相关连接器的DataStream API，计划在后续版本发布。

    我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎的列表中看到新引擎版本，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！

    功能介绍

    特性

    详情

    相关文档

    优化自动调优能力

    提供新的调优策略（平稳策略），帮助您的作业寻找适合整个运行周期的资源配置。只有找到更适合整个周期的资源配置，才会动态调整，否则不会修改已有资源，避免了因脉冲式流量的变化导致整个作业资源的修改。使作业的运行趋于稳定，减少不必要的变动和波动，最终达到收敛状态。

    配置自动调优

    支持定时计划

    对比原有的定时调优策略，您可以设置多个定时计划，并在不停止作业的情况下切换定时计划，一个定时计划下也可以包含多个定时策略。

    配置自动调优

    支持SQL数据血缘能力

    通过查看血缘关系，您可以找到使用某张表的某个字段的Flink作业，也可以看到Flink作业上下游的字段级关系，协助您更好的管理作业和数据资产。

    查看血缘关系

    支持资源动态更新

    对作业并发度和部分Flink运行参数的修改，不再需要停止作业完成，您可以动态的修改这些参数。

    动态更新作业参数

    提供SQL优化建议

    SQL作业进行深度检查时，会返回SQL优化建议功能，自动输出SQL问题风险以及对应的优化建议，您可以根据风险以及建议进行SQL语句优化。

    SQL作业开发

    支持标签搜索能力

    支持在SQL、JAR或Python作业部署时，针对作业设置自定义的作业标签。设置后您可以在作业运维页面，通过标签搜索到所有包含该标签或标签值的作业，便于您更好的管理作业。

    部署作业

    增强作业排序筛选能力

    在作业运维页面，支持根据作业健康分、业务延迟进行排序，支持根据修改人筛选作业。

    暂无

    支持RAM角色、资源目录成员、云SSO用户登录鉴权

    阿里云账号体系全面适配，包括阿里云账号、RAM用户、RAM角色、资源目录成员、云SSO用户，简化了用户身份和访问管理，同时提供更全面的资源管理和授权机制。

    MaxCompute连接器支持复杂数据结构和独享 Tunnel

    MaxCompute连接器支持MaxCompute中JSON、ARRAY、MAP和STRUCT的读写，同时支持指定独享Tunnel进行服务连接。

    大数据计算服务MaxCompute

    Redis连接器作为维表时的Cache策略支持ALL

    使用Cache ALL策略，进一步提升Redis作为维表时的性能。

    云数据库Redis

    MySQL Catalog支持开启TDE的云数据库RDS MySQL实例

    MySQL Catalog对开启TDE的云数据库RDS MySQL实例进行了支持。

    暂无

    DLF Catalog的oss.endpoint支持OSS-HDFS路径

    可以使用OSS-HDFS作为DLF的oss.endpoint。

    StarRocks作为结果表时支持CTAS中Schema变更的宽容模式

    通过支持Schema变更的宽容模式，在使用CTAS作业并将StarRocks作为结果表时，如果源表字段类型长度变化，只要StarRocks表的字段长度可以兼容，则该表同步的作业不会受到影响。

    暂无

    Hologres结果表支持使用Date类型做分区键。

    支持使用Date类型作为分区键时，自动创建分区表。

    实时数仓Hologres

    RocketMQ连接器支持读写云消息队列RocketMQ版5.x版本

    新增对云消息队列RocketMQ版最新版本5.x的读写支持。

    消息队列RocketMQ

    优化minibatch和Join部分场景性能

    优化minibatch和Join的性能，在CDC、去重聚合等类似操作后进行Join时，部分场景吞吐可提升130%左右。

    暂无

    缺陷修复

    • 修复MaxCompute使用Catalog写入分区表异常的问题。

    • 修复Hologres维表关联性能差的问题。