阿里云在Flink Forward Asia会议上分享Apache Flink 2.0的新功能

在GenAI时代，Flink 2.0中增强的数据处理功能必不可少

2024年12月6日，印度尼西亚雅加达—阿里巴巴集团的数字技术与智能骨干业务阿里云在雅加达举行的Flink Forward Asia会议上强调了即将推出的Apache Flink 2.0的创新功能。 本次活动标志着东南亚首次专门讨论Apache Flink进步的会议，Apache Flink是一个开源框架，旨在统一Apache软件基金会的流处理和批处理。 作为长期贡献者，阿里云在推动Apache Flink社区发展（尤其是在亚洲）方面发挥了关键作用。

阿里云智能开放数据平台负责人王峰在活动中表达了自己的热情：“随着对数据需求的不断增长，对高效、可缩放且统一的数据处理的需求比以往任何时候都更加关键。 即将发布的Flink 2.0代表了其自2016年首次亮相以来的重大进步，恰逢Flink成为Apache顶级项目十周年。 我们比以往任何时候都更加致力于支持Apache Flink社区，并且我们将在不久的将来探索将Flink 2.0的增强功能集成到我们面向全球客户的云产品/服务中。”

王峰，阿里云智能开放数据平台负责人

面向新计算时代的Apache Flink 2.0新功能

Apache Flink 2.0计划于2025年初发布，标志着数据处理技术的重大发展，强调了在统一的批处理和流处理架构方面取得的重大进展。 这使得云原生时代的计算简化，为处理GenAI时代必不可少的混合工作负载奠定了基础，在GenAI时代，复杂的数据处理能力对新的AI应用程序至关重要。

阿里云对Apache Flink 2.0的主要贡献包括：

•分解状态存储和管理：为了实现Flink的云原生未来，阿里云引入了分解状态存储和管理功能，该功能在Flink 2.0中将远程存储用作主存储。 这种新的架构使用户能够在不担心本地磁盘限制的情况下处理大量数据集并更快、更有效地重新缩放作业，减少资源高峰，并以本机方式实现轻量级快速检查点。

•物化表：此功能旨在进一步简化批处理和流数据处理，同时提供统一的开发体验。 在即将发布的Flink 2.0版本中，阿里云将增强对物化表的运营支持，包括与尖端lake格式和生产就绪调度程序的连接器集成。

•自适应批处理执行：通过基于执行见解动态地优化逻辑和物理计划，Flink 2.0将提高批处理和在线分析处理（OLAP）工作负载的效率和性能。

•流式湖仓一体架构：此架构以流-批统一处理为特征，通过利用湖仓一体范式的统一数据存储、开放格式和成本效益，可以更好地支持实时数据分析。 因此，用户可以更好地处理不同新鲜度的动态数据更新和查询，从而满足广泛的分析需求。

客户使用Apache Flink取得成功

印度尼西亚领先的软件即服务（SaaS）公司Mekari利用Flink 1.0强大的流处理能力，克服了实时数据处理和集成方面的挑战。 这使他们能够从各种来源实时捕获数据，并将其无缝集成到阿里巴巴的大规模数据处理平台MaxCompute中。 这种集成不仅缩短了处理时间，而且通过可靠的流数据入湖提高了决策的速度和质量，从而提高了运营效率，并为利益相关者提供了及时、准确的见解。

王峰补充道：“Apache Flink 2.0揭示了数据处理的未来及其对云+AI行业的潜在影响。 通过将组件现代化，欢迎更多的AI创新并改进与其他Apache项目的集成，Apache Flink为行业树立了新的标杆。 我们期待着进一步与Apache Flink社区合作，充分利用这项突破性技术的能力。”

在此次活动中，阿里云还宣布在GitHub上开源Flink Unified Streaming Storage（Fluss），这是一种为实时分析量身定制的流存储解决方案，可作为湖仓一体架构上的实时数据层。 Fluss有效地弥合了数据流和数据湖仓一体之间的差距，促进了低延迟、高吞吐量的数据入湖和处理。 它与领先的计算引擎（包括Apache Flink）无缝集成，增强了其在数据管理方面的实用性和效率。

阿里云不断贡献其技术以推动开源Apache Flink社区的发展，优化Flink的SQL和运行时层，以及将Flink与其他生态系统项目集成。 这些创新极大地改进了Flink的整体机制，增强了可缩放性、可靠性、稳定性和性能。

关于阿里云

阿里云（www.alibabacloud.com）成立于2009年，是阿里巴巴集团的数字技术与智能骨干业务。 阿里云面向全球客户提供全套云服务，涵盖弹性计算、数据库、存储、网络虚拟化、大规模计算、安全、大数据分析、机器学习及AI服务。 据Gartner数据显示，自2018年起，阿里云始终是亚太地区营收（以美元计）规模 领先的IaaS提供商。 据IDC数据显示，自2018年以来，阿里云持续稳居全球头部公有云IaaS服务提供商之列。