Alibaba Cloud Compartilha Novos Recursos do Apache Flink 2.0 no Flink Forward Asia

O processamento de dados aprimorado presente no Flink 2.0 é essencial na era da GenAI

Jacarta, Indonésia, 6 de dezembro de 2024 - A Alibaba Cloud, a espinha dorsal de tecnologia digital e inteligência do Alibaba Group, destacou os recursos inovadores do futuro Apache Flink 2.0 no Flink Forward Asia em Jacarta. Este evento marcou a primeira conferência no Sudeste Asiático dedicada aos avanços no Apache Flink, um framework de código aberto projetado para unificar o processamento de fluxo (stream-processing) e o processamento em lote (batch-processing) pela Apache Software Foundation. Como uma colaboradora de longa data, a Alibaba Cloud tem desempenhado um papel fundamental no avanço da comunidade Apache Flink, particularmente na Ásia.

Feng Wang, Head de Open Data Platform na Alibaba Cloud Intelligence, expressou seu entusiasmo no evento: "Com a crescente demanda por dados, a necessidade de um processamento de dados eficiente, escalável e unificado é mais crítica do que nunca. O próximo lançamento do Flink 2.0 representa um avanço significativo desde sua estreia em 2016, coincidindo com o décimo aniversário do Flink tornando-se um projeto de nível superior da Apache. Estamos mais comprometidos do que nunca em apoiar a comunidade Apache Flink e exploraremos a integração dos recursos aprimorados do Flink 2.0 em nossas ofertas de nuvem para clientes globais em um futuro próximo."

Feng Wang, Head de Open Data Platform na Alibaba Cloud Intelligence

Novos Recursos do Apache Flink 2.0 para uma Nova Era da Computação

Programado para ser lançado no início de 2025, o Apache Flink 2.0 marca uma evolução significativa nas tecnologias de processamento de dados, enfatizando um grande progresso em direção a uma arquitetura unificada de processamento em lote e fluxo. Isso leva a uma computação simplificada na era nativa da nuvem, estabelecendo as bases para lidar com cargas de trabalho híbridas essenciais na era da GenAI, onde recursos sofisticados de processamento de dados são cruciais para novas aplicações de IA.

As principais contribuições da Alibaba Cloud para o Apache Flink 2.0 incluem:

•Armazenamento e gerenciamento de estado desagregado: Para viabilizar o futuro nativo da nuvem do Flink, a Alibaba Cloud introduz o Armazenamento e Gerenciamento de Estado Desagregado, um recurso que usa armazenamento remoto como armazenamento primário no Flink 2.0. Essa nova arquitetura permite que os usuários lidem com conjuntos de dados massivos sem se preocupar com as restrições de disco local, redimensionem jobs de forma mais rápida e eficiente, reduzam picos de recursos e alcancem checkpoints leves e rápidos de maneira nativa.

•Tabela Materializada (Materialized Table): Este recurso foi projetado para otimizar ainda mais o processamento de dados em lote e fluxo, ao mesmo tempo que fornece uma experiência de desenvolvimento unificada. No próximo lançamento do Flink 2.0, a Alibaba Cloud está aprimorando os suportes operacionais para Materialized Tables, incluindo integração de conectores com formatos de lake de ponta e agendadores prontos para produção.

•Execução em Lote Adaptativa (Adaptive Batch Execution): Ao otimizar dinamicamente planos lógicos e físicos com base em insights de execução, o Flink 2.0 está aprimorando a eficiência e o desempenho do processamento em lote e das cargas de trabalho de Processamento Analítico Online (OLAP).

•Arquitetura de Streaming Lakehouse: Essa arquitetura, caracterizada pelo processamento unificado de fluxo e lote, pode oferecer melhor suporte à análise de dados em tempo real, aproveitando o armazenamento unificado de dados, o formato aberto e a relação custo-benefício do paradigma Lakehouse. Como resultado, os usuários podem lidar melhor com atualizações de dados dinâmicos e consultas com níveis variados de atualização, atendendo a uma ampla gama de necessidades analíticas.

Sucesso de Clientes com o Apache Flink

A Mekari, empresa líder em software como serviço (SaaS) da Indonésia, utilizou os robustos recursos de processamento de fluxo do Flink 1.0 para superar desafios na integração e processamento de dados em tempo real. Isso permitiu que eles capturassem dados em tempo real de várias fontes e os integrassem perfeitamente ao MaxCompute, a plataforma de processamento de dados em larga escala da Alibaba. Essa integração não apenas reduziu o tempo de processamento, mas também aprimorou a velocidade e a qualidade da tomada de decisões por meio da ingestão confiável de dados de streaming, melhorando assim a eficiência operacional e fornecendo aos stakeholders insights precisos e oportunos.

Wang acrescentou: "O Apache Flink 2.0 revela o futuro do processamento de dados e seu impacto potencial na indústria de nuvem+IA. Ao modernizar seus componentes, adotar mais inovações de IA e melhorar as integrações com outros projetos da Apache, o Apache Flink estabeleceu um novo padrão para a indústria. Esperamos aprofundar nosso envolvimento com a comunidade Apache Flink para aproveitar ao máximo os recursos dessa tecnologia revolucionária."

No evento, a Alibaba Cloud também anunciou que disponibilizou o código aberto do Fluss (Flink Unified Streaming Storage) no GitHub, uma solução de armazenamento de streaming adaptada para análises em tempo real que atua como a camada de dados em tempo real na arquitetura Lakehouse. O Fluss preenche efetivamente a lacuna entre o streaming de dados e o data Lakehouse, facilitando a ingestão e o processamento de dados de baixa latência e alto rendimento. Ele se integra perfeitamente com os principais mecanismos de computação, incluindo o Apache Flink, aprimorando sua utilidade e eficiência no gerenciamento de dados.

A Alibaba Cloud tem contribuído com sua tecnologia para impulsionar o desenvolvimento da comunidade de código aberto do Apache Flink, otimizando as camadas de SQL e Runtime do Flink, bem como integrando o Flink a outros projetos do ecossistema. Essas inovações melhoraram significativamente os mecanismos gerais do Flink para maior escalabilidade, confiabilidade, estabilidade e desempenho.

Sobre a Alibaba Cloud

Fundada em 2009, a Alibaba Cloud (www.alibabacloud.com) é a espinha dorsal de tecnologia digital e inteligência do Alibaba Group. Ela oferece um conjunto completo de serviços em nuvem para clientes em todo o mundo, incluindo computação elástica, banco de dados, armazenamento, serviços de virtualização de rede, computação em larga escala, segurança, análise de big data, aprendizado de máquina e serviços de inteligência artificial (IA). A Alibaba foi nomeada a principal provedora de IaaS na Ásia-Pacífico em receita em dólares americanos desde 2018, de acordo com o Gartner. Ela também manteve sua posição como uma das principais provedoras de serviços IaaS de nuvem pública do mundo desde 2018, de acordo com a IDC.