Alibaba Cloud partage les nouvelles fonctionnalités d'Apache Flink 2.0 lors de Flink Forward Asia

Le traitement des données renforcé qu'offre Flink 2.0 est essentiel à l'ère du GenAI

Jakarta, Indonésie, 6 décembre 2024 - Alibaba Cloud, la colonne vertébrale numérique et intelligente d'Alibaba Group, a mis en avant les fonctionnalités innovantes du futur Apache Flink 2.0 lors de Flink Forward Asia à Jakarta. Cet événement marquait la première conférence d'Asie du Sud-Est consacrée aux avancées d'Apache Flink, un framework open source conçu par l'Apache Software Foundation pour unifier le traitement de flux et le traitement par lots. En tant que contributeur de longue date, Alibaba Cloud a joué un rôle déterminant dans le développement de la communauté Apache Flink, en particulier en Asie.

Feng Wang, responsable de la plateforme de données ouvertes d'Alibaba Cloud Intelligence, a fait part de son enthousiasme lors de l'événement : « Avec la demande croissante en données, le besoin d'un traitement des données efficace, évolutif et unifié est plus crucial que jamais. La prochaine sortie de Flink 2.0 représente une avancée majeure depuis ses débuts en 2016, coïncidant avec le dixième anniversaire de l'accession de Flink au statut de projet phare de la fondation Apache. Nous sommes plus déterminés que jamais à soutenir la communauté Apache Flink, et nous étudierons prochainement l'intégration des capacités renforcées de Flink 2.0 dans nos offres cloud destinées aux clients du monde entier. »

Feng Wang, responsable de la plateforme de données ouvertes d'Alibaba Cloud Intelligence

Nouvelles fonctionnalités d'Apache Flink 2.0 pour une nouvelle ère du calcul

Prévu pour début 2025, Apache Flink 2.0 marque une évolution significative des technologies de traitement des données, soulignant un progrès majeur vers une architecture unifiée de traitement par lots et de flux. Cette évolution simplifie le calcul à l'ère du cloud natif et pose les bases de la prise en charge des charges de travail hybrides essentielles à l'ère du GenAI, où des capacités sophistiquées de traitement des données sont cruciales pour les nouvelles applications d'IA.

Les principales contributions d'Alibaba Cloud à Apache Flink 2.0 incluent :

•Stockage et gestion d'état dissociés : pour accompagner l'avenir cloud natif de Flink, Alibaba Cloud introduit le stockage et la gestion d'état dissociés, une fonctionnalité qui utilise le stockage distant comme stockage principal dans Flink 2.0. Cette nouvelle architecture permet aux utilisateurs de traiter des jeux de données massifs sans se soucier des contraintes de disque local, de redimensionner les jobs plus rapidement et plus efficacement, de réduire les pics de ressources et de réaliser des checkpoints légers et rapides de manière native.

•Table matérialisée : cette fonctionnalité est conçue pour simplifier davantage le traitement des données par lots et en flux tout en offrant une expérience de développement unifiée. Dans la prochaine version de Flink 2.0, Alibaba Cloud renforce la prise en charge opérationnelle des tables matérialisées, avec notamment l'intégration de connecteurs aux formats de lac de données de pointe et des ordonnanceurs prêts pour la production.

•Exécution par lots adaptative : en optimisant dynamiquement les plans logiques et physiques à partir des observations d'exécution, Flink 2.0 améliore l'efficacité et les performances du traitement par lots et des charges de traitement analytique en ligne (OLAP).

•Architecture Streaming Lakehouse : cette architecture, dotée d'un traitement unifié des flux et des lots, permet de mieux prendre en charge l'analytique de données en temps réel en tirant parti du stockage de données unifié, du format ouvert et de la rentabilité du paradigme Lakehouse. Les utilisateurs peuvent ainsi mieux gérer les mises à jour dynamiques des données et les requêtes présentant différents niveaux de fraîcheur, pour répondre à un large éventail de besoins analytiques.

Succès client avec Apache Flink

Mekari, la principale société indonésienne de software-as-a-service (SaaS), s'est appuyée sur les robustes capacités de traitement de flux de Flink 1.0 pour surmonter les défis du traitement et de l'intégration de données en temps réel. Elle a ainsi pu capturer en temps réel des données provenant de diverses sources et les intégrer sans rupture dans MaxCompute, la plateforme de traitement de données à grande échelle d'Alibaba. Cette intégration a non seulement réduit les temps de traitement, mais a également amélioré la rapidité et la qualité de la prise de décision grâce à une ingestion fiable des données en flux. Elle a ainsi renforcé l'efficacité opérationnelle et fourni aux parties prenantes des informations précises et opportunes.

Wang a ajouté : « Apache Flink 2.0 dévoile l'avenir du traitement des données et son impact potentiel sur l'industrie cloud+IA. En modernisant ses composants, en intégrant davantage d'innovations liées à l'IA et en améliorant les intégrations avec d'autres projets Apache, Apache Flink a établi une nouvelle référence pour l'industrie. Nous nous réjouissons de renforcer notre engagement auprès de la communauté Apache Flink afin de tirer pleinement parti des capacités de cette technologie révolutionnaire. »

Lors de l'événement, Alibaba Cloud a également annoncé avoir rendu open source Fluss (stockage en flux unifié de Flink) sur GitHub, une solution de stockage en flux adaptée à l'analytique en temps réel, qui sert de couche de données en temps réel dans l'architecture Lakehouse. Fluss comble efficacement le fossé entre le streaming de données et le Lakehouse, facilitant l'ingestion et le traitement de données à faible latence et à haut débit. Il s'intègre sans rupture aux principaux moteurs de calcul, notamment Apache Flink, renforçant ainsi son utilité et son efficacité dans la gestion des données.

Alibaba Cloud contribue par ses technologies au développement de la communauté open source Apache Flink, en optimisant les couches SQL et Runtime de Flink, ainsi qu'en intégrant Flink à d'autres projets de l'écosystème. Ces innovations ont grandement amélioré les mécanismes globaux de Flink, renforçant son évolutivité, sa fiabilité, sa stabilité et ses performances.

À propos d'Alibaba Cloud

Fondé en 2009, Alibaba Cloud (www.alibabacloud.com) est la colonne vertébrale numérique et intelligente d'Alibaba Group. Il propose une gamme complète de services cloud à ses clients du monde entier. Celle-ci comprend notamment le calcul élastique, les bases de données, le stockage, les services de virtualisation réseau, le calcul à grande échelle, la sécurité, l'analyse de big data, le machine learning et des services d'intelligence artificielle (IA). Selon Gartner, Alibaba est reconnu depuis 2018 comme le premier fournisseur d'IaaS en Asie-Pacifique en termes de revenus en dollars américains. Selon IDC, il maintient également depuis 2018 sa position parmi les principaux fournisseurs mondiaux de services IaaS de cloud public.