Notes de version des fonctionnalités Flink (4 juin 2025) - Realtime Compute for Apache Flink

Cette page de notes de version présente les principales modifications de fonctionnalités et les corrections de bugs apportées à Realtime Compute for Apache Flink, publiées le 4 juin 2025.

Important

Le déploiement de la mise à niveau s'effectue progressivement. Consultez la dernière annonce dans la console Realtime Compute for Apache Flink. Les nouvelles fonctionnalités de cette version ne seront disponibles qu'une fois la mise à niveau terminée pour votre compte. Pour demander une accélération de la mise à niveau, soumettez un ticket.

Si vous effectuez une mise à niveau, consultez la section Avant la mise à niveau pour prendre connaissance des changements incompatibles susceptibles d'affecter vos jobs.

Présentation

Cette version inclut des mises à jour de la plateforme, une nouvelle version du moteur, des améliorations des connecteurs ainsi que des gains en matière de performances et de sécurité.

Mises à jour de la plateforme

Les mises à jour de la plateforme se concentrent sur l'expérience développeur et l'efficacité opérationnelle. Points forts :

Intégration Git : Synchronisation bidirectionnelle du code SQL et des configurations de job avec les dépôts distants GitHub, GitLab et Gitee, avec résolution intégrée des conflits.
Intégration Simple Log Service (SLS) : Persistance des journaux de démarrage des jobs, des événements d'exécution et des données d'utilisation des ressources dans SLS pour permettre des requêtes historiques et des audits.
Configuration des journaux de job : Configuration de la sortie des journaux via une interface visuelle, réduisant ainsi les risques de mauvaise configuration.
Notifications d'alerte CloudMonitor : Affichage des noms des jobs dans les notifications d'alerte, permettant d'identifier plus rapidement le job concerné.

Mises à jour du moteur

Ververica Runtime (VVR) 11,1 est désormais disponible en disponibilité générale. Basé sur Apache Flink 1.20.1, VVR 11,1 intègre les nouvelles fonctionnalités, améliorations et corrections suivantes.

Avant la mise à niveau

Avant de procéder à la mise à niveau, consultez les rubriques Mettre à niveau la version du moteur d'un déploiement et Stratégie de numérotation des versions VVR.

Changements incompatibles

SDK Java — JDK 11 requis : JDK 11 est désormais l'environnement d'exécution standard et le support de JDK 8 a pris fin. Si vos jobs JAR ont été compilés avec JDK 8, recompilez-les et réempaquetez-les avec JDK 11 avant la mise à niveau. Les jobs SQL ne sont pas concernés.
Connecteur Hologres — changements architecturaux : Le connecteur Hologres a fait l'objet d'optimisations architecturales. Certaines options du connecteur ont été modifiées ou supprimées. Avant de mettre à niveau les jobs utilisant le connecteur Hologres, consultez la liste actualisée des options (Options du connecteur (VVR 11 ou ultérieur)).

Nouvelles fonctionnalités

Vectorisation et inférence en temps réel alimentées par les grands modèles de langage (LLM) L'intégration introduit des instructions DDL (Data Definition Language) pour les modèles et la fonction ML_PREDICT destinée à l'inférence IA dans le calcul en temps réel. Consultez la syntaxe DDL des modèles, la référence de la fonction ML_PREDICT et le guide d'intégration avec Alibaba Cloud Model Studio.
- Construction de vecteurs : Intégration avec Alibaba Cloud Model Studio pour vectoriser les données de streaming en temps réel, prenant en charge le calcul de caractéristiques en temps réel pour les systèmes de recommandation et la recherche intelligente.
- Inférence textuelle : Génération de résumés, de traductions et d'autres contenus à l'aide de modèles préentraînés. Prend en charge le traitement intelligent du texte pour divers cas d'usage métier.

Améliorations des capacités

Remplissage planifié pour les tables matérialisées : Les tables matérialisées prennent désormais en charge la création de workflows pour une planification périodique et le remplissage des données historiques.
Jointures de consultation en temps réel avec les tables de dimension StarRocks : Permet des scénarios analytiques complexes en temps réel en utilisant StarRocks comme source de table de dimension.
Évolution de schéma SLS CDC et SLS-vers-Paimon : YAML Change Data Capture (CDC) prend désormais en charge les sources de données SLS et l'évolution automatique du schéma de SLS vers Paimon, simplifiant la gestion des métadonnées dans les scénarios de lac de données (data lakehouse).
Mise à niveau de Flink CDC vers la version 3.4 : Ajoute le support des fonctionnalités principales de Flink CDC 3.4 avec une capture de données améliorée.
Ingestion de données SLS via YAML : Prend en charge l'ingestion de données depuis SLS et l'évolution des schémas vers Paimon.
Ingestion de données MaxCompute via YAML : Prend en charge l'ingestion jusqu'à un téraoctet de données dans MaxCompute.
Conservation des alias de champs UNION ALL : Flink SQL conserve désormais les alias de champs dans les résultats de débogage de brouillon lorsque la requête contient UNION ALL.

Améliorations des performances

Connecteur PostgreSQL CDC — lectures d'instantané plus rapides : Un mécanisme optimisé de segmentation des données avec segmentation asynchrone et lecture parallèle améliore considérablement les performances de lecture des instantanés.
Connecteur Tair (compatible Redis OSS) — contrôle du cache basé sur le temps : La nouvelle option cacheReloadTimeBlackList vous permet de désactiver la mise en cache pendant des plages horaires spécifiques chaque jour, aidant ainsi à prévenir la contention des ressources durant les heures de pointe.

Renforcements de la sécurité

Connecteur Tair (compatible Redis OSS) — support TLS/SSL : Le connecteur prend désormais en charge les connexions TLS/SSL via l'option cacert.filepath. Cette fonctionnalité est particulièrement utile pour les secteurs sensibles à la sécurité, tels que la finance et le gouvernement.
Mise à niveau d'Apache Parquet vers la version 1.15.1 : Corrige une vulnérabilité d'exécution de code à distance (RCE) causée par la désérialisation des données au format Parquet.
Rapport d'identité MaxCompute : Le service rapporte désormais applicationName au serveur MaxCompute, permettant un suivi précis de l'utilisation des ressources par les jobs Flink et améliorant l'auditabilité de l'accès aux ressources inter-systèmes.

Optimisation de l'expérience utilisateur

Suivi du volume d'entrée/sortie : Les opérateurs source et sink rapportent désormais les volumes d'entrée et de sortie, facilitant la vérification de l'intégrité des données et l'identification des goulots d'étranglement de performance.

Fonctionnalités

Fonctionnalité	Description	Références
Intégration avec les dépôts Git	Synchronisation bidirectionnelle du code SQL et des configurations de job avec GitHub, GitLab et Gitee, avec résolution intégrée des conflits.	Intégration avec Git (aperçu public)
Distribution des messages vers SLS	Persistance des journaux de démarrage des jobs, des événements d'exécution et des données d'utilisation des ressources dans Simple Log Service (SLS) pour les requêtes historiques et l'audit.	Distribution des messages
Configuration des journaux de job	Configurez l'exportation des journaux vers SLS, OSS ou Kafka via la console grâce à une interface visuelle.	Configurer l'exportation des journaux de job
Ingestion de données dans MaxCompute via YAML	Utilisez le connecteur MaxCompute comme sink dans les jobs d'ingestion de données basés sur YAML, prenant en charge jusqu'à un téraoctet de données.	MaxCompute
Optimisation de l'ingestion de données	L'option `converter-after-transform` prend désormais en charge le type de convertisseur `FIELD_NAME_LOWER_CASE`, convertissant automatiquement les noms de champs en majuscules des tables source en minuscules lors de la phase de nettoyage.	Flink CDC
Optimisation du connecteur Elasticsearch	Les valeurs nulles peuvent désormais être ignorées lors de la mise à jour des tables Elasticsearch, améliorant la robustesse des écritures de données.	Elasticsearch
Optimisation du connecteur Hologres	Des optimisations architecturales ont modifié ou supprimé certaines options du connecteur. Consultez la référence spécifique à la version avant de mettre à niveau les jobs utilisant le connecteur Hologres.	Hologres : Entrepôt de données en temps réel Configuration des paramètres (VVR 11+) Options du connecteur Hologres (VVR 8 ou antérieur)
Optimisation du connecteur MongoDB	La nouvelle option `ignore.delete-events.enabled` filtre les événements `delete` de MongoDB lors de la capture des données modifiées, réduisant la charge de synchronisation.	MongoDB
Optimisation du connecteur MySQL	La valeur par défaut de l'option `property-version` est changée en `1`.	Gérer le catalogue MySQL
Optimisation du connecteur Kafka	La nouvelle option `canal-json.infer-schema.strategy` configure les politiques d'analyse de schéma pour les données Canal JSON — basées sur les données JSON ou les champs `sqlType`. La nouvelle option `json.decode.parser-table-id.fields` génère les champs du schéma de table en analysant les données JSON. La nouvelle option spécifique au sink `debezium-json.include-schema.enabled` vérifie si les messages Debezium JSON contiennent des informations de schéma.	Kafka
Optimisation du connecteur ApsaraMQ for RocketMQ	Les nouvelles options `deliveryTimestampMode` et associées permettent la distribution planifiée de messages avec des règles de déclenchement flexibles, offrant un contrôle granulaire pour les charges de travail de séries temporelles.	ApsaraMQ for RocketMQ
Optimisation du connecteur Tair (compatible Redis OSS)	Prend en charge la lecture d'un hashmap avec plusieurs valeurs par clé lorsque `cache` est défini sur `ALL`. La nouvelle option `cacert.filepath` active le chiffrement TLS/SSL pour les liaisons de données. La nouvelle option `cacheReloadTimeBlackList` désactive la mise en cache pendant des plages horaires spécifiées chaque jour.	Tair (compatible Redis OSS)
Optimisation du connecteur StarRocks	Prend en charge les conversions de types de colonnes compatibles. Prend en charge les jointures de consultation en temps réel avec les tables de dimension StarRocks pour des scénarios analytiques complexes.	StarRocks Connecteurs pris en charge
Optimisation du connecteur Paimon	Prend en charge l'écriture et la consommation de données `VARIANT` via les fonctions intégrées PARSE_JSON et TRY_PARSE_JSON, améliorant les performances des requêtes et du traitement des données JSON.	Écrire et consommer des données dans les tables Paimon
Optimisation du connecteur AnalyticDB for PostgreSQL	L'option `writeMode` prend désormais en charge le mode `COPY`.	AnalyticDB for PostgreSQL
Optimisation des tables matérialisées	Les requêtes SQL et les options de connecteur pour les tables matérialisées peuvent désormais être modifiées après leur création. Des workflows peuvent désormais être créés pour les tables matérialisées afin d'activer la planification périodique et le remplissage des données.	Créer et utiliser des tables matérialisées Gérer les workflows
Support de l'authentification Kerberos Hive par Flink SQL	Accédez aux données Hive dans un cluster sécurisé par Kerberos via SQL, avec vérification bidirectionnelle de l'identité et transmission chiffrée.	Enregistrer un cluster Hive sécurisé par Kerberos Job Flink SQL
Mise à niveau de l'image Docker PyFlink	L'image Docker de base pour PyFlink est mise à niveau pour améliorer la compatibilité avec différentes versions de Python et de glibc.
Optimisation des fonctions de fenêtre	SESSION WINDOW suit désormais le comportement d'Apache Flink 1.20, supprimant le couplage avec les instructions d'agrégation qui était requis dans VVR 8.x. Effectuez la mise à niveau vers la dernière version pour utiliser la SESSION WINDOW améliorée.	Agrégation par fenêtre
Connecteur SelectDB — désormais intégré	Le connecteur SelectDB a quitté la phase d'aperçu public et est désormais un connecteur intégré dans Realtime Compute for Apache Flink.	SelectDB
Optimisation des jobs Table API	Les fonctions intégrées peuvent désormais être appelées dans les requêtes Table API.	Fonctions prises en charge
Vectorisation et inférence en temps réel alimentées par LLM	Introduit des instructions DDL de modèle pour définir des modèles IA dans Flink SQL. Ajoute la fonction `ML_PREDICT` pour l'inférence de modèles IA dans le calcul en temps réel. Intégration avec Alibaba Cloud Model Studio.	DDL de modèle Invocation générale Intégration avec Alibaba Cloud Model Studio

Corrections de bugs majeures

Connecteurs

Connecteur SLS — valeurs nulles sur les caractères d'échappement : Correction des valeurs nulles renvoyées lors de la consommation de caractères d'échappement avec la nouvelle architecture.
Connecteur ApsaraMQ for RocketMQ — perte de messages dans les topics différés : Correction de la perte de messages dans les topics différés.
Connecteur Tair (compatible Redis OSS) — conflits d'écriture concurrente : Correction des conflits d'écriture concurrente lors de l'écriture simultanée dans deux bases de données Tair.
Connecteur Hologres — NullPointerException sur les jointures de consultation : Correction des erreurs NullPointerException lors des jointures de consultation avec une table de dimension Hologres.
Connecteur Paimon — IllegalStateException sur les écritures de clé primaire : Correction des erreurs IllegalStateException lors de l'écriture dans une table Paimon avec une clé primaire.
Connecteur Lindorm — les jointures de consultation ne renvoient qu'une seule ligne : Correction du problème où les jointures de consultation avec une table de dimension Lindorm ne renvoyaient qu'une seule ligne correspondante.

SQL et transformation

Transformation YAML — le parser Calcite rejette les opérateurs de comparaison de chaînes : Correction des erreurs de compilation causées par la non-reconnaissance des opérateurs de comparaison de chaînes par le parser Calcite.
CTAS — conflits de consolidation de schéma : Correction des conflits de consolidation de schéma lors des opérations CREATE TABLE AS SELECT.
Catalogue Hive — accès refusé pour les tables non-Hive : Correction du refus d'accès pour les tables non-Hive dans un catalogue Hive.

Stabilité et performances

Sinks Paimon — temps de fermeture lents : Correction des temps de fermeture excessifs pour les opérateurs de sink Paimon.
Exceptions de filtrage de table : Correction des exceptions de filtrage de table. Comme solution de contournement pour les versions VVR antérieures, utilisez l'option debezium.table.exclude.list.
MiniBatch — incohérence des données : Correction de l'incohérence des données causée par le traitement MiniBatch.
API Table PyFlink — incompatibilités des fonctions intégrées : Correction des incompatibilités entre l'API Table PyFlink et les fonctions intégrées de Realtime Compute for Apache Flink.