Realtime Compute for Apache Flink:Version du 8 août 2025

Flink SQL : 13 nouvelles fonctions intégrées

VVR 11.2 ajoute 13 fonctions scalaires intégrées, réduisant ainsi le besoin de développer des UDF personnalisées.

Traitement des chaînes : PRINTF, TRANSLATE, ELT, BTRIM, STARTSWITH, ENDSWITH

Traitement JSON : JSON_QUOTE, JSON_UNQUOTE

Expressions régulières : REGEXP_SUBSTR, REGEXP_INSTR, REGEXP_COUNT, REGEXP_EXTRACT_ALL

Arithmétique : UNHEX

Pour la référence complète des fonctions, consultez Fonctions prises en charge.

Flink SQL : type Variant

Flink SQL prend désormais en charge le type de données Variant. Utilisez-le lorsque les schémas de colonnes sont semi-structurés ou évoluent au fil du temps, par exemple lors de l'ingestion de JSON provenant de sources hétérogènes. Le type Variant offre un conteneur flexible sans imposer de schéma rigide dès le départ.

Pour les règles de conversion de type, consultez Conversion de type de données.

Table API : dialecte Hive SQL

Les jobs Table API peuvent désormais utiliser le dialecte Hive SQL. Si votre équipe maîtrise déjà la syntaxe HiveQL, vous pouvez rédiger des jobs Table API sans avoir à apprendre les variantes SQL spécifiques à Flink.

Consultez Prise en main d'un déploiement Hive SQL.

Fonction IA : comportement de débordement configurable

Lorsqu'un message dépasse la fenêtre de contexte du modèle IA, choisissez comment le traiter : Ignorer le message ou le Tronquer pour qu'il tienne dans la limite. Cette option remplace le comportement fixe précédent et vous permet d'ajuster le compromis entre l'exhaustivité des données et la stabilité du job.

Configurez la stratégie dans la DDL du modèle. Consultez DDL de modèle.

MySQL CDC : optimisation des champs VARCHAR

Le connecteur MySQL CDC gère désormais les champs VARCHAR de manière plus efficace, améliorant à la fois le débit de synchronisation et la stabilité pour les schémas riches en VARCHAR.

Consultez MySQL.

Flink CDC : format Canal-JSON et extraction d'horodatage

Les jobs CDC peuvent désormais consommer des données au format Canal-JSON depuis Apache Kafka. Le connecteur extrait à la fois les horodatages d'événement (ts) et les séquences d'événement (es), permettant un ordonnancement précis et une déduplication dans les pipelines en aval.

Consultez MySQL et Synchroniser les données de journal binaire MySQL vers Kafka.

AnalyticDB for MySQL : prise en charge de INSERT IGNORE

Le connecteur AnalyticDB for MySQL prend désormais en charge la syntaxe INSERT IGNORE. Les enregistrements en double lors des opérations d'écriture ne provoquent plus l'échec du job : le connecteur ignore les lignes conflictuelles et poursuit le traitement.

Consultez Connecteur AnalyticDB for MySQL V3.0.

Paimon et OSS : autorisation basée sur RAM

Le connecteur Paimon et le connecteur Object Storage Service (OSS) prennent désormais en charge l'autorisation via les rôles Resource Access Management (RAM), remplaçant les paires AccessKey. Les rôles RAM offrent un contrôle des autorisations plus granulaire et éliminent le besoin d'intégrer des identifiants de longue durée dans les configurations des connecteurs.

Consultez Gérer les catalogues Paimon.

Tair (compatible Redis OSS) : jointures de recherche asynchrones

Le connecteur Tair prend désormais en charge les jointures de recherche asynchrones. Les demandes de jointure de recherche ne bloquent plus le pipeline de traitement, ce qui améliore l'efficacité de l'accès au cache et le débit global du job.

Consultez ApsaraDB for Tair (édition open source Redis).

MongoDB CDC : analyse concurrente des journaux d'opérations

Le connecteur MongoDB CDC analyse désormais les journaux d'opérations (oplogs) de manière concurrente plutôt que séquentielle. Cela améliore la stabilité et la fiabilité de la synchronisation pour les flux de changements MongoDB.

Consultez MongoDB.

Ingestion Kafka-Paimon : évolution automatique du schéma

Lors de l'ingestion de données depuis Apache Kafka vers Paimon, les modifications de schéma dans la rubrique Kafka sont désormais automatiquement propagées à la table Paimon. Cela élimine les étapes manuelles de migration de schéma lors de l'ingestion dans le lac de données.

Consultez Implémenter l'ingestion de données en temps réel dans un lac de données.

PyFlink : utilisation directe des connecteurs intégrés

Les jobs PyFlink peuvent désormais utiliser directement les connecteurs intégrés, sans gérer manuellement les dépendances JAR des connecteurs. Cela simplifie la configuration de développement pour les jobs Flink basés sur Python.

Consultez Utiliser les dépendances Python.

Exécuter plusieurs instructions DDL/DML dans un seul job par lot

Un seul job par lot peut désormais exécuter plusieurs instructions DDL et DML de manière séquentielle : créez des tables, effectuez des calculs et supprimez des tables, le tout dans une seule soumission de job. Cela supprime le besoin d'enchaîner des jobs distincts pour les workflows par lots en plusieurs étapes.

Actualiser les partitions historiques selon un planning

Les tables matérialisées prennent désormais en charge l'actualisation planifiée des partitions historiques. Utilisez cette fonctionnalité pour réintégrer les données arrivant en retard dans les partitions passées, maintenant ainsi la cohérence à terme sans intervention manuelle.

Libération automatique des clusters de session inactifs

Les nouveaux clusters de session qui restent inactifs pendant plus de 30 minutes sont automatiquement libérés. Cela empêche les clusters inactifs de consommer des ressources et réduit l'utilisation inutile d'unités de calcul (CU).

Périodes d'exclusion pour le réglage automatique

Définissez des périodes d'exclusion pour empêcher la mise à l'échelle automatique des ressources pendant les heures critiques pour l'activité. La plateforme continue de générer des recommandations de réglage pendant ces périodes, mais ne les applique pas, vous donnant ainsi un contrôle total sur le moment où la mise à l'échelle se produit.

Intégration Git étendue

L'intégration Git prend désormais en charge des outils supplémentaires, notamment Alibaba Cloud DevOps. Extrayez directement les structures de répertoires depuis les dépôts connectés. Les messages d'erreur lors des opérations Git incluent désormais des conseils de dépannage actionnables.

Contrôle d'accès granulaire pour les requêtes de données

Les opérations de requête de données prennent désormais en charge un contrôle d'accès plus fin, permettant de définir des limites d'autorisation plus précises pour les équipes partageant un espace de travail.

Nouvelles API

Auparavant, les API Resource et DeploymentTarget ne pouvaient pas gérer les espaces de travail à facturation hybride. Cette version ajoute deux nouvelles API pour répondre à ce besoin :

L'objet Resource intègre également de nouveaux champs pour configurer les espaces de travail à facturation hybride.

API dépréciées

Corrections de bugs

Connecteurs

SQL et transformation de données

• Correction de l'analyse syntaxique LIKE dans Paimon.

• Correction de la gestion des dates et des erreurs REGEXP_REPLACE dans les scripts YAML.

• Résolution de l'exception NullPointerException lors de l'accès au registre de schémas.

Stabilité et performances

• Correction des incohérences de métadonnées pouvant survenir après un basculement de job.

• Correction du nettoyage des ressources lors de sorties de job inattendues.

• Optimisation du mécanisme de nouvelle tentative des connecteurs pour une meilleure résilience des jobs.