Realtime Compute for Apache Flink:9 janvier 2026

Améliorations SQL

Support du type Bitmap — Le nouveau type natif Bitmap et son ensemble initial de fonctions (construction de bitmap et statistiques de cardinalité) permettent une déduplication précise, efficace et en temps réel, par exemple pour le comptage des visiteurs uniques (UV).

Ingestion de données via YAML (Flink CDC)

• Référence des métadonnées — Référencez directement les tables source et sink enregistrées dans le catalogue au sein des scripts YAML Flink CDC, sans redéfinir les schémas de table en ligne.

• Logique de routage complexe — Configurez les noms de table dans Route à l'aide d'expressions régulières standard pour prendre en charge les scénarios de fusion de tables fragmentées.

• Gestion des données erronées — L'analyse du format JSON prend désormais en charge un mécanisme de gestion des données erronées, de sorte que les enregistrements mal formés ne provoquent plus l'échec des jobs.

• Extension automatique de la précision — StarRocks prend désormais partiellement en charge l'extension automatique de la précision pour le type Decimal, réduisant ainsi les ajustements manuels de schéma pour les données haute précision.

• Tolérance aux pannes pour les schémas vides — La source Kafka peut désormais créer des tables avec un schéma vide lorsque la source ne contient pas encore de données, évitant ainsi les échecs de démarrage de job dans les pipelines en phase initiale.

• Support de la source Paimon — Apache Paimon est désormais officiellement pris en charge comme source Flink CDC, permettant la capture des données modifiées directement depuis les tables Paimon.

Connecteurs

• MySQL — Trois améliorations dans cette version :

  • Limitation de débit : Une fonctionnalité de limitation de débit empêche une charge excessive sur la base de données source lors de l'ingestion à haut débit.

  • Extension des métadonnées : Les champs de métadonnées de journalisation binaire file et pos sont désormais pris en charge. Utilisez ces champs pour déterminer l'ordre de modification de la même ligne entre les événements.

  • Optimisation des performances : En mode snapshot-only, le connecteur n'exécute plus les commandes liées à la journalisation binaire, réduisant ainsi la surcharge lorsque la journalisation binaire n'est pas nécessaire.

• PolarDB-X CDC — Aperçu public. Deux améliorations :

  • Abonnez-vous aux flux de journalisation binaire avec plusieurs connexions simultanées pour augmenter considérablement le débit d'ingestion.

  • Abonnez-vous à la journalisation binaire au niveau de la table pour un contrôle CDC plus fin.

• OceanBase — Aperçu public. La nouvelle fonctionnalité d'écriture par importation contournée améliore considérablement les performances d'écriture pour les grands lots de données.

• MongoDB — La table sink prend désormais en charge la mise à jour partielle, de sorte que seuls les champs modifiés sont écrits plutôt que les documents complets.

• Elasticsearch — Deux améliorations :

  • Configurez explicitement le paramètre doc_as_upsert pour contrôler le comportement d'upsert.

  • Configurez un paramètre de délai de connexion pour gérer les environnements réseau instables.

• Apache Kafka — Les groupes de consommateurs redondants créés par le connecteur Kafka sont désormais automatiquement supprimés, réduisant l'encombrement de votre cluster Kafka.

Intégration data lakehouse (Iceberg)

Connecteur Iceberg — Des paramètres configurables liés à Hadoop vous offrent une plus grande flexibilité lors de la connexion à des environnements Hadoop complexes.