Realtime Compute for Apache Flink:Version du 27-07-2026

Prise en charge des fonctions IA multimodales : La fonction SQL AI prend désormais en charge les scénarios de traitement des données multimodales, tels que l'audio et la vidéo. Les capacités et la couverture des tests de bout en bout ont été améliorées pour les opérateurs traitant les images, les vidéos et l'audio.

Exemption d'enregistrement des modèles intégrés : Lorsque vous utilisez les modèles intégrés fournis par le compte maître de la plateforme, l'enregistrement du modèle n'est plus nécessaire, ce qui simplifie l'invocation des modèles.

Gouvernance de l'utilisation des tokens : La fonction SQL AI et PyFlink prennent en charge le paramètre max-total-tokens pour limiter le nombre total de tokens consommés lors d'une exécution unique d'un job, aidant ainsi à maîtriser les coûts d'invocation des modèles.

Prise en charge du cache externe : La fonction AI permet d'utiliser un stockage externe comme cache, améliorant l'efficacité du traitement pour les requêtes d'inférence répétitives.

Améliorations de l'API DataFrame : L'API DataFrame (étape 3) est enrichie pour prendre en charge les sources de données multimodales, l'invocation de grands modèles et les opérateurs multimodaux. De nouvelles fonctionnalités, telles que l'accesseur de type namespace et read_video_frames, améliorent l'expérience de traitement des données vidéo.

Intégration des agents Flink : Les agents Flink peuvent désormais être invoqués en tant que fonctions table (TVF) dans les jobs SQL, avec une adaptation à la version 0.3 des agents Flink.

Recherche vectorielle DLF Paimon : Les fonctions vector_search et vector_search_agg prennent en charge la recherche dans les tables vectorielles DLF Paimon, renforçant l'intégration entre les données de lac de données (lakehouse) et les scénarios de recherche vectorielle.

Gestion des délais d'expiration pour Lookup Join : Le Lookup Join basé sur AsyncLookupFunction et AsyncTableFunction permet de définir une logique personnalisée de gestion des délais d'expiration (timeout), offrant un meilleur contrôle sur les scénarios de requêtes asynchrones.

Les améliorations et corrections de bugs issues d'Apache Flink 1.20.4 sont intégrées afin d'améliorer continuellement l'exactitude, la stabilité et l'expérience de développement des jobs.

Métadonnées et DDL Canal JSON : Les métadonnées telles que mysqlType et sqlType sont conservées, et la synchronisation des modifications DDL est prise en charge, améliorant ainsi la compatibilité avec le protocole Canal.

Émission des champs modifiés uniquement : La sortie Kafka Canal JSON permet de ne conserver que les champs ayant subi des modifications, réduisant ainsi la charge de traitement en aval.

Formats personnalisés et optimisation de l'inférence de type : Le connecteur Kafka prend en charge les formats personnalisés. Pour les données Canal JSON, Debezium JSON et JSON, l'inférence de type évite de tenter automatiquement la conversion des chaînes en types temporels.

Validation de la configuration d'idempotence Kafka : Pour certains scénarios Kafka cloud spécifiques, les jobs détectent les paramètres d'idempotence incompatibles et affichent des messages clairs, réduisant ainsi les erreurs de configuration.

Validation des paramètres MySQL CDC : La validation des paramètres Debezium est standardisée pour améliorer la visibilité des problèmes de configuration.

Contrôle de la propagation Binlog en aval : La propagation des binlogs MySQL vers les opérateurs en aval peut désormais être contrôlée à la demande via la configuration.

Limitation du débit de la source : La source MySQL prend en charge la limitation du débit basée sur des métriques telles que numRecordsInOfSourcePerSecond, aidant à contrôler la pression de traitement en aval.

SQL Server CDC : L'ingestion de données prend désormais en charge la source SQL Server avec la colonne de métadonnées op_type pour identifier les types d'opérations de modification.

Améliorations du Sink StarRocks : Prise en charge du paramètre sink.ignore-update-before.

Paimon ignore le commit sur les tables vides : Lorsqu'aucune donnée n'est écrite dans une table, son commit peut être ignoré pour réduire les frais de commit inutiles.

Catalogue DLS Paimon : Le catalogue Filesystem prend désormais en charge DLS, étendant les scénarios de déploiement et d'accès aux lacs de données.

Stratégie de distribution Source-to-Sink : La distribution des données de la source au sink peut être configurée selon un mode stratégique, améliorant la configurabilité pour les topologies complexes.

Autopilot pour les jobs YAML : Les jobs YAML prennent en charge les mises à jour du parallélisme via Autopilot, améliorant l'ajustement élastique.

Compatibilité des changements de schéma : La compatibilité de divers Sinks avec les changements de schéma a été revue et améliorée, facilitant la conception des jobs et l'évaluation des modifications.

Framework d'intégration KMS : Les capacités d'intégration KMS sont ajoutées ou améliorées côté connecteur, facilitant la gestion centralisée des identifiants pour les bases de données et autres systèmes externes. Le connecteur PostgreSQL CDC prend en charge l'intégration KMS.

Connecteurs sans identifiants : L'accès sans identifiants au niveau du framework est amélioré, avec la prise en charge de scénarios tels que l'accès sans identifiants via le connecteur Fluss.

OSS AssumeRole : OSS permet d'utiliser un rôle personnalisé via AssumeRole au lieu d'AccessKey/SecretKey, améliorant la sécurité et la flexibilité de l'accès au cloud.

Prise en charge des certificats SSL/TLS : Les connecteurs permettent de configurer des chemins d'accès personnalisés aux fichiers de certificat SSL/TLS via des paramètres. Pour les scénarios où les paramètres de certificat indépendants ne sont pas pris en charge, des certificats fusionnés peuvent être utilisés.

Écriture par lots du Sink MySQL : Le connecteur MySQL prend en charge les insertions par lots lors de l'écriture dans des tables sans clé primaire, améliorant ainsi le débit d'écriture.

Gestion des suppressions MySQL : Le Sink MySQL prend en charge un mode qui ignore les événements DELETE, répondant à des stratégies de synchronisation spécifiques.

Optimisation du Sink Hologres : Lorsque ignore-null est utilisé via des expressions, la déduplication côté client est prise en charge, améliorant les performances du pipeline d'écriture et la cohérence des résultats.

Optimisation du pool de connexions Redis : L'implémentation du pool de connexions du connecteur Redis est optimisée, améliorant la stabilité dans les scénarios de connexions à haute concurrence.

Paramètres du client OSS Iceberg : Le connecteur Iceberg permet d'ajuster les paramètres du client OSS, offrant une plus grande configurabilité pour l'accès au stockage objet.