Ververica Runtime (VVR) 4.0.13, basé sur Apache Flink V1.13, a été publié le 16 mai 2022. Cette version étend les fonctionnalités des connecteurs (catalogues Kafka, synchronisation complète et incrémentielle Hologres, tunnel de streaming MaxCompute), améliore la synchronisation multi-tables pour les bases de données partitionnées et optimise l'expérience des développeurs dans la console.
Nouvelles fonctionnalités
Résumé
| Fonctionnalité | Catégorie |
|---|---|
| Prise en charge des catalogues Kafka | Nouveau connecteur |
| Synchronisation multi-tables depuis des bases de données partitionnées via CREATE DATABASE AS | Amélioration SQL |
| Connecteur Hologres : consommation de données complètes et incrémentielles | Amélioration du connecteur |
| Table de résultat ApsaraDB for Redis : TTL pour les clés | Amélioration du connecteur |
| Tunnel de streaming MaxCompute et compression des données | Amélioration du connecteur |
| Connecteur DataStream Hologres | Nouveau connecteur |
Connecteur Elasticsearch : paramètre retry_on_conflict |
Amélioration du connecteur |
| Compatibilité Flink CDC 2.2 pour les connecteurs MySQL CDC et Postgres CDC | Amélioration du connecteur |
| Événements de heartbeat pour le suivi de la position du journal binaire | Amélioration du connecteur |
| Types de données UNSIGNED FLOAT, DOUBLE et DECIMAL pour le connecteur MySQL CDC | Amélioration du connecteur |
| Paramètres JDBC pour le connecteur MySQL CDC | Amélioration du connecteur |
| Arrêt forcé des clusters de session | Console |
| Analyse intelligente des exceptions JobManager | Console |
| Documentation Alibaba Cloud intégrée | Console |
| Avis de service | Console |
| Optimisation de l'interface utilisateur | Console |
Prise en charge des catalogues Kafka
Les catalogues Kafka analysent automatiquement les messages Kafka pour déduire le schéma de table, ce qui vous permet d'accéder directement aux topics d'un cluster Kafka dans Flink SQL sans écrire d'instructions DDL. L'inférence de schéma prend en charge les messages au format JSON.
Ce que cela signifie pour vous : Cela élimine le besoin de définir manuellement des tables source ou de résultat pour les topics Kafka, réduisant ainsi le code répétitif et le risque d'incohérences de schéma.
Référence : Gérer les catalogues Kafka JSON
Synchronisation multi-tables depuis des bases de données partitionnées via CREATE DATABASE AS
L'instruction CREATE DATABASE AS prend désormais en charge les expressions régulières pour les noms de base de données, permettant de faire correspondre les tables sources sur plusieurs partitions de base de données. Après fusion des données des partitions, Realtime Compute for Apache Flink les synchronise vers une table de destination dont le nom correspond à chaque table source, éliminant ainsi la nécessité de configurer manuellement chaque table.
Ce que cela signifie pour vous : Cela réduit considérablement les efforts de configuration lors de la synchronisation des données provenant de grandes bases de données partitionnées vers une destination unique telle que Hologres.
Référence : Instruction CREATE DATABASE AS
Connecteur Hologres : consommation de données complètes et incrémentielles
Le connecteur Hologres prend désormais en charge un mode de synchronisation combiné (complète puis incrémentielle) au sein d'une seule tâche. La tâche effectue d'abord un instantané complet des données depuis une table source Hologres, puis bascule en douceur vers la consommation du journal binaire incrémentiel.
Ce que cela signifie pour vous : Cela simplifie la création de pipelines d'entreposage de données en temps réel. Auparavant, la synchronisation complète et incrémentielle nécessitait des tâches distinctes ou une passation manuelle.
Référence : Créer une table source Hologres
Table de résultat ApsaraDB for Redis : TTL pour les clés
Lors de l'écriture dans une table de résultat ApsaraDB for Redis, configurez une durée de vie (TTL) pour les clés directement dans les paramètres du connecteur. Cela garantit que les données expirent automatiquement selon votre politique de rétention.
Référence : Créer une table de résultat ApsaraDB for Redis
Tunnel de streaming MaxCompute et compression des données
Deux améliorations sont disponibles pour les connecteurs MaxCompute :
Tunnel de streaming : Écriture des données dans MaxCompute en mode streaming. Pour les tâches ne nécessitant pas de sémantique exactly-once, le tunnel de streaming évite les problèmes de performance liés à la création lente de checkpoints.
Compression des données : Le tunnel de streaming et le tunnel par lots prennent désormais en charge la compression des données pour améliorer l'efficacité de la transmission.
Références :
Connecteur DataStream Hologres
Le connecteur DataStream Hologres est désormais pris en charge.
Connecteur Elasticsearch : paramètre retry_on_conflict
Configurez le paramètre retry_on_conflict pour spécifier le nombre maximal de tentatives en cas de conflits de version lors des mises à jour de données dans une table de résultat Elasticsearch.
Référence : Créer une table de résultat Elasticsearch
Compatibilité Flink CDC 2.2 pour les connecteurs MySQL CDC et Postgres CDC
Le connecteur Change Data Capture (CDC) MySQL et le connecteur Postgres CDC sont désormais entièrement compatibles avec Flink CDC 2.2. Tous les correctifs de bugs de la version Flink CDC 2.2 sont inclus.
Événements de heartbeat pour le suivi de la position du journal binaire
Le connecteur MySQL CDC utilise désormais des événements de heartbeat pour suivre la dernière position du fichier de journal binaire lue depuis la source. Pour les tables mises à jour lentement, le connecteur fait avancer la position du journal binaire sur la base des événements de heartbeat plutôt que d'attendre des événements de mise à jour, empêchant ainsi l'expiration de la position du journal binaire lorsque le volume d'écriture des tables est faible.
Référence : Créer une table source MySQL CDC
Types de données UNSIGNED FLOAT, DOUBLE et DECIMAL pour le connecteur MySQL CDC
Les types de données UNSIGNED FLOAT, DOUBLE et DECIMAL sont désormais pris en charge par le connecteur MySQL CDC et les catalogues MySQL.
Référence : Créer une table source MySQL CDC
Paramètres JDBC pour le connecteur MySQL CDC
Les paramètres Java Database Connectivity (JDBC) peuvent désormais être configurés directement sur le connecteur MySQL CDC pour contrôler la manière dont il se connecte aux instances MySQL.
Référence : Créer une table source MySQL CDC
Arrêt forcé des clusters de session
Il est désormais possible d'arrêter de force les clusters de session depuis la console. Étant donné que les clusters de session partagent des ressources entre plusieurs tâches, un cluster de session anormal peut affecter toutes les tâches s'y exécutant.
N'exécutez pas de tâches de production dans des clusters de session. Si une tâche échoue en raison d'une exception de cluster de session, arrêtez de force le cluster de session pour récupérer.
Référence : Configurer un environnement de développement et de test (cluster de session)
Analyse intelligente des exceptions JobManager
Lorsqu'une tâche échoue, le JobManager enregistre les exceptions TaskManager dans les journaux, consultables sous l'onglet Logs de la console de développement de Realtime Compute for Apache Flink. La durée de stockage des journaux d'exceptions a été prolongée et les journaux sont désormais classés par type, ce qui permet d'identifier plus rapidement la cause réelle lorsqu'une tâche échoue consécutivement.
Référence : Afficher les journaux d'exceptions d'un déploiement
Documentation Alibaba Cloud intégrée
La documentation du centre de documentation Alibaba Cloud est désormais accessible directement depuis la console Flink entièrement gérée, éliminant ainsi le besoin de changer de fenêtre de navigateur pendant le développement et l'exploitation des tâches.
Avis de service
Les avis de service, y compris les mises à jour de produits et les annonces de maintenance, sont désormais affichés dans la console Realtime Compute for Apache Flink. Cela évite le problème selon lequel les avis ne parviennent pas aux utilisateurs par SMS, messages internes ou groupes DingTalk.
Optimisation de l'interface utilisateur
Le nouveau style de thème Alibaba Cloud est appliqué à l'ensemble de la console.
Les descriptions des statuts des tâches ont été mises à jour pour plus de clarté.
Références :
Optimisation des performances
Aucune optimisation des performances dans cette version.
Problèmes corrigés
Connecteur Log Service : liste des shards non actualisée après modification du nombre de shards
Auparavant, si le nombre de shards changeait, le connecteur Log Service ne parvenait pas à obtenir la liste mise à jour des shards, ce qui interrompait la lecture des données. Ce problème est maintenant corrigé.
Erreur d'optimisation d'agrégation : [J cannot be cast to [Ljava.lang.Object;
Auparavant, les fonctionnalités d'optimisation d'agrégation telles que miniBatch déclenchaient une erreur [J cannot be cast to [Ljava.lang.Object; dans certains cas. Ce problème est maintenant corrigé.
Table de résultat ApsaraDB for HBase : données désordonnées lors des écritures asynchrones
Auparavant, les données écrites dans une table de résultat ApsaraDB for HBase devenaient désordonnées lorsque le traitement asynchrone était activé. Ce problème est maintenant corrigé.
Pointeur nul dans les opérations de jointure à deux flux
Auparavant, les opérations de jointure entre deux flux de données pouvaient déclencher une exception de pointeur nul. Ce problème est maintenant corrigé.
Échec du checkpointing lors de l'utilisation du connecteur MySQL CDC avec Apache Hudi
Auparavant, le checkpointing échouait systématiquement lorsqu'une tâche utilisait le connecteur MySQL CDC pour écrire des données dans Apache Hudi. Ce problème est maintenant corrigé.
Métrique pendingRecords pour les tables source Message Queue for Apache Kafka
La logique de calcul utilisée pour rapporter la métrique pendingRecords pour les tables source Message Queue for Apache Kafka a été optimisée.
Noms des membres non affichés dans la console de développement
Auparavant, certains noms de membres n'étaient pas affichés dans la console de développement de Realtime Compute for Apache Flink. Ce problème est maintenant corrigé.
Erreur de validation de syntaxe DDL pour des instructions valides
Auparavant, certaines instructions DDL valides déclenchaient une erreur lors de la validation de la syntaxe. Ce problème est maintenant corrigé.