Le 21 juin 2023, Realtime Compute for Apache Flink a publié la version VVR 6.0.7, incluant des mises à jour de la plateforme, des connecteurs et des corrections de bugs.
Cette version est déployée en tant que version canari et sera disponible sur l'ensemble du réseau dans un délai de deux semaines. Si les nouvelles fonctionnalités ne sont pas encore visibles dans la console, votre plateforme utilise toujours la version précédente. Pour demander une mise à niveau anticipée, soumettez un ticket. Pour consulter le calendrier de mise à niveau le plus récent, vérifiez l'annonce située sur le côté droit de la page d'accueil de la console Realtime Compute for Apache Flink.
Présentation
Ververica Runtime (VVR) 6.0.7 est basé sur Apache Flink 1.15.4.
Points forts :
Prise en charge des catalogues : Les catalogues MaxCompute et Log Service sont désormais officiellement pris en charge, ce qui vous permet de définir des tables permanentes sans avoir à écrire d'instructions DDL pour chaque déploiement SQL.
Apache Paimon 0.4.0 (aperçu sur invitation) : Ingestion de données en temps réel dans les lacs de données via Flink Change Data Capture (CDC), évolution du schéma et amélioration de l'ordre des lectures/écritures en streaming.
Améliorations du connecteur MySQL : Fonctionnalités améliorées pour les tables de résultats et les tables de dimension, ainsi que prise en charge des tables sources CDC sans clé primaire.
Améliorations des alertes : Nouveaux commutateurs « No Data Warning » et « Alarm Noise Reduction » pour des alertes plus pertinentes.
Publication de VVR 4.0.18 : Dernière mise à jour recommandée pour les utilisateurs de VVR 4.X.
Une fois le déploiement canari terminé, la nouvelle version du moteur apparaît dans la liste déroulante Engine Version du volet Configurations de votre brouillon.
Notes de mise à niveau
Les modifications suivantes nécessitent une action avant ou après la mise à niveau.
Migration du connecteur MySQL
Le connecteur MySQL couvre désormais toutes les fonctionnalités du connecteur ApsaraDB RDS for MySQL pour les tables de résultats et les tables de dimension. Commencez à migrer vos déploiements du connecteur ApsaraDB RDS for MySQL vers le connecteur MySQL. Pour obtenir des conseils, consultez la rubrique Connecteur MySQL.
Fin des mises à jour recommandées pour VVR 4.X
VVR 4.0.18 est la dernière version recommandée pour VVR 4.X. Si vos déploiements utilisent toujours VVR 4.X, effectuez une mise à niveau vers une version Stable ou Recommend du moteur. Les versions du moteur sont désormais classées comme Recommend, Stable, Normal ou Deprecated dans la liste déroulante Engine Version.
Nouvelles fonctionnalités
Plateforme
| Fonctionnalité | Changements | Références |
|---|---|---|
| Journaux d'audit | Realtime Compute for Apache Flink est désormais connecté à ActionTrail. Consultez les enregistrements des opérations utilisateur directement depuis la console ActionTrail. | Afficher les événements d'opération de ressource à l'aide d'ActionTrail |
| Accès aux clusters Hive authentifiés par Kerberos | Les déploiements JAR et Python peuvent désormais écrire des données dans des clusters Hive utilisant l'authentification Kerberos. | Enregistrer un cluster Hive prenant en charge l'authentification Kerberos, Créer un déploiement |
| Classification des versions du moteur | Les versions du moteur dans la liste déroulante Engine Version sont désormais regroupées en quatre catégories : Recommend, Stable, Normal et Deprecated. | Développer un brouillon SQL, Créer un déploiement |
| Diagnostic intelligent des déploiements | L'onglet Diagnosis a été ajouté à la page Deployments pour remplacer la boîte de dialogue précédente. Les scores de santé et les diagnostics sont désormais visibles dans une vue unique. | Effectuer un diagnostic intelligent des déploiements |
| Colonne Modifier | La colonne Modifier a été ajoutée à la page Deployments pour indiquer qui a modifié chaque déploiement en dernier. | — |
| Amélioration des alertes | Deux nouveaux commutateurs ont été ajoutés aux règles d'alerte : No Data Warning détecte précocement les exceptions de source de données ; Alarm Noise Reduction supprime les alertes répétées et non valides. | Configurer des règles d'alerte |
| API de gestion des membres | Une API de gestion des membres est désormais disponible pour automatiser les workflows d'autorisation. | — |
| Améliorations de l'expérience utilisateur | La page Deployments prend en charge la personnalisation de la disposition et le filtrage. Les styles d'interface utilisateur et certaines dispositions de pages ont été mis à jour, et des sections telles que la section des journaux ont été étendues. | — |
Catalogues
| Fonctionnalité | Changements | Références |
|---|---|---|
| Catalogues MaxCompute | Les catalogues MaxCompute sont officiellement pris en charge. Enregistrez les métadonnées une seule fois à l'aide d'un catalogue MaxCompute et créez des déploiements SQL sans écrire d'instructions DDL pour chaque table source MaxCompute. | Gérer les catalogues MaxCompute |
| Catalogues Log Service | Les catalogues Log Service sont officiellement pris en charge. Enregistrez les métadonnées une seule fois et évitez les instructions DDL répétitives lors de la création de tables sources Log Service dans les déploiements SQL. | Gérer les catalogues Log Service |
| DLF en tant que centre de gestion des métadonnées des catalogues Hive | Dans Hive 3.X, Data Lake Formation (DLF) peut désormais servir de centre de gestion des métadonnées pour les catalogues Hive. | Gérer les catalogues Hive |
| Catalogues Apache Paimon | Le connecteur Apache Paimon est mis à niveau vers Apache Paimon 0.4.0 (aperçu sur invitation). Utilisez les catalogues Apache Paimon pour ingérer des données dans Apache Paimon en temps réel via les instructions CREATE TABLE AS et CREATE DATABASE AS. L'évolution du schéma, le nettoyage des snapshots, la suppression automatique des partitions et le format de fichier Parquet sont pris en charge. L'ordre des lectures/écritures en streaming et les performances globales sont également améliorés. | Instruction CREATE TABLE AS, Gérer les catalogues Apache Paimon |
Connecteurs
| Fonctionnalité | Changements | Références |
|---|---|---|
| Améliorations du connecteur MySQL | Les fonctionnalités des tables de résultats et des tables de dimension sont améliorées. Consultez la section Notes de mise à niveau pour obtenir des conseils sur la migration. | Connecteur MySQL |
| Tables sources MySQL CDC sans clé primaire | Les tables sources MySQL CDC sans clé primaire peuvent désormais être utilisées pour la lecture incrémentielle, élargissant ainsi la prise en charge à davantage de types de tables MySQL. | — |
| Connecteur Tair : paramètres de durée d'expiration et d'incrément | Le connecteur Tair pour les tables de résultats prend en charge la spécification de la durée d'expiration et la configuration des paramètres d'incrément. | Connecteur Tair |
| Connecteur MaxCompute : groupes de ressources Exclusive Tunnel | Le connecteur MaxCompute prend désormais en charge les groupes de ressources Exclusive Tunnel, rendant le transfert de données plus stable et plus efficace. | Connecteur MaxCompute |
| Connecteur DataHub : performances des tables sources | Dans certains scénarios, les performances des tables sources du connecteur DataHub sont améliorées d'environ 290 %. | — |
| Connecteur Tablestore : données de séries chronologiques | Le connecteur Tablestore prend désormais en charge l'écriture de données de séries chronologiques à l'aide du modèle de séries chronologiques Tablestore. | — |
| Mise à niveau du connecteur Hudi | Le connecteur Hudi est mis à niveau vers Apache Hudi 0.13.1. | — |
Problèmes corrigés
Correction d'un débordement de mémoire survenant lors de l'utilisation du connecteur MySQL avec l'instruction CREATE TABLE AS ou CREATE DATABASE AS pour consommer les données des tables sources MySQL CDC.
Correction d'une exception de pointeur nul survenant lors de l'utilisation du connecteur Hologres pour les tables de dimension.
Correction d'un débordement de mémoire survenant lors de l'utilisation du connecteur Hologres pour les tables sources.