Ververica Runtime (VVR) 8.0.3, introduit dans cette version, provoque occasionnellement une perte de données dans certains scénarios, ce qui affecte l'exactitude des données. Alibaba Cloud a annoncé la fin du support (EOS) pour VVR 8.0.3. Mettez à jour vers VVR 8.0.5 ou une version ultérieure dès que possible. Pour les instructions de mise à niveau, consultez Mettre à niveau la version du moteur des déploiements.
Cette version de Realtime Compute for Apache Flink inclut des mises à jour du moteur, des fonctionnalités de plateforme, des améliorations des connecteurs, des optimisations des performances et des corrections de bugs.
Déploiement : La mise à niveau est déployée selon une stratégie de publication progressive sur deux semaines. Une fois la mise à niveau disponible dans votre région et pour votre compte, la nouvelle version du moteur est accessible pour vos déploiements. Pour plus de détails, consultez Mettre à niveau la version du moteur des déploiements.
Mises à jour du moteur
VVR 8.0.3 est publié et basé sur Apache Flink 1.17.1. Cette version améliore l'interopérabilité entre Realtime Compute for Apache Flink et d'autres services Alibaba Cloud. Elle optimise les connecteurs MaxCompute, StarRocks, ApsaraDB for Redis, Simple Log Service et ApsaraMQ for RocketMQ pour de meilleures performances et une meilleure stabilité. Elle améliore également l'utilisabilité de l'instruction CREATE TABLE AS.
Les API DataStream pour les connecteurs mentionnés ci-dessus sont prévues pour la prochaine version.
Fonctionnalités de la plateforme
| Fonctionnalité | Nouveautés |
|---|---|
| Réglage automatique optimisé | La stratégie stable est désormais disponible dans Autopilot. Le système ajuste la configuration des ressources uniquement lorsqu'une meilleure option est identifiée pour toute la durée d'exécution du déploiement. Cela évite les modifications inutiles causées par des pics de trafic soudains et aide les déploiements à atteindre un état de convergence stable. Consultez Configurer le réglage automatique. |
| Plans de réglage planifiés | Configurez plusieurs plans de réglage planifiés pour un seul déploiement. Basculez vers le plan actif sans annuler le déploiement. Chaque plan prend en charge plusieurs stratégies de réglage planifié. Consultez Configurer le réglage automatique. |
| Lignée de données pour les déploiements Flink SQL | Consultez la lignée de données au niveau des champs pour les déploiements Flink SQL. Identifiez tous les déploiements qui utilisent un champ spécifique dans une table et tracez les relations au niveau des champs entre les tables source et de résultat. Consultez Afficher la lignée de données. |
| Mises à jour dynamiques des paramètres | Mettez à jour le paramètre Parallelism et certains paramètres d'exécution d'un déploiement sans l'annuler. Consultez Mettre à jour dynamiquement la configuration des paramètres pour la mise à l'échelle dynamique. |
| Suggestions d'optimisation SQL | Consultez les suggestions d'optimisation et les risques potentiels directement dans les résultats de vérification de la syntaxe pour les déploiements SQL. Consultez Développer un brouillon SQL. |
| Recherche basée sur les libellés | Attribuez des libellés aux déploiements SQL, JAR ou Python et effectuez des recherches par clé ou valeur de libellé sur la page Deployments. Consultez Créer un déploiement. |
| Tri et filtrage améliorés des déploiements | Triez les déploiements par score de santé ou latence, et filtrez par l'utilisateur ayant effectué la dernière modification. Disponible sur la page Deployments. |
| Options de connexion étendues | Connectez-vous aux consoles de gestion et de développement en utilisant un rôle RAM, un membre de l'arborescence de ressources ou un utilisateur CloudSSO, en plus des comptes Alibaba Cloud et des utilisateurs Resource Access Management (RAM). Consultez Gestion des autorisations, Autoriser un compte à effectuer des opérations dans un namespace et Autoriser l'accès à la console de gestion. |
Améliorations des connecteurs et du moteur
| Fonctionnalité | Nouveautés |
|---|---|
| MaxCompute : types de données complexes et Tunnel exclusif | Lisez et écrivez des types de données JSON, ARRAY, MAP et STRUCT dans MaxCompute. Assignez un Tunnel MaxCompute exclusif au connecteur pour une connectivité dédiée. Consultez Connecteur MaxCompute. |
| ApsaraDB for Redis : politique de cache ALL | Définissez le paramètre cache sur ALL lors de la création d'une table de dimension avec le connecteur ApsaraDB for Redis, améliorant ainsi les performances de recherche. Consultez Connecteur ApsaraDB for Redis. |
| ApsaraDB RDS for MySQL : prise en charge de TDE | Les catalogues MySQL prennent désormais en charge les instances ApsaraDB RDS for MySQL avec le chiffrement transparent des données (TDE) activé. |
| Catalogues Data Lake Formation (DLF) : points de terminaison OSS-HDFS | Définissez le paramètre oss.endpoint sur un point de terminaison OSS-HDFS dans un catalogue DLF. Consultez Hudi et Gérer les catalogues DLF. |
| StarRocks : normalisation des types dans CREATE TABLE AS | Activez le mode de normalisation des types pour les modifications de schéma lors de l'utilisation du connecteur StarRocks avec CREATE TABLE AS. Lorsqu'un champ source change vers un type compatible avec une longueur différente, la synchronisation continue sans interruption. |
| Hologres : clés de partition DATE | Utilisez une colonne DATE comme clé de partition dans les tables de résultat Hologres. La table partitionnée est créée automatiquement. Consultez Connecteur Hologres. |
| ApsaraMQ for RocketMQ 5.x | Lisez et écrivez dans les tables ApsaraMQ for RocketMQ 5.x. Consultez Connecteur ApsaraMQ for RocketMQ. |
| Performances améliorées des mini-lots et des jointures | Cette version optimise la fonctionnalité de mini-lot et les performances des jointures. Dans les scénarios de Capture des Données Modifiées (CDC), ou après des opérations de déduplication et d'agrégation, le débit peut augmenter jusqu'à 130 %. |
Problèmes corrigés
Échec d'écriture du catalogue MaxCompute sur les tables partitionnées : Correction d'une erreur survenant lors de l'utilisation d'un catalogue MaxCompute pour écrire des données dans une table partitionnée.
Performances de jointure des tables de dimension Hologres : Correction des mauvaises performances lors de la jointure des tables de dimension Hologres.