Cette rubrique présente les modifications apportées à Realtime Compute for Apache Flink dans la version du 4 août 2021, incluant Ververica Platform (VVP) et Ververica Runtime (VVR) 4.0.8.
Actions requises avant la mise à niveau
Lisez cette section avant de mettre à niveau. Ces changements nécessitent une intervention pour éviter les échecs de jobs ou la perte de données.
L'arrêt d'un job supprime désormais tous ses checkpoints. Si vous devez restaurer l'état du job après son arrêt, utilisez l'une des approches suivantes :
Suspendre et reprendre — la suspension d'un job conserve son état, ce qui permet de le reprendre là où il s'est arrêté.
Restaurer depuis un savepoint — arrêtez le job, puis restaurez-le à partir d'un savepoint créé précédemment.
La migration de la version du moteur est obligatoire pour les jobs exécutés sur Flink 1.11 ou une version antérieure.
À partir de VVR 3.0.3, VVP prend en charge l'exécution simultanée de jobs SQL avec différentes versions du moteur. Le format de la version du moteur a également évolué vers vvr-<VVR version>-flink-<Flink version>.
Agissez comme suit en fonction de votre version actuelle du moteur :
| Version actuelle du moteur | Action requise |
|---|---|
| Flink 1.12 | Arrêtez et redémarrez le job. VVP met automatiquement à jour la version du moteur vers vvr-3.0.3-flink-1.12. |
| Flink 1.11 ou Flink 1.10 | Mettez manuellement à jour la version du moteur vers vvr-3.0.3-flink-1.12 ou vvr-4.0.8-flink-1.13 avant le redémarrage. Un redémarrage sans mise à jour préalable entraîne une erreur de délai d'attente. |
Nouvelles fonctionnalités
Jobs SQL
Configuration fine des ressources — définissez le nombre de cœurs CPU et la taille de la mémoire pour les slots partagés dans les jobs SQL. Cette option permet d'ajuster précisément les ressources par job plutôt que d'appliquer un paramètre unique à l'échelle du cluster. Consultez Configurer un déploiement.
Gestion des versions — la publication d'un job génère désormais une version de développement. Comparez les versions côte à côte et revenez à n'importe quelle version historique si une nouvelle publication introduit des problèmes. Voir Gérer les versions des jobs.
Catalogue Hologres — créez un catalogue Hologres dans la console de développement pour accéder aux tables Hologres et lire leurs métadonnées sans quitter Realtime Compute for Apache Flink. Reportez-vous à Gérer les catalogues Hologres.
Jobs SQL multi-versions — publiez des jobs SQL utilisant différentes versions du moteur au sein du même espace de travail. Versions prises en charge :
vvr-3.0.3-flink-1.12etvvr-4.0.8-flink-1.13.
Connecteurs
Connecteur MySQL CDC — prend en charge la lecture complète des données via plusieurs threads parallèles, des algorithmes sans verrou et la reprise des uploads.
Connecteur AnalyticDB for MySQL V3.0 — prend désormais en charge la sémantique
ON DUPLICATE KEY UPDATE.Connecteur ApsaraDB RDS for MySQL — mettez à jour la version du pilote Java Database Connectivity (JDBC) pour prendre en charge davantage de jeux de caractères.
Surveillance et alertes
Fréquence des alertes — configurez la fréquence de déclenchement des alertes afin de réduire le bruit dans les scénarios à haute fréquence.
Alertes webhook — envoyez les alertes directement vers un endpoint webhook pour les intégrer à des systèmes de notification externes.
Améliorations
Téléchargement accéléré des packages JAR — la méthode de téléchargement a été optimisée, réduisant ainsi le temps nécessaire pour télécharger les packages JAR.
Noms des jobs dans les journaux — les noms des jobs sont désormais inclus dans les journaux téléchargés vers Log Service, facilitant l'identification du job ayant produit une entrée de journal donnée.
Corrections de bugs
Correction d'un problème pour lequel la métrique
currentEmitEventTimeLagaffichaitLog.MAXlorsque certaines partitions d'une table Kafka ne contenaient aucune donnée.