La version VVR 8.0.1 présentée dans cette publication peut occasionnellement entraîner une perte de données dans certains scénarios, ce qui affecte l'exactitude des données. Alibaba Cloud a annoncé la fin du support (EOS) pour la version VVR 8.0.1. Mettez à jour vers la version VVR 8.0.5 ou ultérieure dès que possible. Pour connaître la procédure de mise à niveau, consultez la rubrique Mettre à niveau la version du moteur des déploiements. Nous vous apportons le support et l'accompagnement nécessaires pour vous aider à effectuer une transition fluide vers une version plus sécurisée et stable. Nous vous remercions de votre compréhension et de votre coopération.
Cette version de Realtime Compute for Apache Flink (VVR 8.0.1) s'appuie sur Apache Flink 1.17.1 et intègre des améliorations du moteur, de nouveaux connecteurs, des optimisations de performances ainsi que des corrections de bugs.
Mises à jour du moteur
La version VVR 8.0.1 hérite des modifications suivantes au niveau du moteur, issues d'Apache Flink 1.17.1 :
Generic Incremental Checkpoint (GIC) : Introduit dans Apache Flink 1.17, le GIC améliore la vitesse et la stabilité du processus de checkpointing.
Checkpoints non alignés (UCs) : La stabilité sous pression est améliorée. Les UCs sont désormais adaptés à un usage en production.
Traitement par lots : Les performances sont considérablement améliorées.
Refonte du backend d'état de niveau entreprise
L'architecture centrale du backend d'état de niveau entreprise a été entièrement reconstruite, offrant des gains significatifs en termes de performances et de stabilité :
Performances
Le format d'état, le système de stockage de fichiers et la stratégie de nettoyage des données ont été optimisés. Cela réduit considérablement la pression sur l'espace disque local et accélère l'accès aux états.
Les performances moyennes des déploiements gérant de grands états augmentent de plus de 40 %.
La taille des états diminue d'environ 30 %.
Stabilité
Pour les déploiements avec un état volumineux (par exemple 100 Go), le temps d'interruption provoqué par les mises à jour des déploiements passe de plusieurs minutes à quelques secondes.
Le backend d'état de niveau entreprise refondu est activé par défaut dans la version VVR 8.0.1. Aucune configuration supplémentaire n'est requise.
Nouvelles fonctionnalités
| Fonctionnalité | Description | Référence |
|---|---|---|
| Connecteur MongoDB Change Data Capture (CDC) | Créez des tables source pour lire les données incrémentielles depuis des bases de données MongoDB utilisant une architecture de replica set ou de cluster shardé. Prend en charge la lecture instantanée incrémentielle : commence par une analyse complète parallèle des données historiques, puis bascule automatiquement vers la capture incrémentielle du flux de journal des modifications. Garantit un traitement exactly-once et prend en charge plusieurs modes de démarrage. | Connecteur MongoDB CDC |
Synchronisation des nouvelles tables via CREATE DATABASE AS |
Lorsque de nouvelles tables sont ajoutées à la base de données source après le démarrage d'un déploiement, celui-ci peut être redémarré à partir d'un snapshot pour capturer et synchroniser les données provenant des nouvelles tables. | Instruction CREATE DATABASE AS |
Instruction CREATE TABLE AS au sein d'un bloc BEGIN STATEMENT SET; ... END; |
L'ajout d'une instruction CREATE TABLE AS dans un bloc d'ensemble d'instructions prend en charge le redémarrage basé sur un snapshot. Cette approche améliore la flexibilité et élimine le besoin de créer des déploiements supplémentaires. |
Instruction CREATE TABLE AS |
| Configuration TTL (Time-To-Live) par flux dans les jointures régulières | Configurez le TTL séparément pour chaque flux dans une jointure régulière. Par exemple, définissez un TTL de 15 jours pour un flux et de 1 jour pour l'autre. Cela améliore la stabilité des déploiements et réduit les coûts opérationnels. | Optimiser Flink SQL |
| Connecteur OceanBase | Créez des tables sink et des tables de dimension pour OceanBase, une base de données relationnelle distribuée hybride transactionnelle/analytique (HTAP) développée par Alibaba Group et Ant Group. OceanBase offre divers avantages, notamment une forte cohérence, une haute disponibilité, des performances élevées, une mise à l'échelle en ligne, une grande compatibilité avec les standards SQL et les principales bases de données relationnelles, ainsi qu'un faible coût. | Connecteur OceanBase |
| Poussée de requête dans le connecteur Simple Log Service (SLS) | Filtre les données à la source, améliorant ainsi l'efficacité de la lecture. | Connecteur Simple Log Service |
| Tables sink dans les catalogues SLS | Écrivez des données dans SLS en utilisant des tables gérées par catalogue, de la même manière que pour les tables permanentes. | Gérer les catalogues Simple Log Service |
| Prise en charge d'AnalyticDB for PostgreSQL V7.0 | Lisez et écrivez des données depuis et vers des instances AnalyticDB for PostgreSQL V7.0. | Connecteur AnalyticDB for PostgreSQL |
| Types de données Tair supplémentaires | Prend en charge TairTs (ensembles de données de séries temporelles), TairVector (ensembles de données vectorielles pour l'IA), TairCpc (détection de fraude en temps réel), TairRoaring (profilage client en temps réel) et TairGis. | Connecteur Tair |
| Prise en charge d'Apache Paimon 0.5-snapshot et propagation des types de colonnes | Prend en charge Apache Paimon 0.5-snapshot. Les modifications de type de colonne dans la table source Flink CDC sont automatiquement appliquées à la table Apache Paimon. | Instruction CREATE TABLE AS et Instruction CREATE DATABASE AS |
Problèmes corrigés
| Problème | Description |
|---|---|
| Erreur du connecteur MySQL avec PolarDB for MySQL | Le message d'erreur Filtering update table metadata event: Event{header=EventHeaderV4 apparaissait lors de l'utilisation du connecteur MySQL pour lire une base de données PolarDB for MySQL. |
| Absence de sortie de la fonction de table TVF de fenêtre avec conditions | Lorsqu'une TVF de fenêtre était utilisée avec des conditions de filtrage, aucune sortie n'était générée. |
Déploiement de la mise à niveau
Cette version est déployée selon une stratégie de release canary sur une période de deux semaines. Une fois la mise à niveau disponible dans votre région et pour votre compte, la nouvelle version du moteur devient accessible pour vos déploiements. Pour plus de détails, consultez la rubrique Mettre à niveau la version du moteur des déploiements. Nous restons à l'écoute de vos commentaires.