PolarDB:CDC node release notes

Catégorie

Description

Nouvelles fonctionnalités et améliorations

Le nœud de calcul prend désormais en charge les requêtes AISearch.

Global Database Network (GDN) prend désormais en charge la détection des conflits de transactions et la relecture parallèle, ce qui améliore les performances de synchronisation interrégionale.

La tâche de synchronisation pour les instances en lecture seule prend désormais en charge la fusion des clés fréquentes, réduisant l'accumulation de latence lors de mises à jour fréquentes de lignes très sollicitées.

Correctifs

Correction d'un problème qui pouvait interrompre le traitement CDC d'un instantané actif contenant des noms de bases de données ou de tables logiques en majuscules lorsqu'une recherche d'ID de table échouait.

Correction d'un problème où le réencodage des valeurs décimales et des entiers longs dans les données JSON pouvait entraîner une perte de données et corrompre le contenu JSON dans les données de journalisation binaire logique.

Correction d'incohérences de position entre les données de journalisation binaire reconstruites et les données originales lorsque les numéros de séquence XID étaient réinitialisés lors de la récupération de DumperX.

Correction d'une erreur survenant lorsque le convertisseur DDL normalisait les jeux de caractères et rencontrait le mot-clé binary.

Correction d'un problème où un ordre de sérialisation incorrect des attributs charset et collate des colonnes générées empêchait l'analyse répétée des instructions DDL.

Catégorie

Description

Correctif

Correction d'un problème de dépendance circulaire lors du nettoyage du journal de relais BinlogX CDC.

Catégorie

Description

Amélioration

Correction des exceptions survenues lors de la synchronisation DDL asynchrone.

Correctif

Correction d'un problème où le vidage binlog pouvait se bloquer après une mise à niveau de version CDC et une reconstruction binlog.

Catégorie

Description

Correctif

Correction d'un problème où certaines instructions de création de table invalides amenaient Binlog à générer du SQL incorrect.

Catégorie

Description

Améliorations

La persistance des métadonnées est désormais activée automatiquement pour les configurations à faible mémoire.

Correction d'un problème empêchant un réplica de synchroniser les valeurs de chaîne vide pour les champs JSON non NULL.

Correctifs

Correction d'un problème où plusieurs instructions CREATE DATABASE IF NOT EXISTS pouvaient interrompre un nœud de journal lors du scale-up ou du scaling d'un nœud de données.

Correction d'un problème où un nœud de journal signalait occasionnellement une erreur lors de la récupération de l'adresse METADB.

Catégorie

Description

Nouvelles fonctionnalités et améliorations

Mise à niveau de CDC (nœud de journal) vers la version 5.4.21.

CDC (nœud de journal) prend désormais en charge la nouvelle variable d'événement de requête DN Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Ajout de la prise en charge de la compression Binlog.

Amélioration des performances de synchronisation des données de l'index de magasin columnaire (CCI).

Optimisation de la vitesse de récupération de CDC (nœud de journal) lorsqu'un nœud de stockage (DN) fait l'objet d'un changement de spécification.

Correctifs

Correction d'une erreur survenue lorsque des outils de synchronisation de données en aval, tels que Flink CDC, analysaient des événements Binlog de type FORMAT_DESCRIPTION_EVENT.

Correction d'une erreur dans l'index de magasin columnaire (CCI) lors de l'analyse d'instructions DDL contenant le caractère de commentaire #.

Correction d'une erreur occasionnelle dans le pipeline de consommation Binlog survenant lors d'une génération Binlog à haut débit.

Correction d'interruptions de connexion intermittentes vers les instances PolarDB-X en aval causées par un filtrage côté source sur CDC (nœud de journal).

Correction d'un crash JVM causé par un garbage collection (GC) fréquent lorsque CDC (nœud de journal) s'exécute sur des instances extra-large.

Correction d'interruptions du lien principal de CDC (nœud de journal) survenant lors des opérations ALTER sur des noms de table avec des accents graves ``.

Catégorie

Description

Nouvelles fonctionnalités

Binlog Dump filtre désormais les événements de suppression des tables archivées lors de la génération d'un Binlog.

Catégorie

Description

Améliorations

Introduction de la fonctionnalité de table virtuelle permettant de mapper plusieurs tables physiques éligibles à une seule table virtuelle à l'aide de règles de mappage.

Ajout du paramètre daemon_tso_heartbeat_suspend_enabled pour contrôler la suspension des battements de cœur du service TSO dans des conditions spécifiques.

Optimisation de la synchronisation des données du binlog vers le CCI.

Correctifs

Correction d'une erreur OOM potentielle sur le nœud de journal CDC, déclenchée par un événement binlog trop volumineux lors de la récupération du pipeline binlog.

Catégorie

Description

Nouvelles fonctionnalités

Vous pouvez désormais modifier la clé de partition et la clé de tri d'un index columnaire groupé (CCI). Cette fonctionnalité améliore la gestion des données en vous permettant d'adapter la stratégie de distribution et de tri des données du CCI aux évolutions métier, optimisant ainsi les performances des requêtes sans nécessiter de reconstruction d'index.

Ajout de la prise en charge de la reconstruction sur place d'un index columnaire groupé (CCI). Cette opération permet d'optimiser et de réorganiser un CCI sans impact sur les requêtes actives ni sur l'accès aux données historiques.

Problèmes corrigés

Correction d'un problème où un nœud de données (DN) pouvait interrompre le flux de données lors de l'utilisation du service de journal binaire à flux unique.

Catégorie

Description

Nouvelle fonctionnalité

Le nœud CDC filtre désormais les événements de suppression des tables archivées lors de la génération des journaux binaires.

Catégorie

Description

Nouvelle fonctionnalité

CDC (nœuds CDC) : Les journaux binaires multi-flux prennent désormais en charge un mappage un-à-un entre un nœud de stockage et un flux de journal binaire.

Optimisations des fonctionnalités

Optimisation de la gestion de la mémoire pour les opérations de vidage sur les journaux binaires.

Augmentation du taux de sortie des journaux binaires des nœuds CDC vers les systèmes en aval.

Réduction de la charge sur le service méta global (GMS) grâce à l'optimisation des instructions SQL provenant des nœuds CDC.

Catégorie

Description

Nouvelle fonctionnalité

Change Data Capture (CDC) : Le journal binaire multi-flux sur les nœuds de journal prend désormais en charge un mappage un-à-un entre un nœud de stockage et un flux de journal binaire.

Catégorie

Description

Nouvelles fonctionnalités et optimisations

Ajout de la prise en charge des contraintes CHECK. Pour plus de détails, consultez Contraintes CHECK.

Optimisation de la politique d'allocation de la mémoire directe hors tas pour CDC afin d'éviter les erreurs OOM dues à une allocation insuffisante de mémoire directe.

Optimisation du mécanisme de redémarrage forcé en cas de timeout CDC pour permettre les redémarrages même lorsque le processus worker CDC est bloqué.

Catégorie

Description

Améliorations

Augmentation de la taille par défaut d'un seul fichier de journal binaire à 1 Go et activation de la rotation automatique lorsque le numéro de fichier dépasse 999 999.

Amélioration de la logique de téléchargement pour les fichiers de journal binaire consommés de manière transparente.

Catégorie

Description

Optimisations des fonctionnalités

Optimisation de la logique de réplication pour les nœuds primaire et secondaire.

Optimisation de la logique de détection de timeout des battements de cœur pour le module haute disponibilité (HA) de CDC afin d'éviter les redémarrages inutiles du processus.

Correctifs

Correction d'un problème où une mise à niveau depuis une version antérieure de CDC était interrompue en raison de l'absence du champ RuntimeVersion dans la configuration de la table système.

Correction d'un problème où l'attribut WITH PARSER NGRAM était absent de la sortie de l'instruction SHOW CREATE TABLE.

Catégorie

Description

Correctif

Correction d'un bug provoquant des interruptions de liaison CDC en raison de problèmes de compatibilité lors du traitement des types REAL et DOUBLE dans les métadonnées CDC.

Catégorie

Description

Correctifs

Correction d'un problème où une seule instruction SQL mettant à jour plusieurs tables générait des TableMapEvents consécutifs, entraînant un désordre des TraceIDs.

Catégorie

Description

Correctifs

Correction d'un problème où le processus CDC ne parvenait pas à démarrer lorsqu'un seul nœud de calcul était indisponible.

Correction d'un problème où les opérations de vidage échouaient en raison d'incohérences d'offsets entre la mémoire et un fichier de journal binaire.

Catégorie

Description

Correctifs

Correction d'un problème où l'instruction SHOW FULL BINARY LOGS renvoyait des informations incomplètes.

Correction d'un problème où un fichier de journal binaire était perdu lors de la reconstruction de la topologie CDC en raison de téléchargements concurrents du même fichier.

Correction de problèmes où l'analyseur SQL échouait à analyser les instructions ALTER avec des groupes de tables implicites et ne traitait pas correctement les instructions de marquage.

Correction d'un problème où le lien de réplication ne pouvait pas récupérer automatiquement. Cet échec était causé par la suppression des fichiers locaux sur le nœud maître par le système lors de la synchronisation primaire-secondaire de CDC Dumper.

Catégorie

Description

Nouvelle fonctionnalité

Activation de la création périodique de points de synchronisation par les nœuds CDC (Change Data Capture).

Correction d'un problème

Résolution d'un problème où l'échec de la mise à jour du curseur du journal binaire bloquait la consommation des données.

Catégorie

Description

Nouvelles fonctionnalités et optimisations

Activation de la création périodique de points de synchronisation par les nœuds CDC.

Amélioration de la validation complète des données lors de l'évaluation de la mise à niveau de PolarDB-X 1,0 vers PolarDB-X 2,0.

Corrections

Correction des échecs de génération du journal binaire global causés par des modifications de métadonnées.

Résolution des pannes du service de vidage du journal binaire dues à des fichiers de journal binaire demandés vides.

Catégorie

Description

Nouvelles fonctionnalités et optimisations

La réplication DDL primaire/secondaire réplique désormais les fonctions.

La réplication DDL primaire/secondaire réplique désormais les séquences.

La réplication DDL primaire/secondaire réplique désormais les vues.

La réplication DDL primaire/secondaire réplique désormais les procédures.

La réplication DDL primaire/secondaire réplique désormais les comptes, les rôles et les autorisations.

La réplication DDL primaire/secondaire réplique désormais les opérations ALTER TABLEGROUP.

La réplication DDL primaire/secondaire réplique désormais les opérations ALTER INDEX.

La réplication DDL primaire/secondaire prend désormais en charge la réplication coordonnée et alignée en matière de cohérence dans les scénarios de journal binaire multi-flux.

La réplication primaire/secondaire permet désormais de créer un lien de réplication basé sur un horodatage.

La réplication primaire/secondaire permet désormais d'utiliser des commandes SQL pour vérifier la cohérence des données entre les systèmes amont et aval.

Un nouveau rôle d'instance secondaire pour la réplication primaire/secondaire est désormais disponible, activant les capacités de lecture seule au niveau de l'instance sur le cluster secondaire.

La réplication primaire/secondaire prend désormais en charge la mise en miroir complète des conditions WHERE pour les écritures DML.

Vous pouvez désormais associer les noms de flux de journal binaire multi-flux aux noms d'utilisateur. Cela élimine la nécessité d'ajouter l'option « with » lors de l'exécution d'instructions SQL liées au journal binaire avec un compte associé.

Optimisation de la réplication bidirectionnelle basée sur server_id pour la réplication primaire/secondaire. Vous pouvez désormais spécifier des règles de filtrage depuis la ligne de commande, et le système vérifie automatiquement les anomalies server_id.

Corrections

Correction d'un problème où l'instruction MULTI ALTER ADD/DROP COLUMN provoquait un ordre incorrect des colonnes de métadonnées, interrompant ainsi le lien du journal binaire.

Résolution d'un problème où l'instruction MULTI ALTER ADD/DROP/RENAME INDEX pouvait entraîner la perte de métadonnées d'index, ce qui aboutissait à l'enregistrement d'une instruction DDL incorrecte dans le journal binaire.

Correction d'un défaut de configuration dans le paramètre meta_build_physical_ddl_sql_blacklist_regex qui entraînait le filtrage des instructions DDL ALTER si elles contenaient le mot-clé « user ».

Correction d'un problème où les instructions DDL DROP INDEX n'étaient pas écrites dans le journal binaire.

Catégorie

Description

Nouvelle fonctionnalité

Ajout de commandes d'exploitation et de maintenance liées au journal binaire, telles que show full binary logs et show full master status.

Correction d'un problème

Résolution d'un échec de correspondance exacte dans le retour en arrière SQL.

Catégorie

Description

Nouvelle fonctionnalité

Ajout de la commande SHOW FULL MASTER STATUS.

Optimisation des fonctionnalités

Amélioration de la compatibilité du vidage du journal binaire MySQL pour prendre en charge des paramètres tels que la somme de contrôle et le signal de présence.

Catégorie

Description

Nouvelle fonctionnalité

Prise en charge du retour en arrière SQL pour annuler une transaction entière.

Correction d'un problème

Modification de la méthode d'enregistrement des signaux de présence TSO dans le journal binaire afin de résoudre les plantages des consommateurs MySQL en aval.

Catégorie

Description

Optimisation

Optimisation du temps de veille pour le contrôle de la contre-pression gRPC, augmentant la vitesse de vidage du journal binaire externe à 130 Mo/s.

Corrections

Résolution d'un problème empêchant la finalisation du retour en arrière SQL lorsqu'aucune opération DML ou DDL ne se produisait dans la plage de temps spécifiée.

Catégorie

Description

Optimisation

Optimisation de l'instruction SHOW BINARY LOGS pour résoudre les lenteurs des requêtes lorsque de nombreux journaux binaires sont présents.

Corrections

Correction d'un dépassement de tampon lors du formatage des données JSON.

Empêchement de la fermeture du thread d'analyse metaDataSource lors d'un basculement HA dans metaDB pendant une mise à niveau CDC.

Résolution d'un interblocage lors de la mise à jour de binlog_dumper_info.

Catégorie

Description

Nouvelles fonctionnalités et optimisations

Ajout de la prise en charge de l'instruction FLUSH LOGS.

Optimisation de la vitesse des vidages externes pour une consommation transparente.

Le CDC ne dépend plus de is_vip pour les connexions DN.

Suppression de la dépendance de contrôle pour la récupération d'une connexion MetaDB dans le CDC.

Corrections

Correction d'une erreur de syntaxe dans les instructions de création de table avec une définition de colonne BIGINT SIGNED.

Résolution d'un problème où l'algorithme de génération recover tso pouvait provoquer des lacunes dans la liste du journal binaire.

Correction d'un problème où le vidage d'une tâche ne parvenait pas à trouver le décalage de départ sur le DN de l'instance principale après la mise à l'échelle d'une instance en lecture seule.

Catégorie

Description

Nouvelle fonctionnalité

Ajout de la prise en charge de la persistance des objets de transaction pour réduire l'utilisation de la mémoire.

Corrections

Correction d'un problème où recover tso ne pouvait pas être inférieur au TSO de la transaction la plus récente marquée par une mise à l'échelle lors d'une récupération basée sur un TSO historique.

Correction d'un bug empêchant le thread gRPC de se terminer lorsque les fichiers locaux sur le Dumper Master étaient supprimés lors de la synchronisation primaire-secondaire du Dumper CDC.

Catégorie

Description

Corrections

Correction d'une erreur de lien causée par un conflit de fenêtre de signal de présence lors de la consommation d'un journal binaire depuis OSS.

Correction d'une erreur de conversion de format de données lors du formatage d'un TableMapEvent.

Correction d'une inadéquation de la valeur Sql_Mode entre l'événement DDL et la valeur d'origine.

Correction d'incohérences de métadonnées entre les tables logiques et physiques pour les types nchar et nvarchar.

Résolution d'un problème empêchant la conversion des instructions SQL DDL contenant des sauts de ligne en commentaires sur une seule ligne.

Catégorie

Description

Nouvelles fonctionnalités et optimisations

Ajout de la prise en charge de la surveillance de l'utilisation du CPU du processus worker.

Ajout de la prise en charge d'une surveillance plus fine des événements par seconde (EPS) pour les opérations INSERT, UPDATE et DELETE.

Optimisation de la vitesse de téléchargement des fichiers de journal binaire vers Object Storage Service (OSS), portant le débit à 700 Mo/s.

Ajout de commandes d'exploitation et de maintenance (O&M) pour Change Data Capture (CDC), telles que start master, stop master, restart master et reset master.

Corrections

Correction des blocages prolongés lors de la consommation transparente des fichiers de journal binaire hors ligne.

Résolution d'un problème où le thread de vidage ne se terminait pas si un fichier de journal binaire était supprimé pendant sa lecture.

Correction des échecs de reset master causés par un excès de métadonnées DDL physiques.

Correction d'une incohérence entre la valeur Sql_Mode dans un événement DDL et la valeur sql_mode d'origine.

Correction d'une erreur MySQL en aval causée par une instruction SQL contenant à la fois ADD PRIMARY KEY et DROP PRIMARY KEY.

Catégorie

Description

Corrections

Correction d'un problème où l'ordre des colonnes était incorrect après l'exécution d'une instruction SQL dans SchemaRepository.

Correction d'une NPE déclenchée lors du formatage d'une chaîne vide.

Catégorie

Description

Correction

Correction d'un problème où les métadonnées étaient tronquées lorsqu'elles dépassaient la longueur du type de données mediumtext.

Catégorie

Description

Correction de bug

Correction d'un échec d'analyse causé par la non-conversion du jeu de caractères MySQL en jeu de caractères Java.

Catégorie

Description

Optimisations des fonctionnalités

Réduction du RTO du lien de synchronisation du journal binaire à 15 secondes.

Accélération de la récupération des métadonnées CDC pour les déploiements comportant des centaines de milliers de tables de données.

Corrections

Correction d'une erreur potentielle de calcul de décalage lors de la consommation transparente des journaux binaires.

Correction d'un problème de compatibilité avec text(0) lors des vérifications de cohérence des métadonnées.

Catégorie

Description

Corrections

Correction des interruptions de lien CDC causées par l'ajout et la suppression continus de clés primaires.

Correction d'une déconnexion CDC survenant lorsque le programme consommateur ne parvenait pas à envoyer COM_REGISTER_SLAVE avant de vider les journaux binaires.

Correction d'une interruption de liaison de données dans le routage de données multi-flux lorsque la valeur de hachage était Integer.MIN_VALUE.

Catégorie

Description

Nouvelles fonctionnalités et optimisations

Ajout de la prise en charge de la fusion multiniveau. Cela garantit que les performances ne diminuent pas de manière significative à mesure que les nœuds DN augmentent linéairement.

Ajout de la prise en charge de la consommation transparente. Les programmes consommateurs en aval peuvent utiliser le protocole de vidage pour consommer directement les fichiers de journal binaire archivés sur OSS sans avoir besoin d'interagir directement avec OSS.

Ajout de la prise en charge du journal binaire multi-flux. Vous pouvez personnaliser le nombre de flux, chacun disposant de son propre fichier de journal binaire indépendant.

Ajout de la prise en charge de la création périodique d'instantanés complets de métadonnées. Cela empêche les enregistrements de balisage DDL historiques de devenir excessivement volumineux.

Ajout de la prise en charge du téléchargement parallèle des fichiers de journal binaire depuis OSS pour améliorer la vitesse de récupération de l'instance.

Corrections

Correction des problèmes de compatibilité et d'exactitude dans le formatage des données d'événements du journal binaire, améliorant ainsi la stabilité du lien CDC lors des modifications DDL.

Résolution d'un problème pouvant provoquer des délais d'expiration du vidage pour les abonnements en aval après un redémarrage du cluster CDC.

Correction d'un calcul de latence incorrect survenant lors du démarrage initial du processus Dumper.