PolarDB:CDC node release notes

Categoría

Descripción

Nuevas funciones y mejoras

El nodo de cómputo ahora admite consultas AISearch.

Global Database Network (GDN) ahora admite la detección de conflictos de transacciones y la reproducción en paralelo, lo que mejora el rendimiento de la sincronización entre regiones.

La tarea de sincronización para instancias de solo lectura ahora admite la fusión de claves activas. Esto reduce la acumulación de latencia cuando se actualizan con frecuencia filas de acceso intensivo.

Correcciones

Se corrigió un problema que podía interrumpir el procesamiento de CDC de una instantánea activa con nombres lógicos de base de datos o tabla en mayúsculas cuando fallaba la búsqueda del identificador de tabla.

Se corrigió un problema donde la recodificación de valores decimales y enteros largos en datos JSON provocaba pérdida de información y corrompía el contenido JSON en los datos de registro binario lógico.

Se corrigieron las posiciones inconsistentes entre los datos de registro binario reconstruidos y los originales cuando se restablecían los números de secuencia XID durante la recuperación de DumperX.

Se corrigió un error que ocurría cuando el convertidor DDL normalizaba conjuntos de caracteres y encontraba la palabra clave binary.

Se corrigió un problema donde un orden de serialización no válido para los atributos charset y collate de columnas generadas impedía analizar sintácticamente de nuevo las sentencias DDL.

Categoría

Descripción

Corrección

Se corrigió un problema de dependencia circular durante la limpieza de BinlogX Relay Log de CDC.

Categoría

Descripción

Mejora

Se corrigieron excepciones que ocurrían durante la sincronización asíncrona de DDL.

Corrección

Se corrigió un problema donde el volcado de registros binarios podía bloquearse después de actualizar la versión de CDC y reconstruir el registro binario.

Categoría

Descripción

Corregido

Se corrigió un problema donde ciertas sentencias de creación de tablas no válidas hacían que Binlog generara SQL incorrecto.

Categoría

Descripción

Mejoras

La persistencia de metadatos ahora se habilita automáticamente en configuraciones con poca memoria.

Se corrigió un problema donde una réplica no podía sincronizar valores de cadena vacíos para campos JSON distintos de NULL.

Correcciones

Se corrigió un problema donde varias sentencias CREATE DATABASE IF NOT EXISTS podían interrumpir un nodo de registro durante el escalado vertical u horizontal de un nodo de datos.

Se corrigió un problema donde un nodo de registro reportaba ocasionalmente un error al obtener la dirección de METADB.

Categoría

Descripción

Nuevas funciones y mejoras

Se actualizó CDC (nodo de registro) a la versión 5.4.21.

CDC (nodo de registro) ahora admite la nueva variable de evento de consulta DN Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Se añadió compatibilidad con la compresión de registros binarios.

Se mejoró el rendimiento de sincronización de datos de columnar store index (CCI).

Se optimizó la velocidad de recuperación de CDC (nodo de registro) cuando un nodo de almacenamiento (DN) cambia de especificación.

Correcciones

Se corrigió un error que ocurría cuando herramientas de sincronización de datos descendentes, como Flink CDC, analizaban sintácticamente eventos Binlog del tipo FORMAT_DESCRIPTION_EVENT.

Se corrigió un error en columnar store index (CCI) al analizar sintácticamente sentencias DDL que contenían el carácter de comentario #.

Se corrigió un error ocasional en la canalización de consumo de registros binarios que ocurría durante una generación de alta velocidad.

Se corrigieron interrupciones intermitentes en la conexión con instancias descendentes de PolarDB-X, causadas por el filtrado del lado de origen en CDC (nodo de registro).

Se corrigió un fallo de JVM causado por recolección de basura (GC) frecuente cuando CDC (nodo de registro) se ejecuta en instancias extragrandes.

Se corrigieron interrupciones en el enlace principal de CDC (nodo de registro) que ocurrían durante operaciones ALTER sobre nombres de tabla con comillas invertidas ``.

Categoría

Descripción

Nuevas funciones

Binlog Dump ahora filtra los eventos de eliminación de tablas archivadas al generar un registro binario.

Categoría

Descripción

Mejoras

Se introdujo la función de tabla virtual para asignar varias tablas físicas elegibles a una sola tabla virtual mediante reglas de asignación.

Se añadió el parámetro daemon_tso_heartbeat_suspend_enabled para controlar la suspensión de los latidos del servicio TSO bajo condiciones específicas.

Se optimizó la sincronización de datos desde el registro binario hacia CCI.

Correcciones

Se corrigió un posible error OOM en el nodo de registro CDC, desencadenado por un evento de registro binario demasiado grande durante la recuperación de la canalización.

Categoría

Descripción

Nuevas funciones

Ahora puede modificar la clave de partición y la clave de ordenamiento de clustered columnstore index (CCI). Esta función mejora la gestión de datos porque permite adaptar la distribución y la estrategia de ordenamiento del CCI a los cambios del negocio, lo que optimiza el rendimiento de las consultas sin reconstruir el índice.

Se añadió compatibilidad con in-place rebuilding of a clustered columnstore index (CCI). Esta operación le permite optimizar y reorganizar un CCI sin afectar las consultas activas ni el acceso a datos históricos.

Problemas corregidos

Se corrigió un problema donde un nodo de datos (DN) podía interrumpir el flujo de datos al usar el servicio de registro binario de flujo único.

Categoría

Descripción

Nueva función

El nodo CDC ahora filtra los eventos de eliminación de tablas archivadas al generar registros binarios.

Categoría

Descripción

Nueva función

CDC (nodos CDC): los registros binarios de múltiples flujos ahora admiten una asignación uno a uno entre un nodo de almacenamiento y un flujo de registro binario.

Optimizaciones de funciones

Se optimizó la gestión de memoria para las operaciones de volcado en binary logs.

Se aumentó la tasa de salida de registros binarios desde los nodos CDC hacia los sistemas descendentes.

Se redujo la carga en el servicio global de metadatos (GMS) mediante la optimización de las sentencias SQL provenientes de los nodos CDC.

Categoría

Descripción

Nueva función

Captura de datos de cambio (CDC): el registro binario de múltiples flujos en los nodos de registro ahora admite una asignación uno a uno entre un nodo de almacenamiento y un flujo de registro binario.

Categoría

Descripción

Nuevas funciones y optimizaciones

Se añadió compatibilidad con restricciones CHECK. Para más detalles, consulte CHECK constraints.

Se optimizó la política de asignación de memoria directa fuera del montículo de CDC para evitar errores OOM por falta de memoria directa.

Se optimizó el mecanismo de reinicio forzado por tiempos de espera de CDC para permitir reinicios incluso cuando el proceso worker de CDC está bloqueado.

Categoría

Descripción

Mejoras

Se aumentó el tamaño predeterminado de un archivo de registro binario individual a 1 GB y se habilitó la rotación automática cuando el número de archivo supera 999,999.

Se mejoró la lógica de descarga de archivos de registro binario consumidos de forma transparente.

Categoría

Descripción

Optimizaciones de funciones

Se optimizó la lógica de replicación para nodos primarios y secundarios.

Se optimizó la lógica de detección de tiempo de espera de latidos en el módulo de alta disponibilidad (HA) de CDC para evitar reinicios innecesarios de procesos.

Correcciones

Se corrigió un problema donde la actualización desde una versión anterior de CDC se interrumpía por la ausencia del campo RuntimeVersion en la configuración de la tabla del sistema.

Se corrigió un problema donde faltaba el atributo WITH PARSER NGRAM en la salida de la sentencia SHOW CREATE TABLE.

Categoría

Descripción

Corrección

Se corrigió un bug que causaba interrupciones en el enlace de CDC debido a problemas de compatibilidad al procesar los tipos REAL y DOUBLE en los metadatos de CDC.

Categoría

Descripción

Correcciones

Se corrigió un problema donde una sola sentencia SQL que actualizaba varias tablas generaba TableMapEvents consecutivos, lo que desordenaba los TraceID.

Categoría

Descripción

Correcciones

Se corrigió un problema donde el proceso de CDC no lograba iniciar cuando un nodo de cómputo no estaba disponible.

Se corrigió un problema donde las operaciones de volcado fallaban por desplazamientos inconsistentes entre la memoria y un archivo de registro binario.

Categoría

Descripción

Correcciones

Se corrigió un problema donde la sentencia SHOW FULL BINARY LOGS devolvía información incompleta.

Se corrigió un problema donde se perdía un archivo de registro binario durante la reconstrucción de la topología de CDC por cargas simultáneas del mismo archivo.

Se corrigieron problemas donde el analizador sintáctico SQL no lograba procesar sentencias ALTER con grupos de tablas implícitos ni manejar correctamente las sentencias de marcado.

Se corrigió un problema donde el enlace de replicación no podía recuperarse automáticamente. Este fallo ocurría porque el sistema eliminaba archivos locales en el nodo maestro durante la sincronización primaria-secundaria de CDC Dumper.

Categoría

Descripción

Nueva función

Se habilitó a los nodos CDC (captura de datos de cambio) para construir puntos de sincronización periódicamente.

Problema corregido

Se corrigió un problema donde un fallo en la actualización del cursor de registro binario bloqueaba el consumo de datos.

Categoría

Descripción

Nuevas funciones y optimizaciones

Se habilitó a los nodos CDC para construir sync points periódicamente.

Se mejoró la validación completa de datos en la evaluación de actualización de PolarDB-X 1.0 a PolarDB-X 2.0.

Correcciones

Se corrigieron fallos en la generación de registros binarios globales causados por cambios en los metadatos.

Se corrigieron fallos en el servicio de volcado de registros binarios causados por archivos solicitados vacíos.

Categoría

Descripción

Nuevas funciones y optimizaciones

La replicación DDL primaria/secundaria ahora replica funciones.

La replicación DDL primaria/secundaria ahora replica secuencias.

La replicación DDL primaria/secundaria ahora replica vistas.

La replicación DDL primaria/secundaria ahora replica procedimientos.

La replicación DDL primaria/secundaria ahora replica cuentas, roles y permisos.

La replicación DDL primaria/secundaria ahora replica operaciones ALTER TABLEGROUP.

La replicación DDL primaria/secundaria ahora replica operaciones ALTER INDEX.

La replicación DDL primaria/secundaria ahora admite la replicación coordinada y alineada por consistencia en escenarios de registros binarios de múltiples flujos.

La replicación primaria/secundaria ahora permite crear un enlace de replicación basado en una marca de tiempo.

La replicación primaria/secundaria ahora permite usar comandos SQL para comprobar la consistencia de datos entre los sistemas ascendentes y descendentes.

Ya está disponible un nuevo rol de instancia secundaria para la replicación primaria/secundaria, que habilita capacidades de solo lectura a nivel de instancia en el clúster secundario.

La replicación primaria/secundaria ahora admite la coincidencia completa de espejo en las condiciones WHERE para escrituras DML.

Ahora puede vincular nombres de flujos de registro binario múltiple con nombres de usuario. Esto elimina la necesidad de añadir la opción 'with' al ejecutar sentencias SQL relacionadas con registros binarios usando una cuenta vinculada.

Se optimizó la replicación bidireccional basada en server_id para la replicación primaria/secundaria. Ahora puede especificar reglas de filtrado desde la línea de comandos, y el sistema comprueba automáticamente anomalías en server_id.

Correcciones

Se corrigió un problema donde la sentencia MULTI ALTER ADD/DROP COLUMN generaba un orden de columnas de metadatos incorrecto, lo que interrumpía el enlace de registro binario.

Se corrigió un problema donde la sentencia MULTI ALTER ADD/DROP/RENAME INDEX podía provocar la pérdida de metadatos de índices, lo que resultaba en el registro de una sentencia DDL incorrecta en el registro binario.

Se corrigió un defecto de configuración en el parámetro meta_build_physical_ddl_sql_blacklist_regex que filtraba sentencias DDL ALTER si contenían la palabra clave 'user'.

Se corrigió un problema donde las sentencias DDL DROP INDEX no se escribían en el registro binario.

Categoría

Descripción

Nueva función

Se añadieron comandos de operación y mantenimiento relacionados con registros binarios, como show full binary logs y show full master status.

Problema corregido

Se corrigió un problema donde la coincidencia exacta fallaba en SQL flashback.

Categoría

Descripción

Nueva función

Se añadió el comando SHOW FULL MASTER STATUS.

Optimización de funciones

Se mejoró la compatibilidad del volcado de registros binarios de MySQL para admitir parámetros como checksum y heartbeat.

Categoría

Descripción

Nueva función

Añade compatibilidad con SQL flashback para revertir una transacción completa.

Problema corregido

Se corrigió el método de registro de los latidos TSO en el registro binario para resolver fallos en los consumidores MySQL descendentes.

Categoría

Descripción

Optimización

Se optimizó el tiempo de espera del control de contrapresión gRPC, lo que elevó la velocidad externa de volcado de registros binarios a 130 MB/s.

Correcciones

Se corrigió un problema que impedía finalizar SQL flashback cuando no había operaciones DML ni DDL dentro del rango de tiempo especificado.

Categoría

Descripción

Optimización

Se optimizó la sentencia SHOW BINARY LOGS para resolver consultas lentas cuando hay muchos registros binarios.

Correcciones

Se corrigió un desbordamiento de búfer al dar formato a datos JSON.

Se evitó que el hilo de escaneo de metaDataSource finalizara durante un cambio de HA en metaDB mientras se actualizaba CDC.

Se corrigió un interbloqueo al actualizar binlog_dumper_info.

Categoría

Descripción

Nuevas funciones y optimizaciones

Se añadió compatibilidad con la sentencia FLUSH LOGS.

Se optimizó la velocidad de los volcados externos para el consumo transparente.

CDC ya no depende de is_vip para las conexiones DN.

Se eliminó la dependencia de control para obtener una conexión MetaDB en CDC.

Correcciones

Se corrigió un error de sintaxis en sentencias de creación de tablas con una definición de columna BIGINT SIGNED.

Se corrigió un problema donde el algoritmo de generación de recover tso podía causar huecos en la lista de registros binarios.

Se corrigió un problema donde el volcado de una tarea no encontraba el desplazamiento inicial en el DN de la instancia primaria después de escalar una instancia de solo lectura.

Categoría

Descripción

Nueva función

Se añadió compatibilidad con la persistencia de objetos de transacción para reducir el uso de memoria.

Correcciones

Se corrigió un problema donde recover tso no podía ser menor que el TSO de la transacción etiquetada por escalado más reciente al recuperar con base en un TSO histórico.

Se corrigió un bug donde el hilo gRPC no lograba salir cuando se eliminaban archivos locales en Dumper Master durante la sincronización primaria-secundaria de CDC Dumper.

Categoría

Descripción

Correcciones

Se corrigió un error de enlace causado por un conflicto de ventana de latidos al consumir un registro binario desde OSS.

Se corrigió un error de conversión de formato de datos al dar formato a un TableMapEvent.

Se corrigió una discrepancia en el valor de Sql_Mode entre el evento DDL y el valor original.

Se corrigieron metadatos inconsistentes entre tablas lógicas y físicas para los tipos nchar y nvarchar.

Se corrigió un problema que impedía convertir a comentarios de una sola línea las sentencias DDL SQL con saltos de línea.

Categoría

Descripción

Nuevas funciones y optimizaciones

Se agregó compatibilidad con el monitoreo del uso de CPU del proceso worker.

Se agregó compatibilidad con un monitoreo más detallado de los eventos por segundo (EPS) para las operaciones INSERT, UPDATE y DELETE.

Se optimizó la velocidad de carga de los archivos de registro binario hacia Object Storage Service (OSS). La tasa aumentó a 700 MB/s.

Se agregaron comandos de operación y mantenimiento (O&M) para Change Data Capture (CDC), como start master, stop master, restart master y reset master.

Correcciones

Se corrigió un bloqueo prolongado durante el consumo transparente de archivos de registro binario sin conexión.

Se corrigió un problema en el que el hilo de volcado no lograba salir si se eliminaba un archivo de registro binario mientras se leía.

Se corrigieron los errores de reset master provocados por un exceso de metadatos DDL físicos.

Se corrigió una inconsistencia entre el valor Sql_Mode de un evento DDL y el valor original de sql_mode.

Se corrigió un error de MySQL descendente causado por una instrucción SQL que contenía tanto ADD PRIMARY KEY como DROP PRIMARY KEY.

Categoría

Descripción

Correcciones

Se corrigió un problema en el que el orden de las columnas era incorrecto después de ejecutar una instrucción SQL en SchemaRepository.

Se corrigió un NPE que se activaba al dar formato a una cadena vacía.

Categoría

Descripción

Corrección

Se corrigió un problema en el que los metadatos se truncaban cuando superaban la longitud del tipo de datos mediumtext.

Categoría

Descripción

Corrección de bug

Se corrigió un error de análisis sintáctico causado porque el juego de caracteres de MySQL no se convertía al juego de caracteres de Java.

Categoría

Descripción

Optimizaciones de funciones

Se redujo el RTO del enlace de sincronización de registros binarios a 15 segundos.

Se aceleró la recuperación de metadatos de CDC en despliegues con cientos de miles de tablas de datos.

Correcciones

Se corrigió un posible error de cálculo de desplazamiento al consumir registros binarios de forma transparente.

Se corrigió un problema de compatibilidad con text(0) durante las comprobaciones de consistencia de metadatos.

Categoría

Descripción

Correcciones

Se corrigieron las interrupciones del enlace de CDC causadas por la adición y eliminación continuas de claves primarias.

Se corrigió una desconexión de CDC que ocurría cuando el programa consumidor no enviaba COM_REGISTER_SLAVE antes de volcar los registros binarios.

Se corrigió una interrupción del enlace de datos en el enrutamiento de múltiples flujos cuando el valor de hash era Integer.MIN_VALUE.

Categoría

Descripción

Nuevas funciones y optimizaciones

Se agregó compatibilidad con la fusión multinivel. Esto garantiza que el rendimiento no disminuya de manera significativa conforme los nodos DN escalan linealmente.

Se agregó compatibilidad con el consumo transparente. Los programas consumidores descendentes pueden usar el protocolo de volcado para consumir directamente los archivos de registro binario archivados en OSS, sin necesidad de interactuar con OSS de forma directa.

Se agregó compatibilidad con registros binarios de múltiples flujos. Es posible personalizar la cantidad de flujos, cada uno con su propio archivo de registro binario independiente.

Se agregó compatibilidad con la creación periódica de instantáneas completas de metadatos. Esto evita que los registros históricos de etiquetado DDL crezcan de forma excesiva.

Se agregó compatibilidad con la descarga paralela de archivos de registro binario desde OSS para mejorar la velocidad de recuperación de la instancia.

Correcciones

Se corrigieron problemas de compatibilidad y exactitud al dar formato a los datos de eventos de registro binario. Esto mejora la estabilidad del enlace de CDC durante los cambios DDL.

Se corrigió un problema que podía causar tiempos de espera agotados en el volcado de suscripciones descendentes después de reiniciar el clúster de CDC.

Se corrigió un cálculo incorrecto de latencia que ocurría durante el inicio inicial del proceso Dumper.