PolarDB:CDC node release notes

Categoria

Descrição

Novos recursos e melhorias

O nó de computação agora oferece suporte a consultas AISearch.

A Global Database Network (GDN) agora detecta conflitos de transação e executa replay paralelo, melhorando o desempenho da sincronização entre regiões.

A tarefa de sincronização para instâncias somente leitura agora mescla hot keys, reduzindo o acúmulo de latência quando linhas quentes são atualizadas com frequência.

Correções

Corrigido um problema que podia interromper o processamento de CDC de um snapshot ativo contendo nomes lógicos de banco de dados ou tabelas em maiúsculas quando uma busca por ID de tabela falhava.

Resolvida uma falha em que a recodificação de valores decimais e inteiros longos em dados JSON causava perda de dados e corrompia o conteúdo JSON nos dados de log binário lógico.

Ajustada a inconsistência de posições entre dados de log binário reconstruídos e originais quando os números de sequência XID eram redefinidos durante a recuperação do DumperX.

Corrigido um erro no conversor de DDL ao normalizar conjuntos de caracteres e encontrar a palavra-chave binary.

Solucionado um problema em que uma ordem de serialização inválida para os atributos charset e collate de colunas geradas impedia a nova análise de instruções DDL.

Categoria

Descrição

Correção

Resolvido um problema de dependência circular durante a limpeza do BinlogX Relay Log do CDC.

Categoria

Descrição

Melhoria

Corrigidas exceções ocorridas durante a sincronização assíncrona de DDL.

Correção

Solucionado um problema em que o dump de binlog podia travar após uma atualização de versão do CDC e uma reconstrução de binlog.

Categoria

Descrição

Correção

Resolvido um problema em que certas instruções inválidas de criação de tabela faziam o Binlog gerar SQL incorreto.

Categoria

Descrição

Melhorias

A persistência de metadados agora é ativada automaticamente para configurações com pouca memória.

Corrigido um problema em que uma réplica não conseguia sincronizar valores de string vazia para campos JSON não nulos.

Correções

Resolvido um problema em que múltiplas instruções CREATE DATABASE IF NOT EXISTS podiam interromper um nó de log durante o dimensionamento ou expansão de nós de dados.

Ajustado um erro ocasional reportado pelo nó de log ao recuperar o endereço do METADB.

Categoria

Descrição

Novos recursos e melhorias

Atualizado o CDC (nó de log) para a versão 5.4.21.

O CDC (nó de log) agora oferece suporte à nova variável de evento de consulta DN Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Introduzido suporte para compressão de Binlog.

Melhorado o desempenho de sincronização de dados do columnar store index (CCI).

Otimizada a velocidade de recuperação do CDC (nó de log) quando um nó de armazenamento (DN) passa por uma mudança de especificação.

Correções

Corrigido um erro que ocorria quando ferramentas de sincronização de dados downstream, como Flink CDC, analisavam eventos de Binlog do tipo FORMAT_DESCRIPTION_EVENT.

Resolvido um erro no columnar store index (CCI) ao analisar instruções DDL contendo o caractere de comentário #.

Ajustado um erro ocasional no pipeline de consumo de Binlog que ocorria durante alta taxa de geração de Binlog.

Corrigidas interrupções intermitentes de conexão com instâncias PolarDB-X downstream causadas por filtragem no lado da source no CDC (nó de log).

Solucionada uma falha na JVM causada por coleta de lixo (GC) frequente quando o CDC (nó de log) é executado em instâncias extra-grandes.

Corrigidas interrupções no link principal do CDC (nó de log) que ocorriam durante operações ALTER em nomes de tabelas com crases ``.

Categoria

Descrição

Novos recursos

O Binlog Dump agora filtra eventos de exclusão de tabelas arquivadas ao gerar um Binlog.

Categoria

Descrição

Melhorias

Introduzido o recurso de tabela virtual para mapear múltiplas tabelas físicas qualificadas para uma única tabela virtual usando regras de mapeamento.

Adicionado o parâmetro daemon_tso_heartbeat_suspend_enabled para controlar a suspensão de heartbeats do service TSO sob condições específicas.

Otimizada a sincronização de dados do binlog para o CCI.

Correções

Corrigido um potencial erro OOM no nó de log CDC, acionado por um evento de binlog excessivamente grande durante a recuperação do pipeline de binlog.

Categoria

Descrição

Novos recursos

Agora é possível modifique a chave de partição e a chave de ordenação de um clustered columnstore index (CCI). Este recurso melhora o gerenciamento de dados permitindo adaptar a distribuição de dados e a estratégia de ordenação do CCI às mudanças de negócio, otimizando o desempenho de consultas sem exigir reconstrução de índice.

Adicionado suporte para in-place rebuilding of a clustered columnstore index (CCI). Esta operação permite otimizar e reorganizar um CCI sem impacto em consultas ativas ou acesso a dados históricos.

Problemas corrigidos

Corrigido um problema em que um nó de dados (DN) podia interromper o fluxo de dados ao usar o service de log binário de fluxo único.

Categoria

Descrição

Novo recurso

O nó CDC agora filtra eventos de exclusão de tabelas arquivadas ao gerar logs binários.

Categoria

Descrição

Novo recurso

CDC (nós CDC): Logs binários de múltiplos fluxos agora suportam mapeamento um para um entre um nó de armazenamento e um fluxo de log binário.

Otimizações de recursos

Otimizado o gerenciamento de memória para operações de dump no binary logs.

Aumentada a taxa de saída de logs binários dos nós CDC para sistemas downstream.

Reduzida a carga no service global de metadados (GMS) mediante a otimização de instruções SQL dos nós CDC.

Categoria

Descrição

Novo recurso

Change Data Capture (CDC): O log binário de múltiplos fluxos em nós de log agora suporta mapeamento um para um entre um nó de armazenamento e um fluxo de log binário.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para restrições CHECK. Para detalhes, consulte CHECK constraints.

Otimizada a política de alocação para memória direta off-heap do CDC para evitar OOM devido a alocação insuficiente de memória direta.

Aprimorado o mecanismo de reinicialização forçada para timeouts do CDC, permitindo reinícios mesmo quando o processo worker do CDC está bloqueado.

Categoria

Descrição

Melhorias

Aumentado o tamanho padrão de um único arquivo de log binário para 1 GB e habilitada a rotação automática quando o número do arquivo excede 999.999.

Melhorada a lógica de baixe para arquivos de log binário consumidos transparentemente.

Categoria

Descrição

Otimizações de recursos

Otimizada a lógica de replicação para nós primários e secundários.

Aprimorada a lógica de detecção de timeout de heartbeat para o módulo de alta disponibilidade (HA) do CDC, evitando reinicializações desnecessárias de processos.

Correções

Corrigido um problema em que uma atualize de uma versão anterior do CDC era interrompida devido à ausência do campo RuntimeVersion na configuração da tabela do sistema.

Resolvido um problema em que o atributo WITH PARSER NGRAM estava ausente na saída da instrução SHOW CREATE TABLE.

Categoria

Descrição

Correção

Corrigido um bug que causava interrupções no link do CDC devido a problemas de compatibilidade ao processar tipos REAL e DOUBLE nos metadados do CDC.

Categoria

Descrição

Correções

Corrigido um problema em que uma única instrução SQL atualizando múltiplas tabelas gerava TableMapEvents consecutivos, resultando em TraceIDs desordenados.

Categoria

Descrição

Correções

Corrigido um problema em que o processo do CDC falhava ao iniciar quando um único nó de computação estava indisponível.

Resolvido um problema em que operações de dump falhavam devido a offsets inconsistentes entre a memória e um arquivo de log binário.

Categoria

Descrição

Correções

Corrigido um problema em que a instrução SHOW FULL BINARY LOGS retornava informações incompletas.

Resolvido um problema em que um arquivo de log binário era perdido durante a reconstrução de topologia do CDC devido a uploads simultâneos do mesmo arquivo.

Corrigidos problemas em que o parser SQL falhava ao analisar instruções ALTER com grupos de tabelas implícitos e não processava corretamente instruções de marcação.

Ajustado um problema em que o link de replicação não conseguia se recuperar automaticamente. Essa falha ocorria quando o sistema excluía arquivos locais no nó mestre durante a sincronização primário-secundária do Dumper CDC.

Categoria

Descrição

Novo recurso

Habilitados os nós CDC (captura de dados de alteração) para construir pontos de sincronização periodicamente.

Problema corrigido

Corrigido um problema em que uma falha na atualize do cursor de log binário bloqueava o consumo de dados.

Categoria

Descrição

Novos recursos e otimizações

Habilitados os nós CDC para construir sync points periodicamente.

Melhorada a validação completa de dados na avaliação de upgrade do PolarDB-X 1.0 para o PolarDB-X 2.0.

Correções

Corrigidas falhas na geração de log binário global causadas por alterações de metadados.

Resolvidas falhas no service de dump de log binário causadas por arquivos de log binário solicitados vazios.

Categoria

Descrição

Novos recursos e otimizações

A replicação DDL primário/secundário agora replica funções.

A replicação DDL primário/secundário agora replica sequências.

A replicação DDL primário/secundário agora replica views.

A replicação DDL primário/secundário agora replica procedures.

A replicação DDL primário/secundário agora replica contas, funções e permissões.

A replicação DDL primário/secundário agora replica operações ALTER TABLEGROUP.

A replicação DDL primário/secundário agora replica operações ALTER INDEX.

A replicação DDL primário/secundário agora suporta replicação alinhada e coordenada por consistência em cenários de log binário de múltiplos fluxos.

A replicação primário/secundário agora permite crie um link de replicação baseado em timestamp.

A replicação primário/secundário agora permite usar comandos SQL para verifique a consistência de dados entre sistemas upstream e downstream.

Uma nova função de instância secundária para replicação primário/secundário está disponível, habilitando capacidades de somente leitura no nível da instância no cluster secundário.

A replicação primário/secundário agora suporta correspondência espelhada completa de condições WHERE para escritas DML.

Agora é possível vincular nomes de fluxos de log binário de múltiplos fluxos a nomes de usuário. Isso elimina a necessidade de adicionar a opção 'with' ao executar instruções SQL relacionadas a log binário com uma conta vinculada.

Otimizada a replicação bidirecional baseada em server_id para replicação primário/secundário. Agora é possível especifique regras de filtro via linha de comando, e o sistema verifica automaticamente anomalias de server_id.

Correções

Corrigido um problema em que a instrução MULTI ALTER ADD/DROP COLUMN causava uma ordem incorreta de colunas de metadados, interrompendo o link de log binário.

Resolvido um problema em que a instrução MULTI ALTER ADD/DROP/RENAME INDEX podia causar perda de metadados de índice, resultando no registro de uma instrução DDL incorreta no log binário.

Corrigida uma falha de configuração no parâmetro meta_build_physical_ddl_sql_blacklist_regex que causava a filtragem de instruções DDL ALTER se contivessem a palavra-chave 'user'.

Ajustado um problema em que instruções DDL DROP INDEX não eram gravadas no log binário.

Categoria

Descrição

Novo recurso

Adicionados comandos de O&M relacionados a binlog, como show full binary logs e show full master status.

Problema corrigido

Corrigido um problema em que a correspondência exata falhava no flashback SQL.

Categoria

Descrição

Novo recurso

Adicionado o comando SHOW FULL MASTER STATUS.

Otimização de recurso

Melhorada a compatibilidade do dump de binlog MySQL para suportar parâmetros como checksum e heartbeat.

Categoria

Descrição

Novo recurso

Adicionado suporte para flashback SQL reverter uma transação inteira.

Problema corrigido

Corrigido o método de registro de heartbeats TSO no log binário para resolver falhas em consumidores MySQL downstream.

Categoria

Descrição

Otimização

Otimizado o tempo de espera para controle de backpressure gRPC, aumentando a velocidade externa de dump de binlog para 130 MB/s.

Correções

Corrigido um problema que impedia a conclusão do flashback SQL quando nenhuma operação DML ou DDL ocorria dentro do intervalo de tempo especificado.

Categoria

Descrição

Otimização

Otimizada a instrução SHOW BINARY LOGS para resolver consultas lentas quando há muitos binlogs presentes.

Correções

Corrigido um estouro de buffer ao formatar dados JSON.

Impedida a saída da thread de varredura metaDataSource durante um failover de HA no metaDB durante uma atualize do CDC.

Corrigido um deadlock ao atualizar binlog_dumper_info.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para a instrução FLUSH LOGS.

Otimizada a velocidade de dumps externos para consumo transparente.

O CDC não depende mais de is_vip para conexões DN.

Removida a dependência de controle para obter uma conexão MetaDB no CDC.

Correções

Corrigido um erro de sintaxe em instruções de criação de tabela com definição de coluna BIGINT SIGNED.

Resolvido um problema em que o algoritmo de geração recover tso podia causar lacunas na lista de log binário.

Corrigido um problema em que um dump de tarefa falhava ao encontrar o offset inicial no DN da instância primária após o dimensionamento de uma instância somente leitura.

Categoria

Descrição

Novo recurso

Adicionado suporte para persistência de objetos de transação visando reduzir o uso de memória.

Correções

Corrigido um problema em que recover tso não podia ser menor que o TSO da transação marcada por dimensionamento mais recente ao recuperar com base em um TSO histórico.

Corrigido um bug em que a thread gRPC falhava ao sair quando arquivos locais no Dumper Master eram excluídos durante a sincronização primário-secundária do Dumper CDC.

Categoria

Descrição

Correções

Corrigido um erro de link causado por conflito de janela de heartbeat ao consumir um log binário do OSS.

Corrigido um erro de conversão de formato de dados ao formatar um TableMapEvent.

Corrigida uma incompatibilidade de valor Sql_Mode entre o Evento DDL e o valor original.

Corrigidos metadados inconsistentes entre tabelas lógicas e físicas para os tipos nchar e nvarchar.

Resolvido um problema que impedia a conversão de instruções DDL SQL com quebras de linha para comentários de linha única.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para monitoramento da utilização de CPU do processo worker.

Adicionado suporte para monitoramento mais granular de Eventos Por Segundo (EPS) para operações INSERT, UPDATE e DELETE.

Otimizada a velocidade de upload de arquivos de log binário para o Object Storage Service (OSS), aumentando a taxa para 700 MB/s.

Adicionados comandos de Operações e Manutenção (O&M) para Change Data Capture (CDC), como start master, stop master, restart master e reset master.

Correções

Corrigido bloqueio prolongado durante o consumo transparente de arquivos de log binário offline.

Resolvido um problema em que a thread de dump falhava ao sair se um arquivo de log binário fosse excluído enquanto estava sendo lido.

Corrigidas falhas no reset master causadas por excesso de metadados DDL físicos.

Corrigida uma inconsistência entre o valor Sql_Mode em um evento DDL e o valor original sql_mode.

Corrigido um erro de MySQL downstream causado por uma instrução SQL contendo tanto ADD PRIMARY KEY quanto DROP PRIMARY KEY.

Categoria

Descrição

Correções

Corrigido um problema em que a ordem das colunas estava incorreta após a execução de uma instrução SQL no SchemaRepository.

Corrigido um NPE acionado ao formatar dados de string vazia.

Categoria

Descrição

Correção

Corrigido um problema em que os metadados eram truncados quando excediam o comprimento do tipo de dados mediumtext.

Categoria

Descrição

Correção de bug

Corrigida uma falha de análise causada pela não conversão do charset MySQL para o charset Java.

Categoria

Descrição

Otimizações de recursos

Reduzido o RTO do link de sincronização de log binário para 15 segundos.

Acelerada a recuperação de metadados do CDC para implantações com centenas de milhares de tabelas de dados.

Correções

Corrigido um potencial erro de cálculo de offset ao consumir logs binários transparentemente.

Resolvido um problema de compatibilidade com text(0) durante verificações de consistência de metadados.

Categoria

Descrição

Correções

Corrigidas interrupções no link CDC causadas pela adição e exclusão contínuas de chaves primárias.

Resolvida uma desconexão do CDC que ocorria quando o programa consumidor falhava ao enviar COM_REGISTER_SLAVE antes de fazer o dump de logs binários.

Corrigida uma interrupção no link de dados no roteamento de dados de múltiplos fluxos quando o valor hash era Integer.MIN_VALUE.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para mesclagem de múltiplos níveis. Isso garante que o desempenho não diminua significativamente à medida que os nós DN escalam linearmente.

Adicionado suporte para consumo transparente. Programas consumidores downstream podem usar o protocolo de dump para consumir diretamente arquivos de log binário arquivados no OSS sem precisar interagir diretamente com o OSS.

Adicionado suporte para log binário de múltiplos fluxos. É possível personalizar o número de fluxos, cada um com seu próprio arquivo de log binário independente.

Adicionado suporte para construção periódica de snapshots completos de metadados. Isso evita que registros históricos de marcação DDL cresçam excessivamente.

Adicionado suporte para baixe paralelo de arquivos de log binário do OSS para melhorar a velocidade de recuperação da instância.

Correções

Corrigidos problemas de compatibilidade e correção na formatação de dados de eventos de log binário, melhorando a estabilidade do link CDC durante alterações de DDL.

Resolvido um problema que podia causar timeouts de dump para assinaturas downstream após uma reinicialização do cluster CDC.

Corrigido um cálculo incorreto de latência que ocorria durante a inicialização inicial do processo Dumper.