PolarDB:CDC node release notes

Categoria

Descrição

Novos recursos e melhorias

O nó de computação agora oferece suporte a consultas vetoriais.

A Global Database Network (GDN) agora oferece suporte à detecção de conflitos de transação e replay paralelo, melhorando o desempenho da sincronização entre regiões.

A tarefa de sincronização para instâncias somente leitura agora oferece suporte à mesclagem de chaves quentes, reduzindo o acúmulo de latência quando linhas quentes são atualizadas com frequência.

Correção

Corrigido um problema que podia interromper o processamento de CDC de um snapshot ativo contendo nomes de bancos de dados ou tabelas lógicas em letras maiúsculas quando uma pesquisa de ID de tabela falhava.

Corrigido um problema em que a recodificação de valores decimais e inteiros longos em dados JSON podia causar perda de dados e corromper o conteúdo JSON nos dados de log binário lógico.

Corrigidas posições inconsistentes entre dados de log binário reconstruídos e dados de log binário originais quando os números de sequência XID eram redefinidos durante a recuperação do DumperX.

Corrigido um erro quando o conversor de DDL normalizava conjuntos de caracteres e encontrava a palavra-chave binary.

Corrigido um problema em que uma ordem de serialização inválida para os atributos charset e collate de colunas geradas impedia que instruções DDL fossem analisadas novamente.

Categoria

Descrição

Correção

Corrigido um problema de dependência circular durante a limpeza do Relay Log do BinlogX do CDC.

Categoria

Descrição

Melhoria

Corrigidas exceções que ocorriam durante a sincronização assíncrona de DDL.

Correção

Corrigido um problema em que o dump do binlog podia travar após uma atualize de versão do CDC e uma reconstrução do binlog.

Categoria

Descrição

Corrigido

Corrigido um problema em que certas instruções inválidas de crie tabela faziam o Binlog gerar SQL incorreto.

Categoria

Descrição

Melhorias

A persistência de metadados agora é ativada automaticamente para configurações de pouca memória.

Corrigido um problema em que uma réplica não conseguia sincronizar valores de string vazios para campos JSON não nulos.

Correções

Corrigido um problema em que múltiplas instruções CREATE DATABASE IF NOT EXISTS podiam interromper um nó de log durante o scale-up ou dimensionamento do nó de dados.

Corrigido um problema em que um nó de log ocasionalmente relatava um erro ao recuperar o endereço do METADB.

Categoria

Descrição

Novos recursos e melhorias

CDC (nó de log) atualizado para a versão 5.4.21.

O CDC (nó de log) agora oferece suporte à nova variável de evento de consulta DN Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Introduzido suporte para compactação de Binlog.

Melhorado o desempenho de sincronização de dados do columnar store index (CCI).

Otimizada a velocidade de recuperação do CDC (nó de log) quando um nó de armazenamento (DN) passa por uma alteração de especificação.

Correções

Corrigido um erro que ocorria quando ferramentas de sincronização de dados downstream, como o Flink CDC, analisavam eventos de Binlog do tipo FORMAT_DESCRIPTION_EVENT.

Corrigido um erro no columnar store index (CCI) ao analisar instruções DDL contendo o caractere de comentário #.

Corrigido um erro ocasional no pipeline de consumo de Binlog que ocorria durante a geração de Binlog em alta taxa.

Corrigidas interrupções intermitentes de conexão com instâncias downstream do PolarDB-X causadas por filtragem no lado da source no CDC (nó de log).

Corrigida uma falha da JVM causada por coleta de lixo (GC) frequente quando o CDC (nó de log) é executado em instâncias extragrandes.

Corrigidas interrupções no link principal do CDC (nó de log) que ocorriam durante operações ALTER em nomes de tabelas com crases ``.

Categoria

Descrição

Novos recursos

O Binlog Dump agora filtra eventos de exclua de tabelas arquivadas ao gerar um Binlog.

Categoria

Descrição

Melhorias

Introduzido o recurso de tabela virtual para mapear múltiplas tabelas físicas qualificadas para uma única tabela virtual usando regras de mapeamento.

Adicionado o parâmetro daemon_tso_heartbeat_suspend_enabled para controlar a suspensão de heartbeats do service TSO sob condições específicas.

Otimizada a sincronização de dados do binlog para o CCI.

Correções

Corrigido um potencial erro de OOM no nó de log do CDC, acionado por um evento de binlog oversized durante a recuperação do pipeline de binlog.

Categoria

Descrição

Novos recursos

Agora, modifique a chave de partição e a chave de classificação de um clustered columnstore index (CCI). Este recurso melhora o gerenciamento de dados ao permitir que você adapte a estratégia de distribuição e classificação de dados do CCI às mudanças de negócios, o que otimiza o desempenho de consultas sem exigir a reconstrução do índice.

Adicionado suporte para o in-place rebuilding of a clustered columnstore index (CCI). Esta operação permite otimizar e reorganizar um CCI sem impacto nas consultas ativas ou no acesso a dados históricos.

Problemas corrigidos

Corrigido um problema em que um nó de dados (DN) podia interromper o fluxo de dados ao usar o service de log binário de fluxo único.

Categoria

Descrição

Novo recurso

O nó CDC agora filtra eventos de exclua de tabelas arquivadas ao gerar logs binários.

Categoria

Descrição

Novo recurso

CDC (nós CDC): Logs binários de múltiplos fluxos agora oferecem suporte a um mapeamento um para um entre um nó de armazenamento e um fluxo de log binário.

Otimizações de recursos

Otimizado o gerenciamento de memória para operações de dump no binary logs.

Aumentada a taxa de saída de logs binários dos nós CDC para sistemas downstream.

Reduzida a carga no global meta service (GMS) otimizando instruções SQL dos nós CDC.

Categoria

Descrição

Novo recurso

Change Data Capture (CDC): O log binário de múltiplos fluxos em nós de log agora oferece suporte a um mapeamento um para um entre um nó de armazenamento e um fluxo de log binário.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para restrições CHECK. Para mais detalhes, consulte CHECK constraints.

Otimizada a política de alocação para memória direta off-heap do CDC para evitar OOM por alocação insuficiente de memória direta.

Otimizado o mecanismo de reinicialização forçada para timeouts do CDC para permitir reinicializações mesmo quando o processo worker do CDC está bloqueado.

Categoria

Descrição

Melhorias

Aumentado o tamanho padrão de um único arquivo de log binário para 1 GB e ativada a rotação automática quando o número do arquivo excede 999.999.

Melhorada a lógica de baixe para arquivos de log binário consumidos de forma transparente.

Categoria

Descrição

Otimizações de recursos

Otimizada a lógica de replicação para nós primários e secundários.

Otimizada a lógica de detecção de timeout de heartbeat para o módulo de alta disponibilidade (HA) do CDC para evitar reinicializações desnecessárias de processos.

Correções

Corrigido um problema em que uma atualize de uma versão anterior do CDC seria interrompida devido a um campo RuntimeVersion ausente na configuração da tabela do sistema.

Corrigido um problema em que o atributo WITH PARSER NGRAM estava ausente na saída da instrução SHOW CREATE TABLE.

Categoria

Descrição

Correção

Corrigido um bug que causava interrupções no link do CDC devido a problemas de compatibilidade ao processar os tipos REAL e DOUBLE nos metadados do CDC.

Categoria

Descrição

Correções

Corrigido um problema em que uma única instrução SQL atualizando múltiplas tabelas gerava TableMapEvents consecutivos, resultando em TraceIDs desordenados.

Categoria

Descrição

Correções

Corrigido um problema em que o processo do CDC falhava ao iniciar quando um único nó de computação estava indisponível.

Corrigido um problema em que operações de dump falhavam devido a offsets inconsistentes entre a memória e um arquivo de log binário.

Categoria

Descrição

Correções

Corrigido um problema em que a instrução SHOW FULL BINARY LOGS retornava informações incompletas.

Corrigido um problema em que um arquivo de log binário era perdido durante a reconstrução da topologia do CDC devido a uploads simultâneos do mesmo arquivo.

Corrigidos problemas em que o analisador SQL falhava ao analisar instruções ALTER com grupos de tabelas implícitos e falhava ao processar corretamente instruções de marcação.

Corrigido um problema em que o link de replicação não conseguia se recuperar automaticamente. Essa falha era causada quando o sistema exclua arquivos locais no nó mestre durante a sincronização primário-secundário do CDC Dumper.

Categoria

Descrição

Novo recurso

Capacitados os nós de CDC (change data capture) para construir pontos de sincronização periodicamente.

Problema corrigido

Corrigido um problema em que uma falha na atualize do cursor de log binário bloqueava o consumo de dados.

Categoria

Descrição

Novos recursos e otimizações

Capacitados os nós CDC para construir sync points periodicamente.

Melhorada a validação completa de dados na avaliação de atualize do PolarDB-X 1.0 para o PolarDB-X 2.0.

Correções

Corrigidas falhas na geração de log binário global causadas por alterações de metadados.

Corrigidas falhas no service de dump de log binário causadas por arquivos de log binário solicitados vazios.

Categoria

Descrição

Novos recursos e otimizações

A replicação de DDL primário/secundário agora replica funções.

A replicação de DDL primário/secundário agora replica sequências.

A replicação de DDL primário/secundário agora replica views.

A replicação de DDL primário/secundário agora replica procedures.

A replicação de DDL primário/secundário agora replica contas, funções (roles) e permissões.

A replicação de DDL primário/secundário agora replica operações ALTER TABLEGROUP.

A replicação de DDL primário/secundário agora replica operações ALTER INDEX.

A replicação de DDL primário/secundário agora oferece suporte à replicação coordenada por consistência e alinhada em cenários de log binário de múltiplos fluxos.

A replicação primário/secundário agora permite crie um link de replicação com base em um timestamp.

A replicação primário/secundário agora permite usar comandos SQL para verifique a consistência de dados entre sistemas upstream e downstream.

Uma nova função de instância secundária para replicação primário/secundário está agora disponível, permitindo capacidades de somente leitura no nível da instância no cluster secundário.

A replicação primário/secundário agora oferece suporte à correspondência espelhada completa de condições WHERE para gravações DML.

Agora você pode vincular nomes de fluxos de log binário de múltiplos fluxos a nomes de usuários. Isso elimina a necessidade de adicionar a opção 'with' ao executar instruções SQL relacionadas a log binário com uma conta vinculada.

Otimizada a replicação bidirecional baseada em server_id para replicação primário/secundário. Agora, especifique regras de filtro a partir da linha de comando, e o sistema agora verifique automaticamente anomalias de server_id.

Correções

Corrigido um problema em que a instrução MULTI ALTER ADD/DROP COLUMN causava uma ordem incorreta de colunas de metadados, o que interrompia o link de log binário.

Corrigido um problema em que a instrução MULTI ALTER ADD/DROP/RENAME INDEX podia causar a perda de metadados de índice, o que resultava em uma instrução DDL incorreta sendo registrada no log binário.

Corrigido um defeito de configuração no parâmetro meta_build_physical_ddl_sql_blacklist_regex que causava a filtragem de instruções ALTER DDL se elas contivessem a palavra-chave 'user'.

Corrigido um problema em que instruções DDL DROP INDEX não eram gravadas no log binário.

Categoria

Descrição

Novo recurso

Adicionados comandos de O&M relacionados a binlog, como show full binary logs e show full master status.

Problema corrigido

Corrigido um problema em que a correspondência exata falhava no SQL flashback.

Categoria

Descrição

Novo recurso

Adicionado o comando SHOW FULL MASTER STATUS.

Otimização de recurso

Melhorada a compatibilidade de dump de binlog do MySQL para oferecer suporte a parâmetros como checksum e heartbeat.

Categoria

Descrição

Novo recurso

Adicionado suporte para SQL flashback para reverter uma transação inteira.

Problema corrigido

Corrigido o método de gravação para heartbeats TSO no log binário para resolver falhas em consumidores MySQL downstream.

Categoria

Descrição

Otimização

Otimizado o tempo de sleep para controle de backpressure gRPC, aumentando a velocidade de dump de binlog externo para 130 MB/s.

Correções

Corrigido um problema que impedia a conclusão do SQL flashback quando nenhuma operação DML ou DDL ocorria dentro do intervalo de tempo especifique.

Categoria

Descrição

Otimização

Otimizada a instrução SHOW BINARY LOGS para resolver consultas lentas quando muitos binlogs estão presentes.

Correções

Corrigido um buffer overflow ao formatar dados JSON.

Impedida a saída da thread de varredura do metaDataSource durante um switchover de HA no metaDB durante uma atualize do CDC.

Corrigido um deadlock ao atualize binlog_dumper_info.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para a instrução FLUSH LOGS.

Otimizada a velocidade de dumps externos para consumo transparente.

O CDC não depende mais de is_vip para conexões DN.

Removida a dependência de controle para recuperar uma conexão MetaDB no CDC.

Correções

Corrigido um erro de sintaxe em instruções de crie tabela com uma definição de coluna BIGINT SIGNED.

Corrigido um problema em que o algoritmo de geração recover tso podia causar lacunas na lista de log binário.

Corrigido um problema em que um dump de tarefa falhava ao encontrar o offset inicial no DN da instância primária após o dimensionamento de uma instância somente leitura.

Categoria

Descrição

Novo recurso

Adicionado suporte para persistência de objetos de transação para reduzir o uso de memória.

Correções

Corrigido um problema em que recover tso não podia ser menor que o TSO da transação marcada com scaling mais recente ao recuperar com base em um TSO histórico.

Corrigido um bug em que a thread gRPC falhava ao sair quando arquivos locais no Dumper Master eram excluídos durante a sincronização primário-secundário do CDC Dumper.

Categoria

Descrição

Correções

Corrigido um erro de link causado por um conflito de janela de heartbeat ao consumir um log binário do OSS.

Corrigido um erro de conversão de formato de dados ao formatar um TableMapEvent.

Corrigida uma incompatibilidade de valor Sql_Mode entre o Evento DDL e o valor original.

Corrigidos metadados inconsistentes entre tabelas lógicas e físicas para os tipos nchar e nvarchar.

Corrigido um problema que impedia que instruções SQL DDL com quebras de linha fossem convertidas em comentários de linha única.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para monitoramento da utilização de CPU do processo worker.

Adicionado suporte para monitoramento mais granular de Eventos Por Segundo (EPS) para operações INSERT, UPDATE e DELETE.

Otimizada a velocidade de upload de arquivos de log binário para o Object Storage Service (OSS), aumentando a taxa para 700 MB/s.

Adicionados comandos de Operações e Manutenção (O&M) para Change Data Capture (CDC), como start master, stop master, restart master e reset master.

Correções

Corrigido bloqueio longo durante o consumo transparente de arquivos de log binário offline.

Corrigido um problema em que a thread de dump falhava ao sair se um arquivo de log binário fosse excluído enquanto estava sendo lido.

Corrigidas falhas de reset master causadas por metadados DDL físicos excessivos.

Corrigida uma inconsistência entre o valor Sql_Mode em um evento DDL e o valor sql_mode original.

Corrigido um erro de MySQL downstream causado por uma instrução SQL contendo tanto ADD PRIMARY KEY quanto DROP PRIMARY KEY.

Categoria

Descrição

Correções

Corrigido um problema em que a ordem das colunas estava incorreta após a execução de uma instrução SQL no SchemaRepository.

Corrigido um NPE acionado ao formatar uma string vazia.

Categoria

Descrição

Correção

Corrigido um problema em que os metadados eram truncados quando excediam o comprimento do tipo de dados mediumtext.

Categoria

Descrição

Correção de bug

Corrigida uma falha de análise causada pela não conversão do charset do MySQL para o charset do Java.

Categoria

Descrição

Otimizações de recursos

Reduzido o RTO do link de sincronização de log binário para 15 segundos.

Acelerada a recuperação de metadados do CDC para implantações com centenas de milhares de tabelas de dados.

Correções

Corrigido um potencial erro de cálculo de offset ao consumir logs binários de forma transparente.

Corrigido um problema de compatibilidade com text(0) durante verifique de consistência de metadados.

Categoria

Descrição

Correções

Corrigidas interrupções no link do CDC causadas pela adição e exclua contínuas de chaves primárias.

Corrigida uma desconexão do CDC que ocorria quando o programa consumidor falhava ao enviar COM_REGISTER_SLAVE antes de fazer o dump de logs binários.

Corrigida uma interrupção no link de dados no roteamento de dados de múltiplos fluxos quando o valor de hash era Integer.MIN_VALUE.

Categoria

Descrição

Novos recursos e otimizações

Adicionado suporte para mesclagem de múltiplos níveis. Isso garante que o desempenho não diminua significativamente à medida que os nós DN escalam linearmente.

Adicionado suporte para consumo transparente. Programas consumidores downstream podem usar o protocolo de dump para consumir diretamente arquivos de log binário arquivados no OSS sem precisar interfacear com o OSS diretamente.

Adicionado suporte para log binário de múltiplos fluxos. Você pode personalizar o número de fluxos, cada um com seu próprio arquivo de log binário independente.

Adicionado suporte para construção periódica de snapshots de metadados completos. Isso evita que os registros históricos de marcação DDL cresçam excessivamente.

Adicionado suporte para baixe de arquivos de log binário do OSS em paralelo para melhorar a velocidade de recuperação da instância.

Correções

Corrigidos problemas de compatibilidade e correção na formatação de dados de eventos de log binário, melhorando a estabilidade do link do CDC durante alterações de DDL.

Corrigido um problema que podia causar timeouts de dump para assinaturas downstream após uma reinicialização do cluster CDC.

Corrigido um cálculo incorreto de latência que ocorria durante a inicialização inicial do processo Dumper.