PolarDB:Notas de versão do PolarDB-X CDC

Categoria

Descrição

Correção

Corrigida uma dependência circular durante a limpeza de Relay Log do BinlogX no CDC.

Categoria

Descrição

Melhoria

Corrigidas exceções durante a sincronização assíncrona de DDL.

Correção

Corrigido um problema em que o dump do binlog podia travar após uma atualização de versão do CDC e uma reconstrução do binlog.

Categoria

Descrição

Correção

Corrigido um problema em que certas instruções inválidas de criação de tabela faziam o Binlog gerar SQL incorreto.

Categoria

Descrição

Melhorias

A persistência de metadados agora é ativada automaticamente em configurações com pouca memória.

Corrigida a incapacidade de uma réplica sincronizar valores de string vazia para campos JSON não nulos.

Correções

Corrigida a interrupção de um nó de log por múltiplas instruções CREATE DATABASE IF NOT EXISTS durante o dimensionamento ou expansão de nós de dados.

Corrigido um erro ocasional relatado por um nó de log ao recuperar o endereço do METADB.

Categoria

Descrição

Novos recursos e melhorias

CDC (nó de log) atualizado para a versão 5.4.21.

O CDC (nó de log) agora suporta a nova variável de evento de consulta DN Q_OPT_INDEX_FORMAT_HIPPO_ENABLED.

Suporte adicionado para compressão de Binlog.

Desempenho de sincronização de dados do índice de armazenamento colunar (CCI) aprimorado.

Velocidade de recuperação do CDC (nó de log) otimizada quando um nó de armazenamento (DN) passa por uma alteração de especificação.

Correções

Corrigido um erro ocorrido quando ferramentas de sincronização de dados downstream, como Flink CDC, analisavam eventos de Binlog do tipo FORMAT_DESCRIPTION_EVENT.

Corrigido um erro no índice de armazenamento colunar (CCI) ao analisar instruções DDL contendo o caractere de comentário #.

Corrigido um erro ocasional no pipeline de consumo de Binlog durante a geração de Binlog em alta taxa.

Corrigidas interrupções intermitentes de conexão com instâncias PolarDB-X downstream causadas por filtragem na origem no CDC (nó de log).

Corrigida uma falha na JVM causada por coleta de lixo (GC) frequente quando o CDC (nó de log) é executado em instâncias extragrandes.

Corrigidas interrupções no link principal do CDC (nó de log) durante operações ALTER em nomes de tabelas com crases ``.

Categoria

Descrição

Melhorias

Mecanismo de gerenciamento de binlog otimizado. O tamanho padrão de um único arquivo binlog agora é de 1 GB, e a rotação automática ocorre quando o número de sequência do arquivo excede 999.999.

Desempenho da sincronização de binlog para o CCI aprimorado.

Categoria

Descrição

Novos recursos

O Binlog Dump agora filtra eventos de exclusão de tabelas arquivadas ao gerar um Binlog.

Categoria

Descrição

Melhorias

Recurso de tabela virtual introduzido para mapear múltiplas tabelas físicas elegíveis para uma única tabela virtual usando regras de mapeamento.

Parâmetro daemon_tso_heartbeat_suspend_enabled adicionado para controlar a suspensão dos heartbeats do serviço TSO sob condições específicas.

Sincronização de dados do binlog para o CCI otimizada.

Correções

Corrigido um potencial erro de OOM no nó de log do CDC, acionado por um evento de binlog excessivamente grande durante a recuperação do pipeline de binlog.

Categoria

Descrição

Novos recursos

Agora é possível modificar a chave de partição e a chave de ordenação de um índice de armazenamento colunar clusterizado (CCI). Esse recurso aprimora o gerenciamento de dados ao permitir a adaptação da estratégia de distribuição e ordenação de dados do CCI às mudanças de negócio, otimizando o desempenho de consultas sem exigir a reconstrução do índice.

Suporte adicionado para a reconstrução in-place de um índice de armazenamento colunar clusterizado (CCI). Essa operação permite otimizar e reorganizar um CCI sem impacto nas consultas ativas ou no acesso a dados históricos.

Problemas corrigidos

Corrigido um problema em que um nó de dados (DN) podia interromper o fluxo de dados ao usar o serviço de log binário de fluxo único.

Categoria

Descrição

Novo recurso

O nó CDC agora filtra eventos de exclusão de tabelas arquivadas ao gerar logs binários.

Categoria

Descrição

Novo recurso

CDC (nós CDC): Logs binários de múltiplos fluxos agora suportam um mapeamento um-para-um entre um nó de armazenamento e um fluxo de log binário.

Otimizações de recursos

Gerenciamento de memória otimizado para operações de dump em logs binários.

Taxa de saída de logs binários dos nós CDC para sistemas downstream aumentada.

Carga no serviço de meta global (GMS) reduzida pela otimização de instruções SQL dos nós CDC.

Categoria

Descrição

Novo recurso

Change Data Capture (CDC): O log binário de múltiplos fluxos em nós de log agora suporta um mapeamento um-para-um entre um nó de armazenamento e um fluxo de log binário.

Categoria

Descrição

Novos recursos e otimizações

Suporte adicionado para restrições CHECK. Para mais detalhes, consulte Restrições CHECK.

Política de alocação para memória direta off-heap do CDC otimizada para evitar OOM devido à alocação insuficiente de memória direta.

Mecanismo de reinicialização forçada para timeouts do CDC otimizado, permitindo reinicializações mesmo quando o processo worker do CDC está bloqueado.

Categoria

Descrição

Melhorias

Tamanho padrão de um único arquivo de log binário aumentado para 1 GB e rotação automática habilitada quando o número do arquivo excede 999.999.

Lógica de download para arquivos de log binário consumidos transparentemente aprimorada.

Categoria

Descrição

Otimizações de recursos

Lógica de replicação para nós primários e secundários otimizada.

Lógica de detecção de timeout de heartbeat para o módulo de alta disponibilidade (HA) do CDC otimizada, evitando reinicializações desnecessárias de processos.

Correções

Corrigida a interrupção de uma atualização de uma versão anterior do CDC devido à ausência do campo RuntimeVersion na configuração da tabela do sistema.

Corrigida a ausência do atributo WITH PARSER NGRAM na saída da instrução SHOW CREATE TABLE.

Categoria

Descrição

Correção

Corrigido um bug que causava interrupções no link do CDC devido a problemas de compatibilidade ao processar os tipos REAL e DOUBLE nos metadados do CDC.

Categoria

Descrição

Correções

Corrigido um problema em que uma única instrução SQL atualizando múltiplas tabelas gerava TableMapEvents consecutivos, resultando em TraceIDs desordenados.

Categoria

Descrição

Correções

Corrigida a falha ao iniciar o processo do CDC quando um único nó de computação estava indisponível.

Corrigida a falha em operações de dump devido a offsets inconsistentes entre a memória e um arquivo de log binário.

Categoria

Descrição

Correções

Corrigido o retorno de informações incompletas pela instrução SHOW FULL BINARY LOGS.

Corrigida a perda de um arquivo de log binário durante a reconstrução da topologia do CDC devido a uploads simultâneos do mesmo arquivo.

Corrigidas falhas do parser SQL ao analisar instruções ALTER com grupos de tabelas implícitos e ao processar incorretamente instruções de marcação.

Corrigida a incapacidade de recuperação automática do link de replicação. Essa falha ocorria quando o sistema excluía arquivos locais no nó mestre durante a sincronização primária-secundária do CDC Dumper.

Categoria

Descrição

Novo recurso

Nós CDC (captura de dados de alteração) habilitados para construir pontos de sincronização periodicamente.

Problema corrigido

Corrigido um problema em que uma falha na atualização do cursor de log binário bloqueava o consumo de dados.

Categoria

Descrição

Novos recursos e otimizações

Nós CDC habilitados para construir sync points periodicamente.

Validação completa de dados aprimorada na avaliação de upgrade do PolarDB-X 1.0 para o PolarDB-X 2.0.

Correções

Corrigidas falhas na geração de log binário global causadas por alterações de metadados.

Corrigidas falhas no serviço de dump de log binário causadas por arquivos de log binário solicitados vazios.

Categoria

Descrição

Novos recursos e otimizações

A replicação DDL primária/secundária agora replica funções.

A replicação DDL primária/secundária agora replica sequências.

A replicação DDL primária/secundária agora replica views.

A replicação DDL primária/secundária agora replica procedures.

A replicação DDL primária/secundária agora replica contas, funções e permissões.

A replicação DDL primária/secundária agora replica operações ALTER TABLEGROUP.

A replicação DDL primária/secundária agora replica operações ALTER INDEX.

A replicação DDL primária/secundária agora suporta replicação alinhada e coordenada por consistência em cenários de log binário de múltiplos fluxos.

A replicação primária/secundária agora permite criar um link de replicação baseado em timestamp.

A replicação primária/secundária agora permite usar comandos SQL para verificar a consistência de dados entre sistemas upstream e downstream.

Uma nova função de instância secundária para replicação primária/secundária está disponível, habilitando capacidades de somente leitura no nível da instância no cluster secundário.

A replicação primária/secundária agora suporta correspondência espelhada completa de condições WHERE para gravações DML.

Agora é possível vincular nomes de fluxos de log binário de múltiplos fluxos a nomes de usuários. Isso elimina a necessidade de adicionar a opção 'with' ao executar instruções SQL relacionadas a log binário com uma conta vinculada.

Replicação bidirecional baseada em server_id otimizada para replicação primária/secundária. Agora é possível especificar regras de filtro via linha de comando, e o sistema verifica automaticamente anomalias de server_id.

Correções

Corrigida a ordem incorreta de colunas de metadados causada pela instrução MULTI ALTER ADD/DROP COLUMN, que interrompia o link de log binário.

Corrigida a perda de metadados de índice causada pela instrução MULTI ALTER ADD/DROP/RENAME INDEX, que resultava no registro de uma instrução DDL incorreta no log binário.

Corrigida uma falha de configuração no parâmetro meta_build_physical_ddl_sql_blacklist_regex que causava a filtragem de instruções DDL ALTER se contivessem a palavra-chave 'user'.

Corrigida a ausência de gravação de instruções DDL DROP INDEX no log binário.

Categoria

Descrição

Novo recurso

Comandos de O&M relacionados a binlog adicionados, como show full binary logs e show full master status.

Problema corrigido

Corrigida a falha na correspondência exata no flashback SQL.

Categoria

Descrição

Novo recurso

Comando SHOW FULL MASTER STATUS adicionado.

Otimização de recurso

Compatibilidade do dump de binlog do MySQL aprimorada para suportar parâmetros como checksum e heartbeat.

Categoria

Descrição

Novo recurso

Suporte adicionado para flashback SQL para reverter uma transação inteira.

Problema corrigido

Método de registro de heartbeats TSO no log binário corrigido para resolver falhas em consumidores MySQL downstream.

Categoria

Descrição

Otimização

Tempo de espera para controle de backpressure gRPC otimizado, aumentando a velocidade externa de dump de binlog para 130 MB/s.

Correções

Corrigido um problema que impedia a conclusão do flashback SQL quando nenhuma operação DML ou DDL ocorria dentro do intervalo de tempo especificado.

Categoria

Descrição

Otimização

Instrução SHOW BINARY LOGS otimizada para resolver consultas lentas quando há muitos binlogs presentes.

Correções

Corrigido um estouro de buffer ao formatar dados JSON.

Encerramento da thread de varredura do metaDataSource impedido durante um failover de HA no metaDB em uma atualização do CDC.

Corrigido um deadlock ao atualizar binlog_dumper_info.

Categoria

Descrição

Novos recursos e otimizações

Suporte adicionado para a instrução FLUSH LOGS.

Velocidade de dumps externos para consumo transparente otimizada.

O CDC não depende mais de is_vip para conexões DN.

Dependência de controle para obter uma conexão MetaDB no CDC removida.

Correções

Corrigido um erro de sintaxe em instruções de criação de tabela com definição de coluna BIGINT SIGNED.

Corrigidas lacunas na lista de log binário causadas pelo algoritmo de geração recover tso.

Corrigida a falha de um dump de tarefa ao encontrar o offset inicial no DN da instância primária após o dimensionamento de uma instância somente leitura.

Categoria

Descrição

Novo recurso

Suporte adicionado para persistência de objetos de transação visando reduzir o uso de memória.

Correções

Corrigida a impossibilidade de recover tso ser menor que o TSO da transação marcada por dimensionamento mais recente ao recuperar com base em um TSO histórico.

Corrigida a falha de encerramento da thread gRPC quando arquivos locais no Dumper Master eram excluídos durante a sincronização primária-secundária do CDC Dumper.

Categoria

Descrição

Correções

Corrigido um erro de link causado por conflito de janela de heartbeat ao consumir um log binário do OSS.

Corrigido um erro de conversão de formato de dados ao formatar um TableMapEvent.

Corrigida uma incompatibilidade de valor Sql_Mode entre o Evento DDL e o valor original.

Corrigidos metadados inconsistentes entre tabelas lógicas e físicas para os tipos nchar e nvarchar.

Corrigida a impossibilidade de converter instruções DDL SQL com quebras de linha para comentários de linha única.

Categoria

Descrição

Novos recursos e otimizações

Suporte adicionado para monitoramento da utilização de CPU do processo worker.

Suporte adicionado para monitoramento mais granular de Eventos Por Segundo (EPS) para operações INSERT, UPDATE e DELETE.

Velocidade de upload de arquivos de log binário para o Object Storage Service (OSS) otimizada, aumentando a taxa para 700 MB/s.

Comandos de Operações e Manutenção (O&M) adicionados para Change Data Capture (CDC), como start master, stop master, restart master e reset master.

Correções

Corrigido bloqueio prolongado durante o consumo transparente de arquivos de log binário offline.

Corrigida a falha de encerramento da thread de dump se um arquivo de log binário fosse excluído enquanto estava sendo lido.

Corrigidas falhas no reset master causadas por excesso de metadados DDL físicos.

Corrigida uma inconsistência entre o valor Sql_Mode em um evento DDL e o valor original sql_mode.

Corrigido um erro no MySQL downstream causado por uma instrução SQL contendo tanto ADD PRIMARY KEY quanto DROP PRIMARY KEY.

Categoria

Descrição

Correções

Corrigida a ordem incorreta das colunas após a execução de uma instrução SQL no SchemaRepository.

Corrigido um NPE acionado ao formatar dados de uma string vazia.

Categoria

Descrição

Correção

Corrigido o truncamento de metadados quando excediam o comprimento do tipo de dados mediumtext.

Categoria

Descrição

Correção de bug

Corrigida uma falha de análise causada pela não conversão do charset MySQL para o charset Java.

Categoria

Descrição

Otimizações de recursos

RTO do link de sincronização de log binário reduzido para 15 segundos.

Recuperação de metadados do CDC acelerada para implantações com centenas de milhares de tabelas de dados.

Correções

Corrigido um potencial erro de cálculo de offset ao consumir logs binários transparentemente.

Corrigido um problema de compatibilidade com text(0) durante verificações de consistência de metadados.

Categoria

Descrição

Correções

Corrigidas interrupções no link do CDC causadas pela adição e exclusão contínuas de chaves primárias.

Corrigida uma desconexão do CDC que ocorria quando o programa consumidor falhava ao enviar COM_REGISTER_SLAVE antes de fazer o dump de logs binários.

Corrigida uma interrupção no link de dados no roteamento de dados de múltiplos fluxos quando o valor hash era Integer.MIN_VALUE.

Categoria

Descrição

Novos recursos e otimizações

Suporte adicionado para mesclagem de múltiplos níveis. Isso garante que o desempenho não diminua significativamente à medida que os nós DN escalam linearmente.

Suporte adicionado para consumo transparente. Programas consumidores downstream podem usar o protocolo de dump para consumir diretamente arquivos de log binário arquivados no OSS sem precisar interagir diretamente com o OSS.

Suporte adicionado para log binário de múltiplos fluxos. É possível personalizar o número de fluxos, cada um com seu próprio arquivo de log binário independente.

Suporte adicionado para construção periódica de snapshots completos de metadados. Isso evita o crescimento excessivo de registros históricos de marcação DDL.

Suporte adicionado para download paralelo de arquivos de log binário do OSS para melhorar a velocidade de recuperação da instância.

Correções

Corrigidos problemas de compatibilidade e correção na formatação de dados de eventos de log binário, melhorando a estabilidade do link do CDC durante alterações DDL.

Corrigido um problema que podia causar timeouts de dump para assinaturas downstream após a reinicialização de um cluster CDC.

Corrigido um cálculo incorreto de latência que ocorria durante a inicialização do processo Dumper.