Data Transmission Service:Sincronizar dados de um cluster PolarDB for MySQL para um banco de dados Doris autogerenciado

Banco de dados de origem

• Tabelas com restrições PRIMARY KEY ou UNIQUE: todos os campos devem ser exclusivos, ou o destino poderá conter dados duplicados.

• Tabelas sem restrições PRIMARY KEY ou UNIQUE: selecione Schema Synchronization para Synchronization Types e duplicate para Engine na etapa Configurations for Databases, Tables, and Columns.

• Se você selecionar tabelas (e não bancos de dados) como objetos de sincronização e precisar renomear tabelas ou colunas no destino, cada tarefa suporta até 1.000 tabelas. Exceder esse limite gera um erro de solicitação. Configure várias tarefas ou sincronize o banco de dados inteiro.

• Requisitos de log binário:

  • defina o parâmetro loose_polar_log_bin como ON

  • Período de retenção: pelo menos três dias, sete dias recomendados

• Não execute operações DDL que alterem os schemas de bancos de dados ou tabelas durante a sincronização inicial de schema ou a sincronização inicial completa de dados. O DTS consulta o banco de dados de origem durante a sincronização completa, gerando bloqueios de metadados que podem impedir operações DDL.

• As alterações provenientes de operações não registradas em logs binários — como dados restaurados de backups físicos ou gerados por operações em cascata — não serão sincronizadas para o destino. Se isso ocorrer, remova e readicione o banco de dados ou tabela afetado dos objetos de sincronização, se o seu cenário de negócios permitir. Consulte Modify synchronization objects.

Limitações gerais

• O DTS não sincroniza os nós de somente leitura do cluster PolarDB for MySQL de origem.

• O DTS não sincroniza as tabelas externas do Object Storage Service (OSS) da origem.

• Não há suporte para a troca entre primário e standby durante a sincronização inicial completa de dados. Se ocorrer uma troca, reconfigure a tarefa de sincronização.

• Há suporte apenas para tabelas que usam o Unique Key Model ou Duplicate Key Model no Doris. Ao usar o Duplicate Key Model, o DTS converte instruções UPDATE e DELETE em instruções INSERT. Poderão surgir dados duplicados se ocorrer alguma das seguintes situações. Use as colunas adicionais _is_deleted, _version e _record_id para deduplicar, se necessário (consulte Additional columns added by DTS).

  • Uma operação de retentativa é executada na instância de sincronização de dados

  • A instância é reiniciada

  • Duas ou mais operações DML são aplicadas à mesma linha após a inicialização da instância

• Você pode especificar apenas o parâmetro bucket_count na seção Selected Objects. O valor deve ser um número inteiro positivo. Padrão: auto.

• Não crie clusters no banco de dados Doris de destino durante a sincronização. Caso isso ocorra, a tarefa falhará. Reinicie a instância de sincronização de dados para retomar.

• O Doris aceita apenas nomes de bancos de dados e tabelas iniciados com uma letra. Use o recurso de mapeamento de nomes de objetos para renomear qualquer objeto que comece com um caractere não alfabético.

• Se o nome de um banco de dados, tabela ou coluna contiver caracteres chineses, use o mapeamento de nomes de objetos para renomeá-lo (por exemplo, para um nome em inglês). Caso contrário, a tarefa poderá falhar.

• Não modifique operações DDL em várias colunas ao mesmo tempo, nem execute operações DDL consecutivas em uma mesma tabela.

• Não adicione nós de backend (BE) ao banco de dados Doris de destino durante a sincronização. Caso isso ocorra, a tarefa falhará. Reinicie a instância de sincronização de dados para retomar.

• Em cenários de mesclagem de várias tabelas (várias tabelas de origem sincronizadas com uma única tabela de destino), os schemas de todas as tabelas de origem devem ser idênticos. Caso contrário, poderá ocorrer inconsistência de dados ou falha na tarefa.

• No PolarDB for MySQL, VARCHAR(M) utiliza o comprimento em caracteres para M. No Doris, VARCHAR(N) utiliza o comprimento em bytes para N. Se não estiver usando a sincronização de schema, defina o comprimento do VARCHAR do Doris como quatro vezes o comprimento do VARCHAR correspondente do MySQL para evitar perda de dados.

• Ao usar o DMS ou gh-ost para executar alterações DDL online na origem, o DTS sincroniza apenas o DDL original para o destino. Não há suporte para alterações DDL online feitas com pt-online-schema-change, e elas podem causar perda de dados ou falha na sincronização.

• Durante a sincronização inicial completa de dados, o DTS usa recursos de leitura e gravação de ambos os bancos de dados. Avalie o impacto no desempenho antecipadamente e agende a sincronização durante horários de baixa demanda, quando o uso da cpu em ambas as extremidades estiver abaixo de 30%.

• Operações INSERT simultâneas durante a sincronização inicial completa de dados causam fragmentação nas tabelas do destino. Após a conclusão da sincronização completa, as tabelas de destino poderão ocupar mais armazenamento do que a origem.

• Não use pt-online-schema-change ou ferramentas semelhantes para operações DDL online em objetos de sincronização durante a sincronização. Isso causa falhas na sincronização.

• Se forem gravados dados no banco de dados de destino a partir de fontes diferentes do DTS durante a sincronização, poderá ocorrer inconsistência de dados entre a origem e o destino.

• O DTS executa periodicamente CREATE DATABASE IF NOT EXISTS \ test\`` na origem para avançar a posição do log binário.

• Durante a sincronização incremental, o DTS usa uma estratégia em lote e grava em cada objeto de sincronização no máximo uma vez a cada cinco segundos. Isso pode gerar uma latência de sincronização esperada de menos de 10 segundos. Para reduzir a latência, atualize o parâmetro selectdb.reservoir.timeout.milliseconds (intervalo: 1.000 a 10.000 milissegundos) no console do DTS. Intervalos de lote menores aumentam a frequência de gravação, o que pode elevar a carga e o tempo de resposta do destino.

• Se uma instância falhar, o suporte do DTS tentará a recuperação em até oito horas. Durante a recuperação, a instância poderá ser reiniciada ou ter seus parâmetros ajustados. O suporte modifica apenas os parâmetros da instância do DTS — os parâmetros do banco de dados permanecem inalterados.

• Não há suporte para a sincronização de dados do tipo VECTOR.

Etapa 1: acesse a página de sincronização de dados

Use um dos seguintes métodos:

Etapa 2: configure os bancos de dados de origem e de destino

1. clique em Create Task.

2. configure o Task Name. O DTS gera um nome automaticamente. especifique um nome descritivo para facilitar a identificação da tarefa — o nome não precisa ser exclusivo.

3. configure as conexões dos bancos de dados de origem e de destino com os parâmetros abaixo.

Banco de dados de origem (PolarDB for MySQL)

Banco de dados de destino (Doris)

1. clique em Test Connectivity and Proceed. Na caixa de diálogo CIDR Blocks of DTS Servers, clique em Test Connectivity.

Certifique-se de que os blocos CIDR dos servidores DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino. Consulte Add DTS server IP addresses to a whitelist .

Etapa 3: selecione objetos de sincronização

1. Na etapa Configure Objects, configure os seguintes parâmetros:

1. clique em Next: Advanced Settings e configure o seguinte:

1. (Opcional) clique em Next: Configure Database and Table Fields. especifique Primary Key Column, Distribution Key e Engine para cada tabela.

Esta etapa está disponível apenas quando Schema Synchronization estiver selecionada. defina Definition Status como All para visualize todas as tabelas.

Primary Key Column suporta várias colunas. Distribution Key deve ser um subconjunto das colunas de chave primária.

Para tabelas sem chaves primárias ou restrições UNIQUE, selecione duplicate para Engine . Caso contrário, a tarefa poderá falhar ou poderá ocorrer perda de dados.

Etapa 4: execute a pré-verificação

clique em Next: Save Task Settings and Precheck.

O DTS executa uma pré-verificação antes de iniciar a tarefa. A tarefa só começa após a aprovação em todas as verificações.

Se alguma verificação falhar, clique em View Details para ver a causa, corrija o problema e execute a pré-verificação novamente.

Se um aviso aparecer: corrija o problema e execute novamente se o item não puder ser ignorado; clique em Confirm Alert Details > Ignore > OK > Precheck Again se o item puder ser ignorado com segurança. Ignorar alertas pode causar inconsistência de dados.

Para visualize os parâmetros do OpenAPI para esta configuração de tarefa, passe o ponteiro do mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters.

Etapa 5: Adquirir uma instância

1. Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

2. Na página de compra, configure o seguinte:

1. Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

2. clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo.

A tarefa aparece na lista de tarefas. Monitore seu progresso por lá.