Data Transmission Service:Sincronizar dados de um cluster do PolarDB for MySQL para uma instância do AnalyticDB for PostgreSQL

Banco de dados de origem (source)

• As tabelas sincronizadas devem ter uma chave primária ou uma restrição UNIQUE com campos exclusivos. Sem isso, dados duplicados podem aparecer no banco de dados de destino.

• Para sincronização no nível de tabela que exija edição das tabelas (como mapeamento de nomes de colunas), uma única tarefa suporta no máximo 1.000 tabelas. Se exceder esse limite, divida as tabelas em várias tarefas ou configure uma tarefa para sincronizar o banco de dados inteiro.

• A retenção do log binário deve ter pelo menos 3 dias. Se o DTS não conseguir obter os logs binários, a tarefa poderá falhar, causando, em casos extremos, inconsistência ou perda de dados. Problemas decorrentes de um período de retenção inferior ao necessário não são cobertos pelo Acordo de Nível de service (SLA) do DTS.

• Não execute operações DDL que modifique chaves primárias ou adicionem comentários à tabela (por exemplo, ALTER TABLE table_name COMMENT='Table comment';) durante a sincronização. Essas operações falharão.

• Não execute operações DDL que alterem schemas de banco de dados ou tabelas durante a sincronização de schema ou a sincronização completa. A tarefa falhará. Durante a sincronização completa, o DTS consulta o banco de dados de origem, o que cria bloqueios de metadados que podem impedir operações DDL na origem.

• Se o banco de dados de origem contiver valores de data como 0000-00-00 00:00:00, a tarefa poderá falhar. O DTS converte esses valores para null no destino. Como solução alternativa, altere os valores de origem para 0001-01-01 00:00:00 ou configure o campo de destino para permitir valores nulos.

Outras limitações

• O DTS suporta apenas a sincronização no nível de tabela.

• Não há suporte para os seguintes tipos de dados: BIT, VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR, TXID_SNAPSHOT.

• Não há suporte para índices de prefixo. Se a origem possuir índices de prefixo, a sincronização poderá falhar.

• Não há suporte para sincronização a partir de um nó somente leitura do cluster de origem do PolarDB for MySQL.

• Não é possível sincronizar tabelas externas do oss a partir da origem.

• Não há suporte para os seguintes tipos de objeto: PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER, FK, INDEX.

• Não há suporte para tabelas Append-Only (AO) como tabelas de destino.

• Não há suporte para failover primário/secundário durante a sincronização completa inicial de dados. Se ocorrer um failover, reconfigure a tarefa.

• Ferramentas de DDL online: não há suporte para pt-online-schema-change, e seu uso causará a falha da tarefa. Para DDL online no modo de tabela temporária ou índices baseados em função em colunas de chave exclusiva, pode ocorrer perda de dados ou falha da tarefa.

• Se usar o mapeamento de colunas para sincronização parcial de tabela, ou se os schemas das tabelas de origem e destino forem inconsistentes, os dados nas colunas ausentes na tabela de destino serão perdidos.

• Se a tabela sincronizada tiver uma chave primária, a coluna de chave primária na tabela de destino deverá corresponder à da tabela de origem. Se a tabela não tiver chave primária, a coluna de chave primária na tabela de destino deverá corresponder à chave de distribuição.

• A chave exclusiva na tabela de destino, incluindo a coluna de chave primária, deve conter todas as colunas da chave de distribuição.

• A sincronização completa inicial de dados executa operações INSERT simultâneas, o que causa fragmentação. Como resultado, o tablespace da instância de destino pode ficar maior que o da origem após a conclusão da sincronização completa.

• Agende a sincronização para horários de menor movimento. A sincronização completa de dados consome recursos de leitura e gravação em ambos os bancos de dados e pode aumentar a carga do sistema.

• Na sincronização no nível de tabela, não grave dados diferentes dos gerados pelo DTS no banco de dados de destino. Isso pode causar inconsistência de dados entre a origem e o destino.

• Na sincronização no nível de tabela, não use o pt-online-schema-change para operações DDL online em objetos de sincronização no banco de dados de origem.

• Na sincronização no nível de tabela, se nenhum dado além dos gerados pelo DTS for gravado no banco de dados de destino, use o Data Management (DMS) para operações DDL online. Consulte Change schemas without locking tables.

• Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la em até 8 horas. A equipe pode reiniciar a tarefa ou ajustar os parâmetros da tarefa do DTS (não os parâmetros do banco de dados). Os parâmetros ajustáveis estão listados em Modify instance parameters.

Comportamento de resolução de conflitos

Notas de uso

• O DTS executa periodicamente CREATE DATABASE IF NOT EXISTS \ test\`` no banco de dados de origem para avançar o deslocamento do log binário.

• Ao usar o DMS ou o gh-ost para alterações de DDL online, configure a opção avançada Copy the temporary table of the Online DDL tool conforme necessário.

Etapa 1: Abrir a página de configuração da tarefa

1. Faça login no console do Data Management (DMS).

2. Na barra de navegação superior, clique em Data + AI.

3. No painel de navegação à esquerda, escolha DTS (DTS) > Data Synchronization.

   O caminho de navegação pode variar dependendo do modo e do layout do console do DMS. Consulte Simple mode console e Customize the layout and style of the DMS console . Você também pode ir diretamente para a Data Synchronization Tasks page of the DTS console .

4. Clique em Create Task.

Etapa 2: Configure bancos de dados de origem e destino

Na página de configuração da tarefa, preencha os seguintes campos:

Após preencher todos os campos, clique em Test Connectivity and Proceed.

Certifique-se de adicionar os blocos de endereços IP do DTS às configurações de segurança dos bancos de dados de origem e de destino, seja automaticamente pelo DTS ou manualmente. Consulte Add the IP address whitelist of DTS servers .

Etapa 3: Configure objetos de sincronização

Na página Configure Objects, configure as seguintes opções:

Synchronization types

O DTS sempre seleciona Incremental Data Synchronization. Selecione também Schema Synchronization e Full Data Synchronization (selecionada por padrão). Após a pré-verificação, o DTS inicializa a instância de destino com os dados completos dos objetos de origem selecionados, o que serve como linha de base para a sincronização incremental subsequente. Com os três tipos ativados, o DTS:

1. Copia o schema para o destino.

2. Carrega um snapshot completo dos objetos de origem selecionados como linha de base.

3. Aplica alterações incrementais contínuas a partir do log binário.

Objetos e operações

Etapa 4: Configure opções avançadas

Clique em Next: Advanced Settings e configure as seguintes opções:

Etapa 5: Configure verificação de dados (opcional)

Clique em Data Verification para configurar uma tarefa de verificação de dados. Consulte Configure data verification.

Etapa 6: Configure campos da tabela de destino (opcional)

Clique em Next: Configure Database and Table Fields para defina o Type, Primary Key Column e Distribution Key para cada tabela de destino no AnalyticDB for PostgreSQL.

Esta etapa está disponível apenas quando Schema Synchronization estiver selecionada. Defina Definition Status como All para modificar os campos. Para formar uma chave primária composta, especifique várias colunas em Primary Key Column e, em seguida, selecione uma ou mais dessas colunas como Distribution Key . Consulte Manage tables e Define table distribution .

Etapa 7: Execute a pré-verificação

Clique em Next: Save Task Settings and Precheck.

Para visualizar os parâmetros da API para esta configuração de tarefa, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .

Antes de iniciar uma tarefa de sincronização, o DTS realiza uma pré-verificação. A tarefa é iniciada apenas se a pré-verificação for aprovada.

• Se a pré-verificação falhar, clique em View Details ao lado do item com falha, corrija o problema e execute a pré-verificação novamente.

• Se a pré-verificação retornar avisos:

  • Para avisos não ignoráveis, clique em View Details, corrija o problema e execute a pré-verificação novamente.

  • Para avisos ignoráveis, clique em Confirm Alert Details, depois em Ignore, em seguida em OK e, por fim, em Precheck Again para continuar. Ignorar avisos pode levar a inconsistências de dados. Prossiga com cautela.

Etapa 8: Adquirir e iniciar a instância

Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione o método de faturamento e a classe da instância:

Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms, clique em Buy and Start, salve as configurações e confirme na caixa de diálogo.

Monitore o progresso da tarefa na página Tarefas de Sincronização de Dados.Data Synchronization Tasks page of the new DTS console