Data Transmission Service:Sincronizar dados de uma instância RDS for MySQL para um projeto MaxCompute

Requisitos do banco de dados de source

• As tabelas devem possuir restrições PRIMARY KEY ou UNIQUE com todos os campos únicos. Caso contrário, o destino poderá conter registros duplicados.

• Ao sincronizar tabelas com renomeação de colunas ou tabelas, uma única tarefa suporta até 1.000 tabelas. Se você executar uma tarefa para sincronizar mais de 1.000 tabelas, ocorrerá um erro de solicitação. Use múltiplas tarefas ou faça a sincronização no nível do banco de dados.

• Não execute instruções DDL durante a sincronização de schema ou a sincronização completa de dados. Essa ação causa falha na tarefa.

• Dados gerados por operações em cascata ou restauração de backup físico não são sincronizados.

• Se a source executar MySQL 8.0.23 ou posterior e as tabelas contiverem colunas invisíveis, essas colunas serão excluídas e haverá perda de dados. Execute ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE; para torná-las visíveis antes de iniciar a tarefa. Tabelas sem chaves primárias recebem automaticamente chaves primárias invisíveis — torne-as visíveis também. Consulte Invisible Columns e Generated Invisible Primary Keys.

Requisitos de log binário

Configure os seguintes parâmetros do MySQL antes de criar a tarefa:

Requisitos de retenção de log binário:

• ApsaraDB RDS for MySQL: mantenha os logs binários por pelo menos 3 dias; recomenda-se 7 dias.

• MySQL autogerenciado: mantenha os logs binários por pelo menos 7 dias.

Se os logs binários forem purgados antes que o DTS os leia, a tarefa falhará e poderá ocorrer inconsistência ou perda de dados. Consulte Excluir arquivos de log binário para saber como definir o período de retenção.

Outras limitações

• Sincronize fora dos horários de pico. A sincronização completa de dados consome recursos de leitura e escrita tanto na source quanto no destino, o que aumenta a carga do servidor.

• Após a conclusão da sincronização completa, o tablespace de destino fica maior que o da source devido à fragmentação causada por operações INSERT concorrentes.

• Não execute pt-online-schema-change ou ferramentas similares de DDL online nos objetos sincronizados enquanto a tarefa estiver em execução. Isso causará falha na tarefa.

• Gravar dados de outras sources no destino durante a sincronização pode causar inconsistência de dados.

• Se a source tiver o EncDB ativado, a sincronização completa de dados não é suportada. O Transparent Data Encryption (TDE) não possui essa restrição — instâncias com TDE suportam sincronização de schema, completa e incremental.

• Em caso de falha em uma tarefa DTS, o suporte técnico tentará restaurá-la dentro de 8 horas. Durante esse período, a tarefa pode ser reiniciada e seus parâmetros (não os do banco de dados) podem ser modificados.

Casos especiais para MySQL autogerenciado

• Um failover entre primário e secundário durante a execução da tarefa causa falha na tarefa.

• A latência de sincronização é calculada comparando o timestamp dos dados mais recentes sincronizados no destino com o timestamp atual da source. Se nenhuma operação DML for executada na source por um longo período, a latência exibida pode ser imprecisa. Para atualizá-la, execute qualquer operação DML na source. Se estiver sincronizando um banco de dados inteiro, crie uma tabela de heartbeat que receba atualizações a cada segundo.

• Periodicamente, o DTS executa CREATE DATABASE IF NOT EXISTS 'test' na source para avançar a posição do log binário.

Casos especiais para ApsaraDB RDS for MySQL

• Instâncias somente leitura do ApsaraDB RDS for MySQL 5.6 que não registram logs de transação não podem ser usadas como source.

• Periodicamente, o DTS executa CREATE DATABASE IF NOT EXISTS 'test' na source para avançar a posição do log binário.

Etapa 1: Abrir a página de Sincronização de Dados

Use qualquer um dos consoles para abrir a página de configuração da tarefa.

Console DTS

1. Faça login no console DTS.

2. No painel de navegação à esquerda, clique em Data Synchronization.

3. No canto superior esquerdo, selecione a região onde a instância de sincronização residirá.

Console DMS

O caminho exato de navegação depende do modo e do layout do seu console DMS. Consulte Simple mode e Customize the layout and style of the DMS console .

1. Faça login no console DMS.

2. Na barra de navegação superior, passe o ponteiro sobre Data + AI e escolha DTS (DTS) > Data Synchronization.

3. Na lista suspensa à direita de Data Synchronization Tasks, selecione a região.

Etapa 2: Configurar bancos de dados de source e destino

Clique em Create Task e configure os seguintes parâmetros.

Etapa 3: Testar conectividade

Clique em Test Connectivity and Proceed na parte inferior da página.

O DTS precisa de acesso a ambos os bancos de dados. Se estiver conectando a um banco de dados autogerenciado, adicione os blocos CIDR do DTS às configurações de segurança dele. Consulte Add the CIDR blocks of DTS servers . Para bancos de dados autogerenciados que não utilizam o método de acesso Alibaba Cloud Instance , clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers .

Clique em OK para conceder permissões à sua conta MaxCompute e, em seguida, clique em Test Connectivity and Proceed.

Etapa 4: Configurar objetos

Na etapa Configure Objects, defina os seguintes parâmetros.

Renomear um objeto usando o mapeamento de nomes pode causar falha na sincronização de objetos dependentes.

Etapa 5: Configurar definições avançadas

Clique em Next: Advanced Settings e configure os seguintes parâmetros.

Etapa 6: Executar a pré-verificação

Clique em Next: Save Task Settings and Precheck.

Para visualizar os parâmetros da API desta configuração de tarefa, passe o mouse sobre o botão e clique em Preview OpenAPI parameters antes de prosseguir.

O DTS executa uma pré-verificação antes que a tarefa possa ser iniciada.

• Se um item falhar, clique em View Details para ver a causa. Corrija o problema e clique em Precheck Again.

• Se um item gerar um alerta que possa ser ignorado, clique em Confirm Alert Details, depois clique em Ignore na caixa de diálogo e clique em OK. Clique em Precheck Again para continuar. Ignorar alertas pode resultar em inconsistência de dados.

Etapa 7: Adquirir e iniciar a instância

1. Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.

2. Na página de compra, configure os seguintes parâmetros.

1. Leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms.

2. Clique em Buy and Start. Na caixa de diálogo de confirmação, clique em OK.

A tarefa aparecerá na lista de tarefas. Monitore o progresso dela nesse local.

set odps.sql.allow.fullscan=true;