Synchronize data from an RDS MySQL database to Lindorm - Data Transmission Service: Central de Documentação do Alibaba Cloud

Pré-requisitos

Antes de começar, verifique se você possui:

Uma instância Lindorm de destino com o mecanismo LindormTable ativado e capacidade de armazenamento superior ao armazenamento utilizado pela instância RDS for MySQL de origem. Consulte Create an instance.
O endpoint compatível com MySQL ativado na instância Lindorm de destino. Consulte Enable the MySQL-compatible feature.
Um banco de dados (namespace) pré-criado na instância Lindorm de destino. Caso não selecione Schema Synchronization, também será necessário pré-criar uma wide table (recomenda-se o pré-particionamento com base no conjunto completo de dados antes do início da sincronização para melhor desempenho). Consulte Connect to and use LindormTable using the MySQL command line, Connect to and use LindormTable using Lindorm-cli, Access LindormTable using Lindorm Shell, CREATE TABLE e Data type mapping.
Todos os objetos na instância Lindorm de destino em conformidade com as Lindorm naming conventions and limits.

Faturamento

Tipo de sincronização	Taxa
Sincronização completa de dados	Gratuita
Sincronização incremental de dados	Cobrada. Consulte a Billing overview.

Operações SQL compatíveis com a sincronização incremental

Tipo	Instruções SQL
DML	INSERT, UPDATE, DELETE
DDL	CREATE TABLE, DROP TABLE, ADD COLUMN

Nota

Quando instruções ADD COLUMN incluem atributos adicionais, apenas a definição da coluna é sincronizada; atributos como valores padrão são descartados. Por exemplo, ALTER TABLE test ADD COLUMN col INT DEFAULT 0; na origem resulta em ALTER TABLE test ADD COLUMN col INT; no destino, devido às limitações do LindormTable.

Permissões necessárias para contas de banco de dados

Banco de dados	Permissões necessárias	Como conceder
RDS MySQL de origem	Permissões de leitura e gravação nos objetos a serem sincronizados	Create an account e Modify account permissions
Lindorm de destino	Permissões de leitura e gravação no namespace de destino	User management

Nota

Se a conta do banco de dados de origem não foi criada nem recebeu permissões pelo console do RDS for MySQL, verifique se ela possui as permissões REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW e SELECT.

Limitações

Limitações do banco de dados de origem

As tabelas a serem sincronizadas devem ter chaves primárias com campos únicos. Sem chaves primárias, podem surgir dados duplicados no destino.
Tipos de ponto flutuante, como FLOAT e DOUBLE, não são aceitos como chaves primárias ou chaves primárias compostas.
Ao sincronizar no nível de tabela com mapeamento de nomes, uma única tarefa aceita no máximo 1.000 tabelas. Exceder esse limite causa erro após o envio da tarefa. Divida as tabelas em várias tarefas ou configure a tarefa para sincronizar o banco de dados inteiro.
Não execute operações DDL no banco de dados de origem durante a fase de sincronização completa de dados, pois isso causa falha na tarefa. As consultas do DTS adicionam um bloqueio de metadados que também pode impedir operações DDL na origem durante essa fase.
Alterações de dados provenientes de operações não registradas em binary logs — como recuperação de backup físico e operações em cascata — não são sincronizadas com o destino. Se isso ocorrer e seu cenário de negócio permitir, remova o banco de dados ou tabela afetado dos objetos de sincronização e adicione-o novamente. Consulte Modify synchronization objects.
No MySQL 8.0.23 e versões posteriores, colunas invisíveis causam perda de dados porque o DTS não consegue lê-las. Torne as colunas invisíveis visíveis antes de iniciar a sincronização:
- Execute ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE; para cada coluna invisível. Consulte Invisible Columns.
- Tabelas sem chave primária geram automaticamente uma chave primária invisível; torne-a visível também. Consulte Generated Invisible Primary Keys.

Requisitos de binary log

Origem ApsaraDB RDS for MySQL

O registro de binary log é ativado por padrão para instâncias RDS MySQL. Confirme se o seguinte parâmetro está definido corretamente:

Parâmetro	Valor necessário	Observação
`binlog_row_image`	`full`	Se não estiver definido corretamente, a pré-verificação relatará um erro e a tarefa não poderá ser iniciada. Consulte Set instance parameters.

Mantenha os binary logs locais por pelo menos 3 dias (recomenda-se 7 dias). Uma retenção menor pode causar falhas na tarefa e, em casos extremos, perda ou inconsistência de dados. Problemas causados por retenção insuficiente não são cobertos pelo Acordo de Nível de Serviço (SLA) do DTS. Consulte Automatically delete local logs.

Origem MySQL autogerenciado

Ative o registro de binary log e defina os seguintes parâmetros:

Parâmetro	Valor necessário	Observação
`binlog_format`	`row`	Necessário para que o DTS capture alterações no nível de linha.
`binlog_row_image`	`full`	Necessário para capturar a imagem completa da linha para cada alteração.
`log_slave_updates`	Ativado	Necessário apenas para arquitetura primary/primary, para garantir que o DTS obtenha todos os binary logs. Consulte Create a database account for a self-managed MySQL database and configure binary logging.

Mantenha os binary logs locais por pelo menos 7 dias. Uma retenção menor pode causar falhas na tarefa e, em casos extremos, perda ou inconsistência de dados. Problemas causados por retenção insuficiente não são cobertos pelo SLA do DTS.

Outras limitações

Limitação	Detalhes
Sincronização de schema	A sincronização de schema para o Lindorm depende das capacidades próprias do Lindorm para criação de schema.
Limite de índice de coluna sem chave primária	O Lindorm possui um limite padrão de contagem de colunas para índices em colunas sem chave primária. O DTS não consegue criar tais índices durante a sincronização de schema quando a contagem de colunas excede esse limite. Para usar esses índices, crie-os manualmente. Para obter detalhes, consulte ALTER SYSTEM.
Tipos de objeto não compatíveis	Objetos INDEX, PARTITION, VIEW, PROCEDURE, FUNCTION, TRIGGER e FK.
Dados do tipo BIT	Não compatível.
Sincronização apenas de chave primária	Não compatível. Os dados a serem sincronizados devem incluir pelo menos um campo que não seja chave primária.
Mecanismo de destino	Apenas o mecanismo LindormTable é compatível.
Strings VARBINARY vazias	Tratadas como nulas tanto pelo DTS quanto pelo Lindorm.
Incompatibilidade de precisão de campo DECIMAL	Se a precisão do campo DECIMAL no destino diferir da origem, a tarefa falhará.
Limites de solicitação de dados do Lindorm	Os dados gravados no Lindorm devem atender aos seus data request limits. Excedê-los causa falha na tarefa.
Uso de recursos durante a sincronização completa	A sincronização completa de dados consome recursos de leitura e gravação nos bancos de dados de origem e de destino. Execute a sincronização fora dos horários de pico, quando o uso de CPU estiver abaixo de 30% em ambas as instâncias.
Tablespace de destino após inicialização completa	A inicialização completa executa operações INSERT simultâneas, causando fragmentação da tabela. Após a inicialização completa, o tablespace de destino será maior que o da origem.
Ferramentas de DDL online durante a sincronização	Não use ferramentas como pt-online-schema-change para realizar operações DDL online nos objetos sincronizados durante uma tarefa ativa do DTS, pois isso causa falha na tarefa.
Gravações externas no destino	Gravar dados no banco de dados de destino a partir de fontes diferentes do DTS durante a sincronização causa inconsistência de dados.
Recurso EncDB (sempre confidencial)	Se o recurso EncDB estiver ativado na instância RDS for MySQL de origem, a sincronização completa de dados não é compatível. A Transparent Data Encryption (TDE) não possui essa restrição; instâncias com TDE ativado aceitam sincronização de schema, sincronização completa de dados e sincronização incremental de dados.
Recuperação de instância DTS	Se uma instância DTS falhar, o suporte técnico do DTS tentará a recuperação dentro de 8 horas. Durante a recuperação, o DTS pode reiniciar a instância ou ajustar parâmetros da instância DTS (não os parâmetros do banco de dados). Consulte Modify instance parameters.

Casos especiais

Origem MySQL autogerenciado

Um failover primary/secondary no banco de dados de origem durante a sincronização causa falha na tarefa.
A latência é calculada pela diferença de timestamp entre o horário atual e o último registro sincronizado no destino. Se nenhuma operação DML for executada na origem por um longo período, a latência exibida pode ser imprecisa. Para atualizar a latência, execute uma operação DML na origem. Alternativamente, crie uma tabela de heartbeat; o DTS grava nela a cada segundo quando você sincroniza o banco de dados inteiro.
O DTS executa periodicamente CREATE DATABASE IF NOT EXISTS \ test\`` na origem para avançar o offset do binary log.
Para Amazon Aurora MySQL ou outras instâncias MySQL em modo cluster, o nome de domínio ou endereço IP configurado para a tarefa deve sempre resolver para o nó de leitura/gravação (RW). Caso contrário, a tarefa pode não ser executada corretamente.

Origem ApsaraDB RDS for MySQL

Instâncias somente leitura do ApsaraDB RDS for MySQL 5.6 não podem ser usadas como origem, pois não registram logs de transação.
O DTS executa periodicamente CREATE DATABASE IF NOT EXISTS \ test\`` na origem para avançar o offset do binary log.

Configurar a tarefa de sincronização

Etapa 1: Abrir a página Data Synchronization

Use o console do DTS ou o console do DMS.

Console do DTS

Faça login no console do DTS.console do DTS
No painel de navegação à esquerda, clique em Data Synchronization.
No canto superior esquerdo, selecione a região onde a tarefa de sincronização reside.

Console do DMS

Nota

As etapas reais podem variar conforme o modo e o layout do console do DMS. Consulte Simple mode e Customize the layout and style of the DMS console.

Faça login no console do DMS.console do DMS
Na barra de navegação superior, passe o ponteiro sobre Data + AI e escolha DTS (DTS) > Data Synchronization.
Na lista suspensa ao lado de Data Synchronization Tasks, selecione a região onde a instância reside.

Etapa 2: Configurar bancos de dados de origem e de destino

Clique em Create Task.
Configure os bancos de dados de origem e de destino usando os parâmetros na tabela a seguir.

Categoria	Parâmetro	Descrição
N/A	Task Name	Nome descritivo para a tarefa do DTS. O DTS gera um nome automaticamente; substitua-o por um que facilite a identificação da tarefa. Os nomes das tarefas não precisam ser únicos.
Source Database	Select Existing Connection	Se você já tiver uma instância de banco de dados registrada no DTS, selecione-a na lista suspensa e o DTS preencherá automaticamente os parâmetros restantes. No console do DMS, selecione na lista Select a DMS database instance. Caso contrário, configure os parâmetros abaixo manualmente.
	Database Type	Defina como MySQL.
	Access Method	Defina como Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância RDS MySQL de origem.
	Replicate Data Across Alibaba Cloud Accounts	Selecione No se o banco de dados de origem pertencer à conta atual da Alibaba Cloud.
	RDS Instance ID	Selecione o ID da instância RDS MySQL de origem.
	Database Account	Insira a conta do banco de dados. Para as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Senha da conta do banco de dados.
	Encryption	Selecione Non-encrypted ou SSL-encrypted conforme suas necessidades. Para usar criptografia SSL, ative-a na instância RDS for MySQL antes de configurar a tarefa do DTS. Consulte Use a cloud certificate to enable SSL encryption.
Destination Database	Select Existing Connection	Se você já tiver uma instância de banco de dados registrada no DTS, selecione-a na lista suspensa e o DTS preencherá automaticamente os parâmetros restantes. No console do DMS, selecione na lista Select a DMS database instance. Caso contrário, configure os parâmetros abaixo manualmente.
	Database Type	Defina como Lindorm.
	Access Method	Defina como Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância Lindorm de destino.
	Instance ID	Selecione o ID da instância Lindorm de destino.
	Database Account	Insira a conta do banco de dados da instância Lindorm de destino. Para as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Senha da conta do banco de dados.

Clique em Test Connectivity and Proceed.

Nota
Adicione os endereços IP dos servidores do DTS às configurações de segurança dos bancos de dados de origem e de destino. Isso pode ser feito automática ou manualmente. Consulte Add DTS server IP addresses to a whitelist. Se a origem ou o destino for um banco de dados autogerenciado com método de acesso diferente de Alibaba Cloud Instance, clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

Etapa 3: Configurar objetos de sincronização

Na etapa Configure Objects, defina os seguintes parâmetros.

Parâmetro	Descrição
Synchronization Types	Incremental Data Synchronization vem selecionado por padrão. Opcionalmente, selecione também Full Data Synchronization. Schema Synchronization não está disponível. Quando a sincronização completa de dados está ativada, o DTS sincroniza os dados históricos da origem para o destino antes de iniciar a sincronização incremental.
Processing Mode of Conflicting Tables	Mantenha o valor padrão.
Capitalization of Object Names in Destination Instance	Controla a capitalização de nomes de bancos de dados, tabelas e colunas no destino. O padrão é DTS default policy. Selecione uma opção diferente se precisar que a capitalização corresponda à origem ou ao destino. Consulte Specify the capitalization of object names in the destination instance.
Source Objects	Selecione os bancos de dados ou tabelas a serem sincronizados e clique no ícone para movê-los para Selected Objects.
Selected Objects	Se os nomes de bancos de dados, tabelas ou colunas na instância Lindorm de destino diferirem daqueles na instância RDS MySQL de origem, use o mapeamento de nomes de objetos. Consulte Map table and column names. Nota Renomear um objeto com mapeamento de nomes pode fazer com que objetos dependentes falhem na sincronização. Para filtrar linhas, clique com o botão direito em uma tabela em Selected Objects e especifique condições WHERE. Consulte Specify filter conditions. Para selecionar operações SQL específicas para sincronização incremental, clique com o botão direito em um objeto e escolha as operações a serem incluídas.

Etapa 4: Configurar definições avançadas

Clique em Next: Advanced Settings e configure os seguintes parâmetros.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda a tarefa em um cluster compartilhado. Para maior estabilidade, adquira um cluster dedicado. Consulte What is a DTS dedicated cluster.
Retry Time for Failed Connections	Tempo durante o qual o DTS tenta reconectar após uma falha de conexão. Valores válidos: 10–1440 minutos. Padrão: 720 minutos. Defina este valor como pelo menos 30 minutos. Se o DTS reconectar dentro desse período, a tarefa será retomada automaticamente; caso contrário, ela falhará. Nota Quando várias tarefas compartilham a mesma origem ou destino, o menor período de nova tentativa tem precedência. O DTS cobra pela instância durante os períodos de nova tentativa; defina este valor com base nas necessidades do seu negócio.
Retry Time for Other Issues	Tempo durante o qual o DTS tenta novamente após falhas em operações DDL ou DML. Valores válidos: 1–1440 minutos. Padrão: 10 minutos. Defina este valor como mais de 10 minutos. Este valor deve ser menor que Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Limita a sincronização completa de dados para reduzir a carga no destino. Configure Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Disponível apenas quando Full Data Synchronization estiver selecionado.
Enable Throttling for Incremental Data Synchronization	Limita a sincronização incremental de dados. Configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
Environment Tag	Tag opcional para identificar o ambiente da instância.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Controla se o DTS grava operações SQL de heartbeat no banco de dados de origem. Selecione Yesalert notification settings para pular a gravação (um valor de latência pode ser exibido para a instância). Selecione No para gravar operações de heartbeat (isso pode afetar backups físicos e clonagem do banco de dados de origem).
Configure ETL	Selecione Yes para ativar o recurso de extração, transformação e carregamento (ETL) e inserir instruções de processamento de dados. Consulte What is ETL? e Configure ETL in a data migration or data synchronization task. Selecione No para pular.
Monitoring and Alerting	Selecione Yes para receber notificações quando a tarefa falhar ou a latência exceder um limiar. Configure o limiar de alerta e as configurações de notificação. Consulte Configure monitoring and alerting when you create a DTS task. Selecione No para desativar alertas.

Etapa 5: Executar a pré-verificação

Clique em Next: Save Task Settings and Precheck.

Nota

Para visualizar os parâmetros da API para esta configuração de tarefa, passe o mouse sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters antes de prosseguir.

O DTS executa uma pré-verificação antes de iniciar a tarefa. Se algum item falhar:

Clique em View Details ao lado do item com falha, analise a causa, corrija o problema e clique em Precheck Again.
Se um item de alerta não puder ser ignorado, clique em View Details ao lado do item com falha, solucione o problema e execute a pré-verificação novamente.
Se um item de alerta puder ser ignorado, clique em Confirm Alert Details, depois clique em Ignore na caixa de diálogo de detalhes, clique em OK e, em seguida, clique em Precheck Again. Ignorar itens de alerta pode resultar em inconsistência de dados.

Etapa 6: Adquirir a instância

Aguarde até que a Success Rate atinja 100% e clique em Next: Purchase Instance.
Na página de compra, configure os seguintes parâmetros.

Parâmetro	Descrição
Billing Method	Subscription: Pague antecipadamente por um prazo fixo. Mais econômico para uso de longo prazo. Pagamento conforme o uso: Faturado por hora. Adequado para uso de curto prazo; libere a instância quando não for mais necessária para interromper as cobranças.
Resource Group Settings	Grupo de recursos para a instância. Padrão: default resource group. Consulte What is Resource Management?
Instance Class	A velocidade de sincronização varia conforme a classe da instância. Selecione uma com base em seus requisitos. Consulte Instance classes of data synchronization instances.
Subscription Duration	Disponível apenas para o método de faturamento Subscription. Opções: 1–9 meses, 1 ano, 2 anos, 3 anos ou 5 anos.

Leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo de confirmação.

A tarefa aparece na lista de tarefas. Monitore seu progresso a partir daí.