Sincronizar um banco de dados MySQL para Redis - Data Transmission Service: Central de Documentação do Alibaba Cloud

Pré-requisitos

As tabelas do banco de dados de origem a serem sincronizadas devem ter chaves primárias.
Crie uma instância de destino Tair (compatível com Redis OSS) com mais espaço de armazenamento do que o utilizado pela instância de origem RDS for MySQL. Para mais informações, consulte Step 1: Create an instance.

Nota
Para verificar as versões compatíveis dos bancos de dados de origem e destino, consulte Synchronization solutions.

Observações

Tipo	Descrição
Limites do banco de dados de origem	Não é possível sincronizar tabelas sem chaves primárias. Ao sincronizar dados no nível de tabela e precisar editar objetos, como mapear nomes de tabelas ou colunas, uma única tarefa de sincronização suporta no máximo 1.000 tabelas. Se esse limite for excedido, um erro será reportado após o envio da tarefa. Nesse caso, divida as tabelas em várias tarefas de sincronização ou configure uma tarefa para sincronizar todo o banco de dados. Logs binários: O ApsaraDB RDS for MySQL ativa o log binário por padrão. Certifique-se de que o parâmetro binlog_row_image esteja definido como full. Caso contrário, a pré-verificação falhará e a tarefa de sincronização não poderá ser iniciada. Para obter instruções, consulte Configure instance parameters. Importante Se sua instância de origem for um banco de dados MySQL autogerenciado, ative o log binário e defina binlog_format como row e binlog_row_image como full. Se seu banco de dados MySQL autogerenciado for um cluster com dois primários (onde ambos os nós atuam como primário e secundário), ative o parâmetro log_slave_updates para que o DTS possa capturar todos os eventos de log binário. Para obter instruções, consulte Create an account and configure binary logging for a self-managed MySQL database. Os logs binários locais de uma instância ApsaraDB RDS for MySQL devem ser retidos por pelo menos três dias (recomenda-se sete dias). Para um banco de dados MySQL autogerenciado, retenha os logs binários locais por pelo menos sete dias. Caso contrário, o DTS pode falhar ao recuperar os logs binários, causando a falha da tarefa. Em casos extremos, isso pode causar inconsistência ou perda de dados. Problemas causados por períodos de retenção de logs binários inferiores aos exigidos pelo DTS não são cobertos pelo SLA do DTS. Nota Para configurar o retention period dos logs binários locais em uma instância ApsaraDB RDS for MySQL, consulte Automatically delete local logs. Durante a fase de sincronização completa de dados, não execute operações DDL que alterem esquemas de banco de dados ou tabelas. Caso contrário, a tarefa de sincronização de dados falhará. Nota Durante a fase de sincronização completa de dados, o DTS consulta o banco de dados de origem, o que gera bloqueios de metadados que podem impedir operações DDL no banco de dados de origem. Dados gerados por alterações que não gravam em logs binários — como dados restaurados de backups físicos ou criados por operações em cascata — não são sincronizados com o banco de dados de destino. Nota Se isso ocorrer, remova o banco de dados ou tabela afetado dos objetos de sincronização e adicione-o novamente. Faça isso apenas se o seu negócio permitir. Para mais informações, consulte Modify synchronization objects. Se o banco de dados de origem for MySQL 8.0.23 ou posterior e contiver colunas ocultas invisíveis, o DTS pode não ler essas colunas, o que pode causar perda de dados. Nota Execute o comando `ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;` para tornar a coluna oculta visível. Para mais informações, consulte Invisible Columns.
Outros limites	Se a Criptografia Transparente de Dados (TDE) estiver ativada na instância de destino, não será possível usar o DTS para sincronizar dados. Se a memória do destino se esgotar, a evicção de dados pode causar inconsistência entre a origem e o destino. A política padrão maxmemory-policy do Tair (compatível com Redis OSS) é volatile-lru, que não afeta a operação da tarefa, mas pode evictar dados. Defina a política de evicção do destino como noeviction para evitar perda de dados. Com essa política, as operações de gravação falham e a tarefa é interrompida quando a memória se esgota, mas nenhum dado é evictado. Nota Data eviction policies in Redis. Durante a sincronização inicial completa de dados, o DTS consome alguns recursos dos bancos de dados de origem e destino, o que pode aumentar a carga do servidor de banco de dados. Se o banco de dados tiver tráfego intenso ou as especificações do servidor forem baixas, a pressão sobre o banco de dados pode aumentar e o service pode até ficar indisponível. Antes de sincronizar os dados, avalie cuidadosamente o impacto. Execute a sincronização de dados fora dos horários de pico. Se a instância de destino for uma instância de cluster e um shard atingir seu limite de memória, ou se a instância de destino não tiver espaço de armazenamento suficiente, a tarefa do DTS falhará com um erro de falta de memória (OOM). Durante a sincronização do DTS, não grave dados no banco de dados de destino usando métodos diferentes do DTS. Caso contrário, ocorrerá inconsistência de dados entre os bancos de dados de origem e destino. Operações na instância Redis de origem ou destino durante a sincronização, como dimensionamento, alteração de especificações, migração de zonas de disponibilidade ou alteração de endpoint ou porta, podem interromper a tarefa porque o DTS não consegue obter dados de log contínuos ou informações de conexão corretas. Se isso ocorrer, limpe os dados sincronizados do destino antes de reconfigurar a tarefa. Se alguma das situações a seguir ocorrer durante a sincronização de dados, os dados completos podem ser ressincronizados no destino, o que pode causar inconsistência de dados. Ocorre uma desconexão transitória na instância Redis de origem ou destino, causando falha na transferência de dados baseada em pontos de interrupção. Ocorre um switchover primário/secundário ou um failover na instância Redis de origem ou destino. O endpoint da instância Redis de origem ou destino é alterado. Os objetos de sincronização da instância DTS são modificados. Se o recurso always-encrypted estiver ativado para a instância RDS for MySQL, a sincronização completa de dados não é suportada. Nota Instâncias RDS for MySQL com TDE ativado suportam sincronização completa e incremental de dados. Se uma tarefa falhar, a equipe de suporte do DTS tentará restaurá-la dentro de oito horas. Durante a restauração, eles podem reiniciar a tarefa ou ajustar seus parâmetros. Nota Apenas os parâmetros da tarefa DTS são modificados, não os parâmetros do banco de dados. Os parâmetros que podem ser ajustados incluem aqueles listados em Modify instance parameters.
Casos especiais	Para um banco de dados de origem MySQL autogerenciado: Se ocorrer um switchover primário/secundário no banco de dados de origem durante a sincronização, a tarefa falhará. O DTS calcula a latência comparando o timestamp do último registro sincronizado com a hora atual. Se nenhuma operação DML for executada por um longo período no banco de dados de origem, o relatório de latência pode se tornar impreciso. Se a latência parecer muito alta, execute uma operação DML no banco de dados de origem para atualizar a latência. Nota Se você selecionar um banco de dados completo para sincronização, crie uma tabela de heartbeat. Atualize ou grave nesta tabela a cada segundo. O DTS executa periodicamente o comando CREATE DATABASE IF NOT EXISTS `test` no banco de dados de origem para avançar o offset do log binário. Se o banco de dados de origem for Amazon Aurora MySQL ou outra instância MySQL em cluster, garanta que o nome de domínio ou endereço IP usado na configuração da tarefa — e sua resolução DNS — sempre aponte para um nó de leitura/gravação (RW). Caso contrário, a sincronização pode falhar. Para um banco de dados de origem ApsaraDB RDS for MySQL: Instâncias somente leitura — como instâncias somente leitura do ApsaraDB RDS for MySQL 5.6 — que não registram logs de transações não podem servir como bancos de dados de origem. O DTS executa periodicamente o comando CREATE DATABASE IF NOT EXISTS `test` no banco de dados de origem para avançar o offset do log binário.

Faturamento

Tipo de sincronização	Preço
Sincronização de esquema e sincronização completa de dados	Gratuito.
Sincronização incremental de dados	Pago. Para mais informações, consulte Billing overview.

Instruções SQL para sincronização incremental

Tipo de operação	Instruções SQL
DML	INSERT, UPDATE, DELETE

Permissões para contas de banco de dados

Banco de dados	Permissões necessárias	Método de criação e autorização
Origem RDS for MySQL	Permissões de leitura nos objetos a serem sincronizados.	Consulte Create a database account for an ApsaraDB RDS for MySQL instance e Modify the permissions of a database account for an ApsaraDB RDS for MySQL instance.
Destino Tair (compatível com Redis OSS)	Permissões de leitura e gravação na instância.	Consulte Create and manage a database account.

Procedimento

Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos dois métodos a seguir:
Pelo console do DTS
1. Faça login no console do Data Transmission Service (DTS).
2. No painel de navegação à esquerda, clique em Data Synchronization.
3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.
Pelo console do DMS

Nota
As operações reais podem variar dependendo do modo e do layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.
1. Faça login no Data Management (DMS).
2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.
3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.
Clique em Create Task para abrir a página de configuração da tarefa.

Configure os bancos de dados de origem e destino.

Categoria	Configuração	Descrição
Nenhuma	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Source Database	Select Existing Connection	Para usar uma instância de banco de dados que seja added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione MySQL.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância de origem RDS for MySQL.
	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta atual do Alibaba Cloud. Selecione No.
	RDS Instance ID	Selecione o ID da instância de origem RDS for MySQL.
	Database Account	Insira a conta do banco de dados para a instância de origem RDS for MySQL. Para requisitos de permissão, consulte Permissions for database accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.
	Encryption	Selecione Non-encrypted ou SSL-encrypted conforme necessário. Se selecionar SSL-encrypted, você deve ativar a criptografia SSL para a instância RDS for MySQL antecipadamente. Para mais informações, consulte Use a cloud certificate to quickly enable SSL encryption.
Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que seja added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Se você não adicionou a instância de banco de dados ao sistema ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
	Database Type	Selecione Tair/Redis.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância de destino Tair (compatível com Redis OSS).
	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta atual do Alibaba Cloud. Selecione No.
	Instance ID	Selecione o ID da instância de destino Tair (compatível com Redis OSS).
	Authentication Method	Selecione um método de autenticação com base nas suas necessidades. Neste exemplo, Password Login está selecionado. Nota Apenas o Redis 6.0 e versões posteriores suportam Account + Password Login. Se selecionar Secret-free login, certifique-se de que o acesso sem senha esteja ativado para o banco de dados Redis. Para obter informações sobre como ativar o acesso sem senha para uma instância Tair (compatível com Redis OSS), consulte Enable password-free access over a VPC.
	Database Password	Insira a senha para conectar à instância de destino Tair (compatível com Redis OSS). Nota O formato da senha é <usuário>:<senha>. Por exemplo, se o nome de usuário personalizado da instância Redis for `admin` e a senha for `Rp829dlwa`, insira `admin:Rp829dlwa`.

Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.
Nota
- Certifique-se de que os blocos CIDR de endereços ip dos servidores DTS foram adicionados às configurações de segurança dos bancos de dados de origem e destino para permitir o acesso dos servidores DTS. Isso pode ser feito automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.
- Se o banco de dados de origem ou destino for autogerenciado (onde o Access Method não é Alibaba Cloud Instance), você também deve clicar em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

Configure os objetos da tarefa.

Na página Configure Objects, configure os objetos a serem sincronizados.

Configuração	Descrição
Synchronization Types	Incremental Data Synchronization é selecionado por padrão. Para sincronizar dados históricos, selecione também Full Data Synchronization.
Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifica se o destino está vazio. A pré-verificação passa se o destino estiver vazio. Se o destino não estiver vazio, a pré-verificação falha, um erro é reportado e o trabalho de sincronização de dados não inicia. Ignore Errors and Proceed: Ignora a pré-verificação Check the existence of objects in the destination database.. Aviso Se você selecionar Ignore Errors and Proceed, os dados de origem substituirão os dados de destino durante a sincronização quando as chaves de origem e destino tiverem o mesmo nome. Isso pode causar perda de dados no destino. Selecione esta opção com cautela.
Source Objects	Na caixa Source Objects, clique em um objeto para sincronizar e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota É possível selecionar objetos nos níveis de banco de dados, tabela e coluna.
Selected Objects	Para especificar um DB Redis de destino, clique com o botão direito no esquema a ser sincronizado na caixa Selected Objects. Use o recurso de mapeamento para definir os seguintes parâmetros e clique em OK. Mapping Name of Redis/Tair Database (0 to 255): O DB no Redis que receberá os dados. Insira apenas um número. Cache Mapping Mode: O formato dos dados após a sincronização com o Redis. Passe o mouse sobre o ícone ao lado da opção para visualizar as informações. Quando o Cache Mapping Mode estiver definido como Key-Value Model Based on Database, Table, and Primary Key, você também deve definir o Value Separation Method. Nota O recurso de mapeamento não é suportado para nomes de esquemas e nomes de tabelas. Para selecionar operações SQL a serem sincronizadas no nível de banco de dados ou tabela, clique com o botão direito no objeto na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida. Para definir uma cláusula WHERE para filtrar dados, clique com o botão direito na tabela na caixa Selected Objects e defina a condição de filtro na caixa de diálogo exibida. Para obter instruções, consulte Filter data.

Clique em Next: Advanced Settings para configurar parâmetros avançados.

Configuração	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado e você não precisa selecionar um cluster. Para um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou destino falhar, o DTS reportará um erro e iniciará imediatamente uma nova tentativa de conexão. A duração padrão de nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de 10 a 1.440 minutos. Recomendamos definir a duração para 30 minutos ou mais. Se o DTS reconectar com sucesso ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Se você tiver várias instâncias DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede como 30 minutos para a Instância A e 60 minutos para a Instância B, a duração menor de 30 minutos será usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e destino.
Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou destino (como exceções de execução DDL ou DML), o DTS reportará um erro e iniciará imediatamente operações contínuas de nova tentativa. A duração padrão de nova tentativa é de 10 minutos. Você também pode personalizar a duração da nova tentativa dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir como 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de nova tentativa definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga nos bancos de dados de origem e destino, defina um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types estiver definido como Full Data Synchronization. Você também pode adjust the full synchronization rate depois que a instância de sincronização estiver em execução.
Enable Throttling for Incremental Data Synchronization	Também é possível definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina o RPS of Incremental Data Synchronization e a Data synchronization speed for incremental synchronization (MB/s).
Cache Expiration Time	Defina o tempo de vida (TTL) das chaves após a sincronização dos dados com o Redis, com base nas suas necessidades. Importante Um valor de -1 significa que a chave nunca expira. Isso pode fazer com que o Redis fique sem memória e cause a falha da tarefa.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem enquanto a instância DTS estiver em execução. Yes: As informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância DTS reporte um atraso. No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
Environment Tag	Selecione uma tag de ambiente para identificar a instância conforme necessário. Para este exemplo, não é necessário selecionar uma tag.
Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carregamento (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação será enviada a um contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

Salve a tarefa e execute uma pré-verificação.
- Para visualizar os parâmetros da api para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão.
- Se terminar de visualizar os parâmetros da api, clique em Next: Save Task Settings and Precheck na parte inferior da página.
Nota
- Antes do início do trabalho de sincronização, o DTS executa uma pré-verificação. O trabalho só pode começar após todos os itens de pré-verificação serem aprovados.
- Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme instruído e execute a pré-verificação novamente.
- Se a pré-verificação retornar um aviso:
  
  Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.
  
  Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para pular o aviso e executar a pré-verificação novamente. Se optar por ocultar o item de aviso, isso pode causar problemas como inconsistência de dados e apresentar riscos ao seu negócio.

Adquira a instância.

Quando a Success Rate for 100%, clique em Next: Purchase Instance.

Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

Categoria	Parâmetro	Descrição
New Instance Class	Método de faturamento	Assinatura: O pagamento é feito ao criar a instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: A cobrança é feita por hora. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?.
	Especificação de link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Escolha uma especificação com base no seu cenário de negócios. Para mais informações, consulte Data synchronization link specifications.
	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Escolha uma assinatura mensal de 1 a 9 meses ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

Visualize o progresso da tarefa na página Data Synchronization.