how to migrate data between Tair (Redis OSS-compatible) instances - Data Transmission Service: Central de Documentação do Alibaba Cloud

Pré-requisitos

Antes de começar, verifique se você tem:

Uma instância de origem e uma instância de destino do Tair (compatível com Redis OSS). Para criar instâncias, consulte Etapa 1: Criar uma instância
Espaço de armazenamento livre suficiente na instância de destino. Ele deve exceder o armazenamento utilizado pela instância de origem.
Conta da instância de origem com permissões de leitura; conta da instância de destino com permissões de leitura e escrita.

Para versões de banco de dados compatíveis, consulte Visão geral das soluções de migração .

Escolher um tipo de migração

Selecione o tipo de migração com base na sua tolerância a tempo de inatividade:

Tipo de migração	Como funciona	Quando usar
Full data migration	Copia todos os dados existentes da origem para o destino. Gratuito. Quando o Access Method de destino está definido como Public IP Address, aplicam-se taxas de tráfego de Internet. Consulte Visão geral do faturamento.	Adequado quando há uma janela de manutenção disponível e as gravações na origem serão interrompidas durante a migração.
Full + incremental data migration	Copia os dados existentes e replica continuamente as gravações até o cutover. A fase incremental é cobrada. Consulte Visão geral do faturamento.	Indicado para cargas de trabalho de produção que exigem tempo de inatividade zero ou próximo de zero.

Importante

Caso selecione apenas a migração completa de dados, interrompa todas as gravações na instância de origem durante a migração. Gravações realizadas na origem após a captura do snapshot não são refletidas no destino, causando inconsistência de dados.

Limitações

Revise estas limitações antes de iniciar sua tarefa de migração.

Limites da instância de origem:

A versão da instância de origem não pode ser 2.8.
O servidor que hospeda a instância de origem deve ter largura de banda de saída suficiente. Largura de banda insuficiente reduz a velocidade da migração.
O DTS grava uma chave de heartbeat com o prefixo DTS_REDIS_TIMESTAMP_HEARTBEAT na instância de origem (uma por shard em implantações de cluster). Essa chave é filtrada durante a migração e expira após a conclusão da tarefa.
Se a origem for uma instância Tair (Enterprise Edition) com Storage Medium: Persistent Memory, defina o parâmetro appendonly como yes antes de migrar. Consulte Desativar persistência AOF.
Se a origem for somente leitura ou se a conta não tiver a permissão SETEX, a latência de migração relatada pode ser imprecisa.
Arquitetura de cluster: cada comando Redis opera em um único slot. Operações entre slots na origem causam este erro e interrompem a tarefa de migração:
```
CROSSSLOT Keys in request don't hash to the same slot
```
Opere em uma chave por vez durante a migração.

Limites da instância de destino:

Instâncias otimizadas para armazenamento do Tair (Redis OSS-Compatible) Enhanced Edition não podem ser usadas como origem ou destino.
A versão da instância de destino deve ser igual ou superior à versão da origem.
Se o Transparent Data Encryption (TDE) estiver ativado no destino, o DTS não conseguirá migrar dados para ele.
Se um shard de cluster de destino ficar sem memória ou armazenamento, a tarefa de migração falhará com um erro de falta de memória (OOM).
A política de evicção padrão (maxmemory-policy) é volatile-lru. Se o destino ficar com pouca memória, pode ocorrer inconsistência de dados. Defina a política de evicção como noeviction para que o DTS falhe nas gravações explicitamente, em vez de evictar dados silenciosamente. Para detalhes, consulte Como o Tair (Redis OSS-Compatible) evicta dados por padrão?

Outros limites:

O DTS não limpa os dados LIST existentes no destino antes de gravar. Se o destino já possuir chaves LIST, registros duplicados podem aparecer.
Scripts Lua EVAL e EVALSHA: o DTS não consegue confirmar a execução no destino durante a migração incremental.
Chaves com políticas de expiração podem não ser excluídas imediatamente após o vencimento. Portanto, a contagem de chaves no destino pode ser menor que na origem.
Se o Access Method para um banco de dados Redis autogerenciado for Public IP Address, não será possível definir o Instance Mode como Cluster.
TLS: se o TLS estiver ativado em uma instância Tair, conecte-se via SSL-encrypted. O TLSv1.3 não é suportado e não é possível conectar uma instância com SSL habilitado como uma Alibaba Cloud Instance.
Alterar a configuração da instância (especificações, número da porta) durante a migração interrompe a tarefa. Exclua os dados de destino e reconfigure a tarefa de migração após quaisquer alterações de configuração.
O DTS tenta repetir tarefas de migração com falha por até sete dias. Antes de alternar as cargas de trabalho para o destino, pare ou libere quaisquer tarefas do DTS que tenham falhado. Caso contrário, uma tarefa retomada pode sobrescrever os dados de destino com dados desatualizados da origem.
Se uma instância de migração de dados contiver tarefas de migração completa e incremental, o DTS poderá reiniciar ambas as tarefas após a reinicialização da instância.
Se a instância falhar ao executar, o suporte técnico do DTS tentará restaurá-la dentro de 8 horas. Durante a restauração, a instância pode ser reiniciada ou parâmetros da instância DTS podem ser ajustados (parâmetros do banco de dados não são modificados). Para parâmetros que podem ser ajustados, consulte Modificar parâmetros da instância.
Os seguintes eventos podem causar uma remigração completa, levando a uma possível inconsistência de dados:
- Falha no upload retomável devido a conexões transitórias.
- Troca de primário/secundário ou failover na origem ou no destino.
- Alteração de endpoint na origem ou no destino.

Apenas para Redis autogerenciado:

Uma troca de primário/secundário na origem durante a migração causa falha na tarefa.
A latência da migração é calculada a partir do timestamp do registro migrado mais recente em relação ao horário atual da origem. Se a origem não tiver atividade DML por um período prolongado, a latência relatada pode ser imprecisa. Para manter a precisão da latência, crie uma tabela de heartbeat que grave a cada segundo ao migrar um banco de dados inteiro.

Comandos suportados para migração incremental de dados

O DTS suporta os seguintes comandos Redis durante a migração incremental de dados:

APPEND
BITOP, BLPOP, BRPOP, BRPOPLPUSH
DECR, DECRBY, DEL
EVAL, EVALSHA, EXEC, EXPIRE, EXPIREAT
FLUSHALL, FLUSHDB
GEOADD, GETSET
HDEL, HINCRBY, HINCRBYFLOAT, HMSET, HSET, HSETNX
INCR, INCRBY, INCRBYFLOAT
LINSERT, LPOP, LPUSH, LPUSHX, LREM, LSET, LTRIM
MOVE, MSET, MSETNX, MULTI
PERSIST, PEXPIRE, PEXPIREAT, PFADD, PFMERGE, PSETEX, PUBLISH
RENAME, RENAMENX, RESTORE, RPOP, RPOPLPUSH, RPUSH, RPUSHX
SADD, SDIFFSTORE, SELECT, SET, SETBIT, SETEX, SETNX, SETRANGE, SINTERSTORE, SMOVE, SPOP, SREM, SUNIONSTORE
ZADD, ZINCRBY, ZINTERSTORE, ZREM, ZREMRANGEBYLEX, ZUNIONSTORE, ZREMRANGEBYRANK, ZREMRANGEBYSCORE
XADD, XCLAIM, XDEL, XAUTOCLAIM, XGROUP CREATECONSUMER, XTRIM

Criar uma tarefa de migração

Etapa 1: Acessar a página Data Migration

Use o console do DTS ou o console do DMS.

Console do DTS

Faça login no console do DTS.console do DTS
No painel de navegação à esquerda, clique em Data Migration.
No canto superior esquerdo, selecione a região onde reside sua instância de migração.

Console do DMS

As etapas podem variar dependendo do modo e layout do console do DMS. Consulte Modo simples e Personalizar o layout e o estilo do console do DMS .

Faça login no console do DMS.console do DMS
Na barra de navegação superior, acesse Data + AI > DTS (DTS) > Data Migration.
No menu suspenso à direita de Data Migration Tasks, selecione a região onde reside sua instância de migração.

Etapa 2: Configurar os bancos de dados de origem e de destino

Clique em Create Task para abrir a página de configuração da tarefa.

Configure os bancos de dados de origem e de destino usando os parâmetros na tabela a seguir.

Categoria	Parâmetro	Descrição
N/A	Task Name	Insira um nome descritivo para a tarefa do DTS. O nome não precisa ser único.
Source Database	Select Existing Connection	Selecione uma instância de banco de dados registrada no menu suspenso para preencher automaticamente os campos abaixo. Se a instância não estiver registrada, preencha os campos manualmente.
	Database Type	Selecione Tair/Redis.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância de origem do Tair (compatível com Redis OSS).
	Replicate Data Across Alibaba Cloud Accounts	Selecione No para migração na mesma conta.
	Instance ID	Selecione o ID da instância de origem.
	Authentication Method	Selecione um método de autenticação. Este exemplo usa Password Login. O Account + Password Login requer Redis 6.0 ou posterior. Para Secret-free login, ative primeiro o acesso sem senha na instância. Consulte Ativar acesso sem senha.
	Database Password	Insira a senha da instância de origem (permissões de leitura necessárias). Para a conta padrão, insira apenas a senha. Para uma conta personalizada, use o formato `<account>:<password>` — por exemplo, `testaccount:Test1234`. Deixe em branco se nenhuma senha estiver definida. Para redefinir uma senha esquecida, consulte Alterar ou redefinir uma senha.
	Encryption	Selecione Non-encrypted ou SSL-encrypted. Para Redis autogerenciado com SSL, faça upload de um CA Certificate e insira uma CA Key.
Destination Database	Select Existing Connection	Igual à origem: selecione uma instância registrada ou preencha os campos manualmente.
	Database Type	Selecione Tair/Redis.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região da instância de destino do Tair (compatível com Redis OSS).
	Replicate Data Across Alibaba Cloud Accounts	Selecione No para migração na mesma conta.
	Instance ID	Selecione o ID da instância de destino.
	Authentication Method	Mesmas opções da origem.
	Database Password	Insira a senha da instância de destino (permissões de leitura e escrita necessárias). Use o mesmo formato de senha da origem.
	Encryption	Selecione Non-encrypted ou SSL-encrypted.

Clique em Test Connectivity and Proceed.

Adicione os blocos CIDR dos servidores DTS às configurações de segurança das suas instâncias de origem e de destino. Consulte Adicionar os blocos CIDR dos servidores DTS . Para bancos de dados autogerenciados que não utilizam o acesso via Alibaba Cloud Instance , clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers .

Etapa 3: Selecionar objetos e configurar definições avançadas

Na página Configure Objects, defina os seguintes parâmetros.

Parâmetro	Descrição
Migration Types	Instâncias Redis Open-Source Edition: selecione Full Data Migration + Incremental Data Migration ou Full Data Migration. Recomendamos selecionar Full Data Migration + Incremental Data Migration para garantir a consistência dos dados. Se a conta do DTS não tiver permissões `SYNC` ou `PSYNC` na origem, selecione apenas Full Data Migration. Instâncias Tair (Enterprise Edition): selecione Full Data Migration e/ou Incremental Data Migration conforme seus requisitos. Recomendamos selecionar ambos para garantir a consistência dos dados.
Processing Mode of Conflicting Tables	Precheck and Report Errors: verifica se o destino está vazio antes de iniciar; falha na pré-verificação se não estiver. Ignore Errors and Proceed: ignora a verificação de destino vazio. Aviso Os dados da origem sobrescrevem os dados do destino para chaves correspondentes, o que pode causar perda de dados.
Source Objects	Selecione um ou mais bancos de dados na lista Source Objects e clique no ícone de seta para movê-los para Selected Objects. Para migrar chaves específicas, use o recurso de filtragem de dados na caixa Selected Objects.
Selected Objects	Para mapear para um DB de destino específico (DB 0–DB 255) ou filtrar por prefixo de chave, clique com o botão direito em um banco de dados na caixa Selected Objects e configure a caixa de diálogo Edit Schema. Consulte Mapeamento de schema e Definir condições de filtro.

Clique em Next: Advanced Settings e configure o seguinte.

Parâmetro	Descrição
Dedicated Cluster for Task Scheduling	Por padrão, o DTS usa um cluster compartilhado. Adquira um cluster dedicado para maior estabilidade na migração. Consulte O que é um cluster dedicado do DTS.
Retry Time for Failed Connections	Tempo durante o qual o DTS tenta reconectar após uma falha de conexão. Valores válidos: 10–1.440 minutos. Padrão: 720 minutos. Defina pelo menos 30 minutos. Se o DTS reconectar dentro dessa janela, a tarefa será retomada. Caso contrário, a tarefa falhará. Nota Quando várias tarefas compartilham a mesma origem ou destino, o tempo de nova tentativa definido mais recentemente tem precedência. O DTS cobra pela instância durante as novas tentativas.
Retry Time for Other Issues	Tempo durante o qual o DTS tenta novamente após falhas de DDL ou DML. Valores válidos: 1–1.440 minutos. Padrão: 10 minutos. Defina como maior que 10 minutos. Deve ser menor que Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Limita o throughput da migração completa para reduzir a carga na origem e no destino. Configure Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Disponível apenas quando Migration Types inclui Full Data Migration.
Enable Throttling for Incremental Data Migration	Limita o throughput da migração incremental. Configure RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s). Disponível apenas quando Migration Types inclui Incremental Data Migration.
Extend Expiration Time of Destination Database Key	Adiciona tempo extra de expiração às chaves migradas para o destino. Use isso quando sua aplicação utilizar comandos como `expire`, `pexpire`, `expireat` ou `pexpireat` para evitar que as chaves expirem antes do cutover. Nota Isso pode atrasar a liberação de locks distribuídos.
Environment Tag	Opcional. Selecione uma tag para rotular a instância.
Configure ETL	Selecione Yesalert notification settings para configurar regras de extração, transformação e carga (ETL). Insira instruções de processamento de dados no editor de código. Consulte Configurar ETL em uma tarefa de migração ou sincronização de dados. Selecione No para pular.
Monitoring and Alerting	Selecione Yes para receber alertas quando a tarefa falhar ou quando a latência da migração exceder um limiar. Configure o limiar de alerta e as configurações de notificação. Consulte Configurar monitoramento e alertas.

Clique em Next Step: Data Verification para configurar a verificação de dados (opcional). Consulte Configurar uma tarefa de verificação de dados.

Etapa 4: Executar a pré-verificação

Clique em Next: Save Task Settings and Precheck.

Para visualizar os parâmetros da API correspondentes antes de salvar, passe o mouse sobre o botão e clique em Preview OpenAPI parameters .
Aguarde a conclusão da pré-verificação. O DTS deve passar na pré-verificação antes que a tarefa de migração seja iniciada.
- Se um item de verificação falhar, clique em View Details ao lado do item com falha, corrija o problema e clique em Precheck Again.
- Se um alerta for acionado: se não puder ser ignorado, corrija-o e verifique novamente. Se puder ser ignorado, clique em Confirm Alert Details > Ignore > OK > Precheck Again. Ignorar um alerta pode causar inconsistência de dados.

Etapa 5: Adquirir e iniciar a instância

Aguarde até que a Success Rate atinja 100% e clique em Next: Purchase Instance.

Na página Purchase Instance, configure o seguinte.

Seção	Parâmetro	Descrição
New Instance Class	Resource Group	O grupo de recursos para a instância de migração. Padrão: default resource group. Consulte O que é o Resource Management?
New Instance Class	Instance Class	Selecione uma classe de instância com base na velocidade de migração necessária. Consulte Classes de instâncias de migração de dados.

Leia e marque a caixa de seleção para concordar com os Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy And Start e, em seguida, clique em OK na caixa de diálogo de confirmação.

Acompanhe o progresso na página de migração de dados.

Se a tarefa incluir migração completa e incremental, ela aparecerá como Incremental Data Migration na lista de tarefas.

Após a migração

Assim que a migração estiver em execução (ou concluída, para migrações apenas completas), execute estas etapas antes de descomissionar a instância de origem.

1. Verificar a consistência dos dados

Compare as contagens de chaves e verifique amostras de dados na instância de destino. Lembre-se de que chaves expiradas podem resultar em uma contagem ligeiramente menor no destino.

Se você configurou a verificação de dados durante a configuração da tarefa, verifique os resultados da verificação no console do DTS.

2. Alternar o tráfego da aplicação

Atualize a string de conexão da sua aplicação para apontar para a instância de destino. Para migrações incrementais, aguarde até que a latência da migração caia para zero ou próximo de zero antes de alternar. Isso confirma que o destino está totalmente sincronizado.

3. Parar e liberar a tarefa do DTS

Após confirmar que sua aplicação funciona corretamente com a instância de destino, pare a tarefa de migração do DTS. O DTS tenta repetir tarefas com falha por até sete dias; portanto, liberar a tarefa impede que ela seja retomada e sobrescreva dados no destino.

Data Transmission Service:Migrate data between Tair (Redis OSS-compatible) instances