Data Transmission Service:Sincronizar dados de um banco de dados Redis auto-gerenciado em uma instância ECS para uma instância Tair (compatível com Redis)

Restrição

Detalhes

Comandos FLUSHDB / FLUSHALL

Não execute esses comandos durante a sincronização. Eles causam inconsistência de dados entre a origem e o destino.

Parâmetro bind no redis.conf

Se configurado, defina-o como o endereço IP privado da instância ECS para permitir a conexão do DTS.

Chave de heartbeat do DTS

O DTS insere uma chave com o prefixo DTS_REDIS_TIMESTAMP_HEARTBEAT no banco de dados de origem para rastrear timestamps de atualização. No modo cluster, essa chave é inserida em cada shard. A chave é filtrada durante a sincronização e expira quando a tarefa termina.

Relatório de latência

A latência pode ser imprecisa se o banco de dados de origem for somente leitura ou se a conta do DTS não tiver permissão de gravação (SETEX).

repl-backlog-size

Aumente este valor no redis.conf de origem para melhorar a estabilidade da sincronização.

Expiração de chaves

Chaves com políticas de expiração podem não expirar imediatamente; o destino pode ter menos chaves que a origem. Execute INFO no destino para verificar a contagem atual de chaves. Chaves sem políticas de expiração, ou aquelas que ainda não expiraram, são sincronizadas de forma idêntica.

Basic Edition para cluster (erro CROSSSLOT)

Um cluster Redis permite que comandos operem apenas em um único slot. Comandos de múltiplas chaves entre slots falham com CROSSSLOT Keys in request don't hash to the same slot. Execute apenas comandos de chave única durante a sincronização.

Restrição

Detalhes

Compatibilidade de versões

Sincronize de uma versão anterior do Redis para uma versão posterior. A sincronização de uma versão posterior para uma anterior pode causar problemas de compatibilidade.

Dimensionamento da origem durante a sincronização

Se a instância de origem for dimensionada (shards adicionados ou removidos) ou sua memória for aumentada, reconfigure a tarefa. Limpe todos os dados no destino antes de reconfigurar para manter a consistência.

Alterações de endpoint

Se a origem ou o destino for uma instância auto-gerenciada e seu endpoint mudar (por exemplo, devido a migração ou failover), a tarefa pode tentar nova execução, apresentar latência ou falhar. Verifique o status da tarefa e reconfigure-a se necessário.

Failover no destino

Se ocorrer um failover no destino, os dados podem ser gravados apenas na memória sem persistência no banco de dados secundário. Isso pode causar perda de dados.

Carga da sincronização completa

O DTS utiliza recursos tanto da origem quanto do destino durante a sincronização completa, aumentando a carga do servidor. Para grandes conjuntos de dados, execute a sincronização fora do horário de pico.

FLUSHDB / FLUSHALL (cluster para cluster)

Não execute esses comandos ao sincronizar entre clusters Redis. Eles causam inconsistência de dados.

Evicção de memória no destino

A política de evicção padrão (maxmemory-policy) do Tair (compatível com Redis) é volatile-lru. Se o destino ficar sem memória, a evicção causa inconsistência de dados sem interromper a tarefa. Defina a política como noeviction para evitar perda silenciosa de dados: se o destino ficar sem memória, as gravações falham e a tarefa para, mas nenhum dado é perdido por evicção. Consulte Políticas de evicção de dados do Redis.

Gravações externas no destino

Não grave dados no destino a partir de nenhuma fonte além do DTS durante a sincronização. Isso causa inconsistência de dados.

OOM no destino cluster

Se um shard em um destino da edição cluster atingir seu limite de memória, ou se o destino não tiver espaço de armazenamento suficiente, a tarefa falhará com um erro de falta de memória (OOM).

Transparent Data Encryption (TDE)

Se o TDE estiver ativado no destino, o DTS não poderá sincronizar dados para ele.

Acionadores de ressincronização completa

Uma ressincronização completa pode ocorrer nestas situações, causando inconsistência de dados: uma falha de conexão transitória impede a retomada por breakpoint; ocorre um failover na origem ou no destino; o endpoint da origem ou do destino muda; ou os objetos de sincronização são modificados.

Criptografia TLS

Se a criptografia Transport Layer Security (TLS) estiver ativada em uma instância Tair (compatível com Redis OSS), use uma conexão SSL-encrypted. O TLSv1.3 não é suportado. Instâncias com SSL ativado não podem usar o método de acesso Alibaba Cloud Instance.

Reinício de tarefa completa + incremental

Se a instância de sincronização incluir tarefas completas e incrementais, reiniciá-la pode fazer com que ambas as tarefas sejam executadas novamente desde o início.

Recuperação de instância DTS

Se a instância DTS falhar, o DTS tentará a recuperação dentro de 8 horas. Durante a recuperação, a instância pode ser reiniciada ou ter seus parâmetros ajustados. Apenas os parâmetros da instância DTS são modificados; os parâmetros do banco de dados não são alterados. Para parâmetros que podem ser modificados, consulte Modifique parâmetros da instância.

Parâmetro

Descrição

Task Name

O DTS gera automaticamente um nome para a tarefa. Especifique um nome descritivo para identificar a tarefa. O nome não precisa ser único.

Parâmetro

Descrição

Select Existing Connection

Se a instância de origem estiver registrada no DTS, selecione-a na lista suspensa. O DTS preencherá automaticamente os parâmetros restantes. Caso contrário, configure os parâmetros abaixo manualmente. No console do DMS, selecione a instância na lista Select a DMS database instance.

Database Type

Selecione Tair/Redis.

Access Method

Selecione Self-managed Database On ECS.

Instance Region

Selecione a região da instância ECS que hospeda o banco de dados Redis de origem.

Cross-Account (Alibaba Cloud)

Selecione No (mesma conta Alibaba Cloud).

ECS Instance ID

Selecione o ID da instância ECS onde o banco de dados Redis de origem está em execução. Para origens com arquitetura de cluster, selecione a instância ECS de um nó primário e adicione manualmente os blocos CIDR de IP do servidor DTS da região correspondente às regras de segurança de cada outra instância ECS. Consulte Crie um grupo de segurança, Associar um grupo de segurança a uma instância (ENI primária) e Adicionar os blocos CIDR dos servidores DTS a uma lista de permissões.

Instance Mode

Selecione Basic Edition ou Cluster com base na arquitetura do Redis de origem.

Port

Insira a porta de serviço do banco de dados Redis de origem. Padrão: 6379. Para origens em cluster, insira a porta de um nó primário.

Authentication Method

Selecione o método de autenticação. Este exemplo usa Password Login. Account + Password Login requer Redis 6.0 ou posterior. Para Secret-free login, certifique-se de que o acesso sem senha esteja habilitado no banco de dados. Consulte Ative acesso sem senha.

Database Password

Insira a senha do banco de dados Redis de origem. Este campo é opcional; deixe-o em branco se nenhuma senha estiver definida. O formato é <user>:<password>, por exemplo, admin:Rp829dlwa.

Encryption

Selecione Non-encrypted ou SSL-encrypted. Se SSL-encrypted for selecionado para uma instância não-Alibaba Cloud, faça upload de um CA Certificate e insira uma CA Key.

Parâmetro

Descrição

Select Existing Connection

Se a instância de destino estiver registrada no DTS, selecione-a na lista suspensa. O DTS preencherá automaticamente os parâmetros restantes. Caso contrário, configure os parâmetros abaixo manualmente. No console do DMS, selecione a instância na lista Select a DMS database instance.

Database Type

Selecione Tair/Redis.

Access Method

Selecione Cloud Instance.

Instance Region

Selecione a região da instância Tair (compatível com Redis) de destino.

Replicate Data Across Alibaba Cloud Accounts

Selecione No (mesma conta Alibaba Cloud).

Instance ID

Selecione o ID da instância Tair (compatível com Redis) de destino.

Authentication Method

Selecione o método de autenticação. Este exemplo usa Password Login. Account + Password Login requer Redis 6.0 ou posterior.

Database Password

Insira a senha da instância Tair (compatível com Redis) de destino. O formato é <user>:<password>, por exemplo, admin:Rp829dlwa.

Encryption

Selecione Non-encrypted ou SSL-encrypted com base nos requisitos do seu negócio. Se Access Method não estiver definido como Alibaba Cloud Instance e você selecione SSL-encrypted, será necessário fazer upload de um CA Certificate e inserir uma CA Key.

Parâmetro

Descrição

Dedicated Cluster for Task Scheduling

Por padrão, o DTS agenda tarefas para o cluster compartilhado. Para melhorar a estabilidade, adquira um cluster dedicado. Consulte O que é um cluster dedicado do DTS.

Retry Time for Failed Connections

Tempo durante o qual o DTS tenta reconexão após uma falha de conexão. Valores válidos: 10–1440 minutos. Padrão: 720. Defina como mais de 30 minutos. Se o DTS reconectar dentro desse período, a tarefa será retomada; caso contrário, ela falhará. Se várias tarefas compartilharem a mesma origem ou destino, o menor período de nova tentativa se aplica. O DTS cobra pela instância durante a nova tentativa.

Retry Time for Other Issues

Tempo durante o qual o DTS tenta nova execução após falhas de DDL ou DML. Valores válidos: 1–1440 minutos. Padrão: 10. Defina como mais de 10 minutos. Este valor deve ser menor que Retry Time for Failed Connections.

Enable Throttling for Full Data Synchronization

Limite a sincronização completa para reduzir a carga na origem e no destino. Configure Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Disponível apenas quando Full Data Synchronization estiver selecionado.

Enable Throttling for Incremental Data Synchronization

Limite a sincronização incremental. Configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).

Environment Tag

Marque a instância com um rótulo de ambiente. Opcional.

Extend Expiration Time of Destination Database Key

Defina um tempo de expiração estendido para chaves sincronizadas. Use esta opção para manter a consistência dos dados quando a origem utiliza comandos de expiração. Em cenários de bloqueio distribuído, isso pode atrasar a liberação do bloqueio. Comandos afetados: EXPIRE, PEXPIRE, EXPIREAT, PEXPIREAT.

Use Slave Node

Disponível quando o Instance Mode de origem for Cluster. Escolha ler dos nós primários ou réplicas. Padrão: No (lê do nó primário).

Configure ETL

Habilite extração, transformação e carregamento (ETL) para aplicar transformações de dados durante a sincronização. Yes: configure o ETL usando o editor de código. Consulte Configure ETL em uma tarefa de migração ou sincronização de dados. No: ignore o ETL. Consulte O que é ETL?

Parâmetro

Descrição

Billing Method

Subscription: pagamento antecipado por um período fixo, mais econômico para uso de longo prazo. Pay-as-you-go: faturamento por hora, adequado para uso de curto prazo. Libere a instância quando não for mais necessária para interromper as cobranças.

Resource Group Settings

O grupo de recursos para a instância de sincronização. Padrão: default resource group. Consulte O que é Resource Management?

Instance Class

Selecione uma classe de instância com base na velocidade de sincronização necessária. Consulte Classes de instância de instâncias de sincronização de dados.

Subscription Duration

Disponível apenas para faturamento Subscription. Opções: 1–9 meses, ou 1, 2, 3 ou 5 anos.