O Data Transmission Service ajuda a migrar dados entre tipos de armazenamento de dados, como banco de dados relacional, NoSQL e OLAP. O serviço é compatível com migrações homogêneas e migrações heterogêneas entre diferentes tipos de armazenamento.
O Data Transmission Service também pode ser usado para replicação contínua de dados com alta disponibilidade. O Data Transmission Service pode, ainda, ajudar a assinar a função de dados de mudança do ApsaraDB for RDS. Use o Data Transmission Service para implementar situações de forma fácil, como migração de dados, backup remoto de dados em tempo real, integração de dados em tempo real e atualização do cache.
Benefícios
-
Desempenho excelente
A taxa de migração de dados existentes pode ser de até 70 MB/s
A taxa de replicação de dados de mudança pode ser de até 30.000 registros por segundo
-
Replicação de dados em tempo real
O Data Transmission Service é compatível com a sincronização de dados em tempo real de um banco de dados RDS para outro banco de dados RDS
Você pode modificar o objeto de sincronização durante o processo de sincronização
-
Simples de usar
Inicie uma migração de banco de dados com apenas alguns cliques no console de gerenciamento do Data Transmission Service
Monitore e gerencie suas tarefas no console de gerenciamento a qualquer hora, em qualquer lugar
-
Confiável
O Data Transmission Service monitora continuamente os bancos de dados de origem e destino e, ao detectar a mudança de conexão, o Data Transmission Service altera dinamicamente a conexão para otimizar o desempenho.
Características
-
Tempo de inatividade zero
O Data Transmission Service ajuda você a migrar dados praticamente sem precisar de tempo de inatividade. Todas as alterações no banco de dados de origem que ocorrem durante a migração são replicadas continuamente para o destino, permitindo que o banco de dados de origem permaneça funcionando completamente durante o processo de migração. Caso você deseje, após a conclusão da migração do banco de dados, o banco de dados de destino permanecerá sincronizado com o banco de dados de origem, permitindo que você faça a transição do banco de dados quando preferir.
-
Compatível com os bancos de dados mais utilizados
O Data Transmission Service pode migrar seus dados de e para a maioria dos bancos de dados comerciais e de código aberto amplamente utilizados. Esse serviço aceita migrações homogêneas como MySQL para MySQL, bem como migrações heterogêneas entre diferentes plataformas de banco de dados, como Oracle para MySQL.
É possível realizar migrações de bancos de dados locais para RDS ou ECS, bancos de dados executados em ECS para RDS ou vice-versa, bem como de um banco de dados RDS para outro banco de dados RDS.
O Data Transmission Service é compatível com vários modos de transmissão, como migração de dados, replicação de dados em tempo real e assinatura de dados.
-
Migração de dados
Tempo de inatividade zero
Todas as alterações no banco de dados de origem que ocorrem durante a migração são replicadas continuamente para o destino, permitindo que o banco de dados de origem permaneça funcionando completamente durante o processo de migração.
Caso você deseje, após a conclusão da migração do banco de dados, o banco de dados de destino permanecerá sincronizado com o banco de dados de origem, permitindo que você faça a transição do banco de dados quando preferir.
Compatível com os bancos de dados mais utilizados
O Data Transmission Service é compatível com a migração homogênea, como MySQL para MySQL, SQL Server para SQL Server, e com a migração heterogênea, como Oracle para MySQL.
O Data Transmission Service aceita migrações heterogêneas entre diferentes plataformas de banco de dados. É possível realizar migrações de bancos de dados locais para ApsaraDB for RDS ou Alibaba Cloud ECS, bancos de dados executados em ECS para RDS ou vice-versa, bem como de um banco de dados RDS para outro banco de dados RDS. -
Assinatura de dados de mudança em tempo real
O Data Transmission Service é compatível com a assinatura em tempo real dos dados de mudança do RDS.
Você pode modificar o objeto de assinatura após a criação da instância de assinatura.
-
Monitoramento automático
Ele oferece informações cruciais sobre instância, por exemplo, atraso de replicação, status de transmissão e atraso de consumo em tempo real para monitorar e proteger aplicativos críticos para os negócios. Experimente gratuitamente mais de 40 produtos.
-
Simples de usar
O Data Transmission Service gerencia todas as complexidades do processo de migração, incluindo a replicação automática das alterações dos dados que ocorrem no banco de dados de origem durante o processo de migração.
-
Confiável
O Data Transmission Service monitora continuamente os bancos de dados de origem e destino e, ao detectar a mudança de conexão, o Data Transmission Service altera dinamicamente a conexão para otimizar o desempenho.
-
Desempenho excelente
O desempenho excelente do Data Transmission Service é compatível com a replicação em paralelo e aceita vários recursos de otimização de rede, como compactação de dados e retransmissão de pacotes.
Criação de um banco de dados robusto na nuvem para fintech, comércio eletrônico e jogos
Este documento técnico apresenta o PolarDB, banco de dados nativo da nuvem do Alibaba Cloud, e analisa desafios específicos de bancos de dados utilizando cenários reais, incluindo proteção, backup e migração de dados.
Cenários
-
Migração do banco de dados sem tempo de inatividade
-
Recuperação de desastres de dados remotos
-
Acesso remoto reduzido
-
Análise de big data em tempo real
-
Atualização do cache
-
Notificação por mensagem
Migração do banco de dados sem tempo de inatividade
O Data Transmission Service ajuda você a migrar dados praticamente sem precisar de tempo de inatividade. Todas as alterações no banco de dados de origem que ocorrem durante a migração são replicadas continuamente para o destino, permitindo que o banco de dados de origem permaneça funcionando completamente durante o processo de migração. Caso você deseje, após a conclusão da migração do banco de dados, o banco de dados de destino permanecerá sincronizado com o banco de dados de origem, permitindo que você faça a transição do banco de dados quando preferir.
Recuperação de desastres de dados remotos
Execute a replicação de dados em tempo real entre duas instâncias do RDS em regiões diferentes utilizando o Data Transmission Service. A instância de recuperação de desastre remota é secundária à instância primária. Quando ocorre um desastre, os aplicativos podem mudar para a instância de recuperação remota de desastres da instância primária para garantir a disponibilidade do negócio.
Acesso remoto reduzido
Quando um aplicativo é implantado em uma única região, o acesso do usuário baseado em outras regiões sofre com a diminuição da latência de acesso, resultando em uma experiência ruim para o usuário. Para melhorar a experiência de acesso, utilize a arquitetura recomendada da seguinte forma:
Configuração recomendada
-
Essa arquitetura consiste em um centro e unidades. As solicitações de gravação de usuários em todas as regiões são encaminhadas de volta ao centro. Os dados no centro são sincronizados com unidades por meio do Data Transmission Service. É possível encaminhar as solicitações de leitura de usuários em diferentes regiões para as unidades próximas, evitando o acesso remoto e reduzindo a latência de acesso.
Análise de big data em tempo real
O Data Transmission Service possibilita entrega otimizada e de alto desempenho ao Analytic DB do RDS para que os clientes possam adotar suas iniciativas de análise de big data em tempo real. Com essa solução, os clientes podem descobrir, organizar e enriquecer pontualmente os dados de baixa latência antes que eles passem para conjuntos mais refinados de ferramentas analíticas.
Atualização do cache
Use os serviços de caching com o RDS para obter acesso de alta velocidade aos dados. Atualize o cache de baixa latência sem prejudicar o desempenho da instância do RDS por meio da assinatura de dados do Data Transmission Service.
Notificação por mensagem
Quando dois aplicativos apresentam conexão assíncrona, use a assinatura de dados do Data Transmission Service para enviar notificações de mensagens de baixa latência sem prejudicar o desempenho do aplicativo de origem. Não é necessário publicar mensagens durante o aplicativo de origem com a assinatura de dados. Portanto, é possível tornar o aplicativo principal mais estável e confiável usando esta solução.
Casos de uso
- Replicação geográfica multiativa
- Recuperação de desastres entre regiões e entre AZ
- Sincronização transfronteiriça de dados
- Cloud BI e armazenamento de dados em tempo real
Exemplo: para armazenamento de dados em tempo real, o DTS integra perfeitamente bancos de dados OLTP e OLAP sem precisar de tempo de inatividade e mínimo esforço de configuração.
Assista ao vídeo para saber como o DTS pode otimizar seus fluxos de dados.
Por meio da integração com a Cloud Enterprise Network (CEN), nossa solução Data Transmission Service (DTS) não só permite a replicação em tempo real de dados entre regiões e fronteiras, de acordo com os requisitos de conformidade, como também permite uma conexão simples entre seu ambiente local e a infraestrutura na nuvem. Dessa forma, é possível aproveitar acessibilidade e confiabilidade aprimoradas dos dados independentemente da sua localização.
Saiba como nossa solução pode fortalecer sua empresa contra possíveis interrupções e permitir a sincronização eficiente do banco de dados global.
- Conecte bancos de dados locais ao DTS usando a CEN>
- Prática recomendada: sincronização transfronteiriça do bancos de dados>
Recursos relacionados
Prática
Configuração do Database Performance Benchmarking no Alibaba Cloud
Este documento apresenta uma orientação para implementar testes de desempenho do banco de dados com base em referências comumente usadas, incluindo o Transaction Processing Performance Council (TPC) e referências sysbench.
Prática
Implantação de aplicativos multirregionais no Alibaba Cloud
Essa solução permite implantar aplicativos em várias regiões, conectar redes regionais a uma rede interna central, migrar uma implantação no Express Connect para uma implantação no CEN e implantar replicação entre vários sistemas de banco de dados ApsaraDB para RDS em várias regiões.
Perguntas frequentes
1. O Data Transmission Service aceita a migração de dados entre instâncias do RDS em duas contas diferentes do Alibaba Cloud?
Sim. Ao migrar dados entre instâncias do RDS em diferentes contas do Alibaba Cloud, é necessário fazer login no console do Data Transmission Service com a conta da instância do RDS de destino.
Ao configurar a tarefa de migração, é necessário selecionar bancos de dados com autorização contendo endereços IP públicos para a instância de origem e configurar a conexão da instância do RDS de origem.
2. O Data Transmission Service aceita a migração dos dados de mudança da instância de origem durante a migração de dados?
Sim. Todas as mudanças de dados no banco de dados de origem que ocorrem durante a migração são replicadas continuamente para o destino. O Data Transmission Service permite que o banco de dados de origem permaneça funcionando completamente durante o processo de migração.
3. Quais são os princípios básicos da migração de dados de mudança por meio do Data Transmission Service?
Os princípios básicos da migração de dados de mudança por meio do Data Transmission Service são descritos abaixo:
Durante a migração, o Data Transmission Service inicia o módulo de análise de registros para capturar e analisar em tempo real os registros de mudança do banco de dados de origem. Em seguida, o Data Transmission Service começa a migrar os dados existentes. Após o carregamento dos dados, o Data Transmission Service replica os dados de mudança capturados na instância de destino e o banco de dados de destino permanece sincronizado com a origem pelo tempo que você escolher.
4. As tabelas são bloqueadas durante a migração de dados pelo Data Transmission Service?
Quando você escolhe a migração de dados existentes e a replicação de dados de mudança, o Data Transmission Service verifica se o banco de dados de origem contém tabelas não transacionais sem chaves primárias (por exemplo, myISAM) durante a migração completa de dados. Caso essas tabelas existam, o Data Transmission Service realiza bloqueios somente leitura nas tabelas para garantir que a migração de dados seja consistente. Em outros casos, o Data Transmission Service não realiza bloqueios nos bancos de dados.
5. Qual rede (intranet ou Internet) é usada para acessar a instância do ECS durante a migração de dados por meio do Data Transmission Service?
Caso o tipo de rede da instância do ECS seja VPC, o Data Transmission Service se conecta à instância do ECS por meio da Internet.
Caso a instância do ECS seja a instância de origem da tarefa de migração e esteja localizada em uma região diferente da instância de destino da tarefa de migração, o Data Transmission Service se conecta ao ECS por meio da Internet.
Caso contrário, o Data Transmission Service se conecta à instância do ECS por meio de intranet.
6. Qual rede (intranet ou Internet) é usada para acessar a instância do RDS durante a migração de dados pelo Data Transmission Service?
Caso a instância do RDS seja a instância de origem da tarefa de migração e esteja localizada em uma região diferente da instância de destino da tarefa de migração, o Data Transmission Service se conecta à instância do RDS por meio da Internet.
Caso contrário, o Data Transmission Service se conecta à instância do RDS por meio de intranet.
7. As operações de DDL serão sincronizadas com o destino durante a migração do banco de dados?
Caso o tipo de banco de dados da instância de origem seja MySQL ou MongoDB, a operação de DDL é sincronizada.
Caso contrário, a operação de DDL não é sincronizada.
8. O Data Transmission Service é compatível com a migração do banco de dados em uma instância do VPC ECS para uma instância do RDS?
Sim, mas é necessário que a instância do ECS esteja anexada a um endereço EIP. Selecione a instância do ECS como a instância de origem ao configurar a tarefa de migração. O Data Transmission Service acessa a instância do ECS usando o endereço EIP da instância do ECS.
9. Durante a migração de dados, de qual banco de dados (ativo/em espera) o Data Transmission Service transfere dados?
Durante a migração de dados, o Data Transmission Service transfere dados do banco de dados ativo da instância do RDS.
10. O Data Transmission Service pode migrar o banco de dados C na instância A do RDS para o banco de dados D na instância B do RDS?
Sim. O Data Transmission Service é compatível com o mapeamento do nome do banco de dados que permite a migração entre dois bancos de dados diferentes em duas instâncias do RDS.
11. Os dados no banco de dados de origem são excluídos após a migração pelo Data Transmission Service?
Não. O Data Transmission Service apenas copia os dados no banco de dados de origem durante a migração e, portanto, não há impacto nos dados no banco de dados de origem.
12. Por que recebi o erro "Failed to obtain the structure object "[java.sql.SQLException: Exception I/O: The Network Adapter co"?
Esse erro indica que há uma falha na conexão do Data Transmission Service ao banco de dados de origem. Possíveis causas:
(1) O endereço da conexão está incorreto.
(2) O firewall está habilitado para o banco de dados local.
(3) A escuta remota não está ativada para o banco de dados.
13. O que é a tabela "increment_trx" gerada no banco de dados de destino durante a migração dos dados?
O Data Transmission Service cria a tabela "increment_trx", que é usada principalmente para registrar o ponto de verificação da migração. Quando a tarefa é interrompida, o Data Transmission Service reinicia automaticamente o processo e continua a migração a partir do ponto de verificação registrado.
Não descarte a tabela ou a tarefa de migração falhará.
14. Por que o tamanho da instância do RDS de destino é maior do que o banco de dados de origem após a migração pelo Data Transmission Service?
O Data Transmission Service migra dados por meio do SQL. Ele irá gerar o binlog na instância de destino. Portanto, o tamanho da instância do RDS de destino após a migração é maior do que o banco de dados de origem.
15. Por que recebi o erro "java.sql.BatchUpdateException: INSERT, DELETE command denied to user 'user'"?
Em geral, isso acontece porque a instância do RDS de destino está bloqueada e o privilégio de gravação da conta é revogado.
Para resolver o problema, atualize o espaço da instância do RDS de destino e reiniciar a tarefa no console do Data Transmission Service.
16. Os dados nas tabelas do banco de dados de destino são sobrescritos durante a migração de dados por meio do Data Transmission Service?
Não. É necessário que a tabela da instância de destino a ser migrada esteja vazia antes da migração de dados. Caso a tabela a ser migrada já exista no banco de dados de destino, a pré-verificação falhará.
17. Como faço para migrar um banco de dados para a instância do RDS de outra conta do Alibaba Cloud?
É necessário fazer logon no console do Data Transmission Service da conta do Alibaba Cloud da instância do RDS de destino. Configure o tipo de instância de origem como banco de dados com autorização e defina a conexão da instância do RDS de origem.
18. A liberação de uma tarefa de migração concluída impacta o uso do banco de dados migrado?
Não.
19. O Data Transmission Service aceita a sincronização entre o banco de dados com autorização e a instância do RDS?
Sim. Use o Data Transmission Service para sincronizar a instância da nuvem e o banco de dados com autorização.
20. Qual rede (intranet ou Internet) é usada durante a sincronização do Data Transmission Service?
Durante a sincronização, o Data Transmission Service transfere dados por meio de intranet.
21. Por que o SDK de assinatura de dados não pode assinar mensagem alguma e o prompt "partição do cliente vazia, aguarde o equilíbrio da partição" é sempre exibido?
Por que o SDK de assinatura de dados não pode assinar mensagem alguma e o prompt "partição do cliente vazia, aguarde o equilíbrio da partição" é sempre exibido?
22. Por que o erro "keep alive" é exibido no SDK de assinatura de dados?
A marcação de hora do consumo não está dentro do intervalo de dados da instância da assinatura. Modifique a marcação de hora do consumo e reinicie o SDK.
23. Por que o sistema exibe o erro "failed to get master store addr for topic aliyun_sz_ecs_ApsaraDBr*****y-1-0" ao usar a função de assinatura de dados?
Primeiro, verifique se sePublicIp no SDK está definido como true.
Se usePublicIp = true, verifique se a marcação de hora do consumo está dentro do intervalo de dados da instância da assinatura. Caso contrário, modifique a marcação de hora do consumo e reinicie o SDK.
24. Por que o sistema relata o erro "Specified signature is not matched with our calculation. em com.aliyuncs.DefaultAcsClient.parseAcsResponse(DefaultAcsClient.java:139) at" quando inicio o SDK para assinatura de dados?
A chave de acesso ou a senha de acesso configurada no SDK não pertence à conta do Alibaba Cloud correspondente à instância da assinatura. Modifique a chave de acesso ou a senha de acesso e reinicie o SDK.
25. Um cliente de SDK pode assinar vários canais?
Não.
26. Por que o relatório do sistema "falha ao obter informações de orientação" é exibido quando inicio a assinatura do SDK?
O ID da instância de assinatura definido no SDK está incorreto. Substitua o "ID da instância de assinatura" no cliente de código de exemplo pelo ID da instância de assinatura que você deseja assinar.
Suporte atualizado para você
Consulta individual de pré-venda, suporte técnico 24/7, resposta mais rápida, e mais chamados.
Consulta individual de pré-venda
Suporte técnico 24/7
Seis chamados grátis por trimestre
