Utilize o Data Transmission Service (DTS) para migrar um conjunto de réplicas MongoDB auto-gerenciado para o ApsaraDB for MongoDB. O DTS oferece suporte tanto à migração completa de dados quanto à migração incremental de dados. Essa combinação permite migrar seu banco de dados para a cloud sem interromper seus services.
Como alternativa, você pode usar uma ferramenta do MongoDB para migrar um banco de dados auto-gerenciado para uma instância de conjunto de réplicas. Para outras soluções, consulte Migração e sincronização de dados.
Pré-requisitos
O banco de dados MongoDB auto-gerenciado de origem e a instância de destino ApsaraDB for MongoDB devem estar em uma versão suportada. Para obter a lista de versões compatíveis, consulte a visão geral das soluções de migração.
A instância de destino ApsaraDB for MongoDB precisa ter pelo menos 10% a mais de espaço de armazenamento do que o banco de dados MongoDB auto-gerenciado de origem.
Observações
O banco de dados
configé um banco de dados interno do sistema. Não o migre, a menos que tenha requisitos específicos.Durante uma migração completa de dados, o DTS consome recursos nos bancos de dados de origem e de destino, o que aumenta a carga nos servidores de banco de dados. Se o banco de dados estiver sob carga elevada ou possuir especificações baixas, a migração pode causar sobrecarga adicional ou até mesmo interrupções no service. Avalie o impacto potencial e execute a migração de dados em horários de baixa demanda.
Para obter informações sobre as versões e mecanismos de armazenamento suportados pelas instâncias do MongoDB, consulte Versões e mecanismos de armazenamento. Caso migre dados entre versões ou mecanismos de armazenamento diferentes, verifique a compatibilidade antes de iniciar.
Os bancos de dados
adminelocalnão podem ser usados como banco de dados de origem ou de destino.O DTS grava dados simultaneamente. Por isso, o banco de dados de destino pode utilizar de 5% a 10% a mais de espaço de armazenamento do que o banco de dados de origem.
Garanta que nenhum documento no banco de dados de destino tenha a mesma chave primária (o campo
_idpor padrão) que os documentos no banco de dados de origem. Caso contrário, ocorrerá perda de dados. Se existirem documentos com chaves primárias duplicadas, exclua-os do banco de dados de destino antes da migração, desde que isso não afete seus services.
Faturamento
Tipo de migração | Taxa de configuração de link | Custo de transferência de dados |
Migração completa de dados | Gratuito. | Custos de transferência de dados são gerados ao migrar dados para fora da Alibaba Cloud pela rede pública. Para mais detalhes, consulte Visão geral de faturamento. |
Migração incremental de dados | Taxas aplicáveis. Para mais detalhes, consulte Visão geral de faturamento. |
Tipos de migração
-
Migração completa de dados: Migra todos os dados históricos do banco de dados MongoDB de origem para o banco de dados MongoDB de destino.
NotaOferece suporte à migração de bancos de dados, coleções e índices.
-
Migração incremental de dados: Além da migração completa de dados, replica atualizações incrementais do banco de dados MongoDB de origem para o banco de dados MongoDB de destino.
NotaPermite replicar a criação e exclusão de bancos de dados, coleções e índices.
Permite replicar a inserção, exclusão e atualização de documentos.
Requisitos de permissão da conta do banco de dados
|
Fonte de dados |
Migração completa de dados |
Migração incremental de dados |
|
Banco de dados MongoDB auto-gerenciado |
Permissão |
Permissão |
|
ApsaraDB for MongoDB |
Permissão |
Permissão |
Para criar contas de banco de dados e conceder permissões:
Para instâncias do ApsaraDB for MongoDB, consulte Gerenciar usuários de banco de dados MongoDB no Data Management Service (DMS).
Para bancos de dados MongoDB auto-gerenciados, consulte Criar usuário no MongoDB.
Configurar e executar uma tarefa de migração
Etapa 1: Acessar a página de Migração de Dados
Pelo console do DTS:
Faça login no console do DTS.
No painel de navegação à esquerda, clique em Data Migration.
No canto superior esquerdo, selecione a região onde a instância de migração está localizada.
Pelo console do DMS:
As etapas reais podem variar conforme o modo e o layout do console do DMS. Consulte Modo simples e Personalizar o layout e o estilo do console do DMS .
Faça login no console do DMS.
Na barra de navegação superior, mova o ponteiro sobre Data + AI > DTS (DTS) > Data Migration.
Na lista suspensa à direita de Data Migration Tasks, selecione a região onde a instância de migração está localizada.
Etapa 2: Criar a tarefa e configurar os bancos de dados de origem e de destino
Clique em Create Task.
Configure os bancos de dados de origem e de destino utilizando os parâmetros nas tabelas a seguir.
Após configurar os bancos de dados de origem e de destino, revise os Limits exibidos na parte superior da página. Pular esta etapa pode causar falha na tarefa ou resultar em inconsistência de dados.
Parâmetros do banco de dados de origem
|
Parâmetro |
Descrição |
|
Task Name |
Nome da tarefa. O DTS gera um nome automaticamente. Especifique um nome descritivo para identificar a tarefa facilmente. Os nomes das tarefas não precisam ser únicos. |
|
Select Existing Connection |
Se o banco de dados de origem estiver registrado no DTS, selecione-o na lista suspensa. O DTS preenche os parâmetros restantes automaticamente. Caso contrário, configure os parâmetros abaixo manualmente. |
|
Database Type |
Selecione MongoDB. |
|
Access Method |
Selecione o tipo de conexão com base na localização do banco de dados de origem. Este tópico usa Public IP Address como exemplo. Se selecionar um tipo de conexão diferente, conclua os preparativos necessários. |
|
Instance Region |
Selecione a região onde o banco de dados de origem reside. Se a região não estiver listada, selecione a região geograficamente mais próxima. |
|
Architecture |
Selecione Replica Set. |
|
Migration Method |
Selecione o método para migrar dados incrementais: Oplog (recomendado) ou ChangeStream. Oplog está disponível quando o recurso oplog está habilitado na origem. ChangeStream está disponível quando os fluxos de alteração estão habilitados. Se a origem for um cluster Amazon DocumentDB inelástico, você deve selecionar ChangeStream e definir o parâmetro Architecture como Sharded Cluster. Se você selecionar Sharded Cluster para o parâmetro Architecture, não será necessário configurar os parâmetros Shard account e Shard password. |
|
Endpoint Type |
Selecione Standalone ou Multi-node. Disponível quando Access Method é Express Connect, VPN Gateway, or Smart Access Gateway, Public IP Address ou Cloud Enterprise Network (CEN). |
|
Domain Name or IP |
O nome de domínio ou endereço IP do banco de dados de origem. Disponível quando Endpoint Type é Standalone. |
|
Port Number |
A porta de service do banco de dados de origem. Disponível quando Endpoint Type é Standalone. |
|
Endpoint |
O endpoint do banco de dados de origem no formato |
|
Authentication Database |
O banco de dados ao qual a conta de origem pertence. Padrão: |
|
Database Account |
A conta usada para conectar-se ao banco de dados de origem. Para as permissões necessárias, consulte Permissões necessárias. Se Access Method for Self-managed Database on ECS ou Database Gateway, insira a conta do nó shard. |
|
Database Password |
A senha da conta do banco de dados. |
|
Encryption |
O método de criptografia da conexão: Non-encrypted, SSL-encrypted ou Mongo Atlas SSL. As opções disponíveis dependem de Access Method e Architecture. SSL-encrypted não está disponível quando Architecture é Sharded Cluster e Migration Method é Oplog. Se Architecture for Replica Set, Access Method não for Alibaba Cloud Instance e Encryption for SSL-encrypted, faça upload de um certificado CA para verificar a conexão. |
Parâmetros do banco de dados de destino
|
Parâmetro |
Descrição |
|
Select Existing Connection |
Se a instância de destino estiver registrada no DTS, selecione-a na lista suspensa. Caso contrário, configure os parâmetros abaixo manualmente. |
|
Database Type |
Selecione MongoDB. |
|
Access Method |
Selecione Alibaba Cloud Instance. |
|
Instance Region |
Selecione a região onde a instância de destino ApsaraDB for MongoDB reside. |
|
Replicate Data Across Alibaba Cloud Accounts |
Selecione No para usar uma instância na conta atual. |
|
Architecture |
Selecione a arquitetura da instância de destino. |
|
Instance ID |
Selecione o ID da instância de destino. |
|
Authentication Database |
O banco de dados ao qual a conta de destino pertence. Padrão: |
|
Database Name |
O nome do banco de dados na instância de destino onde os objetos migrados serão armazenados. |
|
Database Account |
A conta usada para conectar-se à instância de destino. Para as permissões necessárias, consulte Permissões necessárias. |
|
Database Password |
A senha da conta do banco de dados. |
|
Encryption |
O método de criptografia da conexão. SSL-encrypted não está disponível quando o destino utiliza uma arquitetura de cluster fragmentado. |
Etapa 3: Testar a conectividade
Clique em Test Connectivity and Proceed e, em seguida, clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.
Certifique-se de que os blocos CIDR dos servidores DTS foram adicionados às listas de permissões dos bancos de dados de origem e de destino. Consulte Adicionar endereços IP de servidores DTS a uma lista de permissões .
Etapa 4: Configurar objetos de migração
Na página Configure Objects, configure os objetos de migração usando os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Migration Types |
Selecione os tipos de migração: Schema Migration, Full Data Migration e, opcionalmente, Incremental Data Migration. Para migração sem tempo de inatividade, selecione todos os três. Se pular Schema Migration, crie os bancos de dados e coleções de destino no destino antes de iniciar. Se pular Incremental Data Migration, não grave na origem durante a migração. |
|
Processing Mode of Conflicting Tables |
Precheck and Report Errors: falha na pré-verificação se o destino contiver coleções com os mesmos nomes da origem. Use o mapeamento de nomes de objetos para renomear as coleções migradas caso as coleções existentes não possam ser excluídas. Ignore Errors and Proceed: ignora a pré-verificação. O DTS não migra registros com as mesmas chaves primárias dos registros existentes no destino. A consistência dos dados não é garantida. |
|
Capitalization of object names in destination instance |
A política de uso de maiúsculas e minúsculas para nomes de bancos de dados e coleções no destino. Padrão: DTS default policy. Consulte Especificar o uso de maiúsculas e minúsculas nos nomes de objetos na instância de destino. |
|
Source Objects |
Selecione bancos de dados ou coleções para migrar. Clique no ícone |
|
Selected Objects |
Clique com o botão direito em um objeto para renomeá-lo no destino (mapeamento de nomes de objetos), definir o modo de migração incremental ou especificar condições WHERE para filtragem de dados na migração completa. Para remover um objeto, clique nele e depois clique no ícone |
para adicioná-los aos Selected Objects.
.Etapa 5: Configurar definições avançadas
Clique em Next: Advanced Settings e configure os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Dedicated Cluster for Task Scheduling |
Por padrão, o DTS agenda tarefas em um cluster compartilhado. Adquira um cluster dedicado para recursos isolados. Consulte O que é um cluster dedicado do DTS? |
|
Retry Time for Failed Connections |
A duração de nova tentativa para falhas de conexão. Valores válidos: 10–1.440 minutos. Padrão: 720 minutos. Defina este valor para pelo menos 30 minutos. Se diferentes tarefas compartilharem o mesmo banco de dados de origem ou de destino, o último valor definido terá precedência. |
|
Retry Time for Other Issues |
A duração de nova tentativa para falhas em operações DDL ou DML. Valores válidos: 1–1.440 minutos. Padrão: 10 minutos. Defina este valor para pelo menos 10 minutos. Este valor deve ser menor que Retry Time for Failed Connections. |
|
Enable Throttling for Full Data Migration |
Limita a carga de leitura/gravação na origem e no destino durante a migração completa. Configure QPS para o banco de dados de origem, RPS da Migração Completa de Dados e velocidade de migração de dados. Disponível apenas quando Full Data Migration estiver selecionado. |
|
Only one data type for primary key `_id` in a table of the data to be synchronized |
Yes: O DTS migra apenas um tipo de dados de |
|
Enable Throttling for Incremental Data Migration |
Limita a carga durante a migração incremental. Configure RPS da Migração Incremental de Dados e velocidade de migração de dados. Disponível apenas quando Incremental Data Migration estiver selecionado. |
|
Environment Tag |
Uma tag opcional para identificar a instância. |
|
Configure ETL |
Ative o recurso de extração, transformação e carregamento (ETL) para transformar dados durante a migração. Consulte Configurar ETL em uma tarefa de migração ou sincronização de dados. |
|
Monitoring and Alerting |
Configure alertas para falha na tarefa ou alta latência de migração. Se ativado, defina o limiar de alerta e os contatos de notificação. Consulte Configurar monitoramento e alertas. |
Etapa 6: Configurar verificação de dados (opcional)
Clique em Next Data Verification para configurar uma tarefa de verificação de dados. Consulte Configurar uma tarefa de verificação de dados.
Etapa 7: Executar a pré-verificação
Clique em Next: Save Task Settings and Precheck.
Para visualizar os parâmetros da API para esta configuração de tarefa, mova o ponteiro sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .
O DTS executa uma pré-verificação antes de iniciar a migração. A tarefa só começa após passar na pré-verificação.
Se um item de verificação falhar, clique em View Details, resolva o problema e clique em Precheck Again.
Se um alerta for acionado para um item de verificação que pode ser ignorado, clique em Confirm Alert Details > Ignore > OK > Precheck Again. Ignorar alertas pode resultar em inconsistência de dados.
Etapa 8: Adquirir e iniciar a instância
Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.
Na página Purchase Instance, configure os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Resource Group |
O grupo de recursos para a instância de migração. Padrão: grupo de recursos padrão. Consulte O que é o Resource Management? |
|
Instance Class |
A classe da instância determina a velocidade da migração. Selecione com base no volume de dados e nos requisitos de tempo. Consulte Classes de instância de instâncias de migração de dados. |
Leia e marque a caixa de seleção para concordar com os Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start e, em seguida, clique em OK na caixa de diálogo de confirmação.
Mais informações
Como conectar-se a uma instância de conjunto de réplicas do ApsaraDB for MongoDB