ApsaraDB for MongoDB:DTS: Migrar do MongoDB Atlas para o ApsaraDB for MongoDB

Pré-requisitos

A instância do ApsaraDB for MongoDB deve ter pelo menos 10% a mais de espaço de armazenamento do que o banco de dados MongoDB Atlas.

Observações

• Durante a migração completa de dados, o DTS consome recursos nos bancos de dados de origem e de destino, o que aumenta a carga do servidor. Se o seu banco de dados tiver uma carga de trabalho alta ou especificações de servidor limitadas, isso pode degradar o desempenho ou causar interrupções no service. Recomendamos migrar os dados em horários de menor movimento.

• O DTS não oferece suporte à migração dos bancos de dados admin e local.

• O banco de dados config é um banco de dados interno do sistema. Não o migre, a menos que tenha requisitos específicos.

• Para obter informações sobre as versões e os mecanismos de armazenamento compatíveis com o ApsaraDB for MongoDB, consulte MongoDB versions and storage engines. Se você migrar dados entre versões ou mecanismos de armazenamento diferentes, verifique a compatibilidade com antecedência.

• O DTS grava dados simultaneamente, portanto, o banco de dados de destino requer de 5% a 10% a mais de espaço de armazenamento do que o banco de dados de origem.

• Para evitar perda de dados, certifique-se de que nenhum documento no banco de dados de destino possua chaves primárias em conflito com as da origem. A chave primária padrão é _id. Antes de iniciar a migração, exclua quaisquer documentos com chaves primárias conflitantes do banco de dados de destino. Certifique-se de que essa exclusão não afete seus services.

Faturamento

Tipos de migração

Requisitos de permissão para contas de banco de dados

Caso necessário, crie uma conta de banco de dados e conceda permissões. Para obter informações, consulte os seguintes tópicos:

• Banco de dados MongoDB Atlas: MongoDB user creation instructions.

• Instância do ApsaraDB for MongoDB: gerencie as contas usando o Use DMS to manage database accounts.

Antes de começar

1. Para começar, acesse o console do MongoDB Atlas.

2. No painel de navegação à esquerda, clique em Network Access.

3. Na guia IP access list, clique em Add IP Address.

4. Adicione os endereços IP do service DTS da sua região à lista de permissões de IP. Para mais informações, consulte Add IP access list entries e Add DTS server IP addresses to an allowlist.

   Nota

   Esta etapa concede ao DTS acesso ao seu banco de dados MongoDB Atlas. Após a conclusão da migração, exclua a regra.

Procedimento (novo console)

1. Em seguida, acesse a página da lista de tarefas de migração para a região de destino usando um dos seguintes métodos.

   Pelo console do DTS

   1. Primeiro, acesse o Data Transmission Service (DTS) console.

   2. No painel de navegação à esquerda, clique em Data Migration.

   3. No canto superior esquerdo da página, selecione a região da instância de migração.

   Pelo console do DMS

   Nota

   As operações reais podem variar com base no modo e no layout do console do DMS. Para mais informações, consulte Simple mode console e Customize the layout and style of the DMS console.

   1. Primeiro, acesse o Data Management (DMS) console.

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Migration.

   3. À direita de Data Migration Tasks, selecione a região da instância de migração.

2. Para criar uma tarefa, clique em Create Task para acessar a página de configuração da tarefa.

3. Configure os bancos de dados de origem e de destino.

   Aviso

   Após selecionar as instâncias de origem e de destino, leia atentamente os limites exibidos na parte superior da página. Caso contrário, a tarefa poderá falhar ou haver inconsistência de dados.

   Categoria	Parâmetro	Descrição
   N/D	Task Name	O DTS gera automaticamente um nome para a tarefa. Para facilitar a identificação, especifique um nome descritivo. O nome não precisa ser único.
   Source Database	Select a DMS database instance.	Primeiro, escolha se deseja usar uma instância existente. Se usar uma instância existente, as informações do banco de dados abaixo serão preenchidas automaticamente. Não é necessário inseri-las novamente. Caso contrário, configure as informações do banco de dados abaixo. Nota No console do DMS, clique em Add DMS Database Instance para registrar um banco de dados no DMS. Para mais informações, consulte ApsaraDB Data Ingestion e Register a database hosted on a third-party cloud service or a self-managed database. No console do DTS, registre um banco de dados na página Database Connections ou na nova página de configuração. Para mais informações, consulte Manage database connections.
   	Database Type	Selecione MongoDB.
   	Access Method	Selecione Public IP Address.
   	Instance Region	Selecione a região do banco de dados MongoDB Atlas. Nota Se a região do banco de dados não estiver listada, selecione a região geograficamente mais próxima.
   	Architecture	Selecione Replica Set.
   	Domain Name or IP	No campo apropriado, insira o endpoint do nó PRIMARY no banco de dados MongoDB Atlas. Nota Obtenha o endpoint no console do MongoDB Atlas.
   	Port	Em seguida, insira a porta de service do banco de dados MongoDB Atlas. O valor padrão é 27017.
   	Authentication Database	Por favor, insira o nome do banco de dados de autenticação onde a conta foi criada.
   	Database Account	Agora, insira a conta do banco de dados MongoDB Atlas. Para mais informações sobre as permissões necessárias, consulte Permissions required for database accounts.
   	Database Password	Por fim, insira a senha da conta do banco de dados.
   	Connection Method	Selecione Mongo Atlas SSL.
   Destination Database	Select a DMS database instance.	Primeiro, escolha se deseja usar uma instância existente. Se usar uma instância existente, as informações do banco de dados abaixo serão preenchidas automaticamente. Não é necessário inseri-las novamente. Caso contrário, configure as informações do banco de dados abaixo. Nota No console do DMS, clique em Add DMS Database Instance para registrar um banco de dados no DMS. Para mais informações, consulte ApsaraDB Data Ingestion e Register a database hosted on a third-party cloud service or a self-managed database. No console do DTS, registre um banco de dados na página Database Connections ou na nova página de configuração. Para mais informações, consulte Manage database connections.
   	Database Type	Selecione MongoDB.
   	Access Method	Selecione Cloud instance.
   	Instance Region	Selecione a região da instância de destino do ApsaraDB for MongoDB.
   	Architecture	Selecione um tipo de arquitetura com base nos seus requisitos de negócios. Valores válidos: Replica Set: Instâncias de conjunto de réplicas usam vários tipos de nós para implementar alta disponibilidade e divisão de leitura/gravação. Para mais informações, consulte Replica set instances. Sharded Cluster: Uma instância de cluster fragmentado consiste em três tipos de componentes: nós mongos, shard e Configserver. Personalize as configurações e o número de nós mongos e shard. Para mais informações, consulte Sharded cluster instances.
   	Instance ID	Selecione o ID da instância de destino do ApsaraDB for MongoDB.
   	Authentication Database	Por favor, insira o nome do banco de dados de autenticação onde a conta foi criada. Nota Se usar a conta root, o nome do banco de dados correspondente será admin.
   	Database Account	Agora, insira a conta da instância de destino do ApsaraDB for MongoDB. Para mais informações sobre as permissões necessárias, consulte Permissions required for database accounts.
   	Database Password	Por fim, insira a senha da conta do banco de dados.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página. Na caixa de diálogo CIDR Blocks of DTS Servers exibida, clique em Test Connectivity.

   Nota

   Certifique-se de adicionar os blocos CIDR do service DTS, automática ou manualmente, às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores DTS. Para mais informações, consulte Add DTS server IP addresses to a whitelist.

5. Configure os objetos da tarefa.

   1. Na página Configure Objects, configure os objetos a serem migrados.

      Parâmetro	Descrição
      Migration Types	Para realizar apenas uma migração completa, selecione Schema Migration e Full Data Migration. Para realizar uma migração sem tempo de inatividade, selecione Schema Migration, Full Data Migration e Incremental Data Migration. Nota Caso não selecione Schema Migration, garanta a existência de um banco de dados e tabelas para receber os dados no destino. Se necessário, use o recurso de mapeamento de nomes de objetos na caixa Selected Objects. Caso não selecione Incremental Data Migration, não grave novos dados na instância de origem durante a migração para garantir a consistência dos dados.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: verifica se o banco de dados de destino contém coleções com nomes idênticos aos do banco de dados de origem. Se não houver coleções com nomes idênticos, a pré-verificação será aprovada. Caso contrário, o sistema retornará um erro e a tarefa não poderá ser iniciada. Nota Use o recurso de mapeamento de nomes de objetos para renomear as coleções sincronizadas no destino. Utilize este recurso se houver nomes idênticos e as coleções de destino não puderem ser excluídas ou renomeadas. Para mais informações, consulte Rename synchronized objects in the destination instance. Ignore Errors and Proceed: ignora a pré-verificação de nomes de coleção idênticos. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e expor seus negócios a riscos potenciais. O DTS não sincroniza registros com valores de chave primária idênticos aos do banco de dados de destino. A inicialização dos dados pode falhar, resultando na sincronização de apenas algumas colunas ou na falha total da tarefa.
      Capitalization of Object Names in Destination Instance	Configure a política de diferenciação de maiúsculas e minúsculas para os nomes em inglês dos objetos de banco de dados e coleção sincronizados na instância de destino. Selecione a DTS default policy (opção padrão) ou use as políticas padrão do banco de dados de origem ou de destino. Para mais informações, consulte Case sensitivity policy for destination object names.
      Source Objects	Selecione um ou mais objetos na seção Source Objects. Clique no ícone e adicione os objetos à seção Selected Objects. Nota Selecione objetos no nível de granularidade de bancos de dados ou coleções.
      Selected Objects	Para alterar o nome de um único objeto de migração na instância de destino, clique com o botão direito do mouse no objeto dentro da caixa Selected Objects. Para mais informações, consulte Map individual schema, table, and column names. Para alterar os nomes de vários objetos, clique em Selected Objects no canto superior direito da caixa Batch Edit. Para mais informações, consulte Map multiple schema, table, and column names. Nota O uso do mapeamento de nomes para renomear um objeto pode causar falha na migração de outros objetos dependentes. Para especificar condições WHERE e filtrar dados, clique com o botão direito do mouse em um objeto na caixa Selected Objects e especifique as condições na caixa de diálogo exibida. Para mais informações, consulte Set filter conditions.

   2. Em seguida, clique em Next: Advanced Settings para configurar parâmetros avançados.

      Parâmetro	Descrição
      Retry Time for Failed Connections	Se a conexão com o banco de dados de origem ou de destino falhar após o início da tarefa, o DTS relatará um erro e tentará reconectar imediatamente. A duração padrão de nova tentativa é de 720 minutos. Personalize esse tempo para um valor entre 10 e 1440 minutos. Recomendamos definir uma duração superior a 30 minutos. Se o DTS reconectar dentro do período especificado, a tarefa será retomada automaticamente; caso contrário, ela falhará. Nota Para várias instâncias do DTS com a mesma origem ou destino, o tempo de nova tentativa de rede segue a configuração da última tarefa criada. Como há cobrança durante o período de nova tentativa, personalize o tempo com base nas suas necessidades ou libere a instância do DTS assim que liberar as instâncias de banco de dados de origem e de destino.
      Retry Time for Other Issues	Se ocorrer um problema não relacionado à conectividade (como exceção de execução DDL ou DML) após o início da tarefa, o DTS relatará um erro e tentará repetir a operação imediatamente. A duração padrão é de 10 minutos. Personalize esse tempo para um valor entre 1 e 1440 minutos. Recomendamos definir uma duração superior a 10 minutos. Se as operações forem bem-sucedidas dentro do período, a tarefa será retomada automaticamente; caso contrário, ela falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
      Enable Throttling for Full Data Migration	Durante a migração completa, o DTS consome recursos de leitura e gravação, o que pode aumentar a carga dos bancos de dados. Se necessário, ative o limitador de velocidade. Defina Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item está disponível apenas se você selecionar Full Data Migration em Migration Types. Você também pode adjust the full migration speed com a instância de migração em execução.
      Enable Throttling for Incremental Data Migration	Se necessário, defina limites de velocidade para a tarefa de migração incremental. Defina RPS of Incremental Data Migration e Data migration speed for incremental migration (MB/s) para reduzir a carga no banco de dados de destino. Nota Este item está disponível apenas se você selecionar Incremental Data Migration em Migration Types. Você também pode adjust the incremental migration speed com a instância de migração em execução.
      Environment Tag	Selecione uma tag de ambiente para identificar a instância. Neste exemplo, não é necessária nenhuma tag.
      Configure ETL	Conforme a necessidade do seu negócio, escolha se deseja configurar o ETL feature para processar dados. Yes: Configura o recurso ETL. Insira também data processing statements na caixa de texto. No: Não configura o recurso ETL.
      Monitoring and Alerting	Aqui, escolha se deseja definir alertas e receber notificações conforme a necessidade do seu negócio. No: Não define alertas. Yes: Configure alertas definindo um alert threshold e um alert notifications. O sistema enviará uma notificação se a migração falhar ou a latência exceder o limiar.

   3. Depois, clique em Next: Data Validation para configurar uma tarefa de validação de dados.

      Para mais informações sobre o recurso de validação de dados, consulte Configure data validation.

6. Agora, salve a tarefa e execute uma pré-verificação.

   • visualize os parâmetros de configuração desta instância ao chamar a operação de API, passando o ponteiro sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters na dica exibida.

   • Se não precisar visualizar os parâmetros da API ou já tiver terminado, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • O DTS realiza uma pré-verificação antes de iniciar a tarefa de migração. A tarefa só é iniciada após a aprovação.

   • Se a pré-verificação falhar, clique em View Details ao lado do item com falha, corrija o problema conforme a instrução e execute a pré-verificação novamente.

   • Se um aviso for relatado durante a pré-verificação:

     • Para itens que não podem ser ignorados, clique em View Details ao lado do item com falha, corrija o problema conforme a instrução e execute a pré-verificação novamente.

     • Para itens que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again para pular o aviso e executar a pré-verificação novamente. Ignorar um aviso pode causar problemas como inconsistência de dados e representar riscos ao seu negócio.

7. Compre a instância.

   1. Quando a Success Rate for de 100%, clique em Next: Purchase Instance.

   2. Na página Purchase, selecione a especificação de link para a instância de migração de dados. Para mais informações, consulte a tabela a seguir.

      Categoria	Parâmetro	Descrição
      New Instance Class	Resource Group Settings	Selecione o grupo de recursos da instância. O valor padrão é o grupo de recursos padrão. Para mais informações, consulte What is resource management?
      	Instance Class	O DTS fornece especificações de migração com diferentes níveis de desempenho, o que afeta a velocidade da migração. Selecione uma especificação com base no seu cenário de negócios. Para mais informações, consulte Data migration link specifications.

   3. Após concluir a configuração, leia e aceite os Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Para finalizar, clique em Buy and Start. Na caixa de diálogo OK exibida, clique em OK.

      Você pode visualizar o progresso da tarefa de migração na página de lista Data Migration Tasks.

      Nota

      • Se a tarefa não incluir migração incremental, ela será interrompida automaticamente após a conclusão da migração completa e seu Status mudará para Completed.

      • Se a tarefa incluir migração incremental, ela não será interrompida automaticamente. A migração incremental continuará em execução e o Status da tarefa será Running.

Procedimento (console antigo)

1. Compre uma instância de migração de dados. Para mais informações, consulte Purchase a DTS instance.

2. Para iniciar, acesse o DTS console.

   Nota

   Se for redirecionado automaticamente para o console do Data Management (DMS), clique no ícone no canto inferior direito e, em seguida, clique em para retornar ao console clássico do DTS.

3. No painel de navegação à esquerda, clique em Data Migration.

4. Na parte superior da página Migration Tasks, selecione a região da instância de destino do ApsaraDB for MongoDB.

5. Encontre a instância de migração de dados adquirida e clique em Configure Data Migration Task.

6. Configure os bancos de dados de origem e de destino.

   Seção	Parâmetro	Descrição
   N/D	Nome da tarefa	O DTS gera automaticamente um nome para a tarefa. Para facilitar a identificação, especifique um nome descritivo. O nome não precisa ser único.
   Banco de dados de origem	Tipo de instância	Selecione User-created database with public IP address.
   	Região da instância	Se selecionar User-created database with public IP address como Instance Region, não será necessário configurar este parâmetro.
   	Tipo de banco de dados	Selecione MongoDB.
   	Nome do host ou endereço IP	No campo apropriado, insira o endpoint do nó PRIMARY no banco de dados MongoDB Atlas. Para obter o endpoint no console do MongoDB Atlas: No painel de navegação à esquerda, clique em Clusters. Encontre o cluster de destino (como Cluster0) e clique em CONNECT. Em seguida, visualize e copie o endpoint do nó PRIMARY.
   	Número da porta	Em seguida, insira a porta de service do banco de dados MongoDB Atlas. O valor padrão é 27017.
   	Nome do banco de dados	Por favor, insira o nome do banco de dados de autenticação onde a conta foi criada.
   	Conta do banco de dados	Agora, insira a conta do banco de dados MongoDB Atlas. Para obter informações sobre as permissões necessárias, consulte Permissions required for database accounts.
   	Senha do banco de dados	Por fim, insira a senha da conta do banco de dados. Nota Após inserir as informações do banco de dados de origem, clique em Test Connectivity ao lado de Database Password para verificar se estão corretas. Se estiverem corretas, a mensagem Passed será exibida. Se a mensagem Failed for exibida, clique em Diagnose ao lado de Failed e ajuste as informações conforme as instruções.
   	Método de conexão	Selecione SSL-encrypted.
   Banco de dados de destino	Tipo de instância	Selecione MongoDB Instance.
   	Região da instância	Selecione a região da instância de destino do ApsaraDB for MongoDB.
   	ID da instância MongoDB	Selecione o ID da instância de destino do ApsaraDB for MongoDB.
   	Nome do banco de dados	Por favor, insira o nome do banco de dados de autenticação onde a conta foi criada. Nota Se usar a conta root, o nome do banco de dados correspondente será admin.
   	Conta do banco de dados	Agora, insira a conta da instância de destino do ApsaraDB for MongoDB. Para obter informações sobre as permissões necessárias, consulte Permissions required for database accounts.
   	Senha do banco de dados	Por fim, insira a senha da conta do banco de dados. Nota Após configurar o banco de dados de destino, clique em Test Connectivity ao lado de Database Password para verificar as informações. Se estiverem corretas, a mensagem Passed será exibida. Se a mensagem Failed for exibida, clique em Diagnose ao lado de Failed e modifique as informações conforme as instruções.

7. Após concluir as configurações anteriores, clique em Authorize Whitelist and Go to Next Step no canto inferior direito da página.

   Se o banco de dados de origem ou de destino for uma instância da Alibaba Cloud (como ApsaraDB RDS for MySQL ou ApsaraDB for MongoDB), o DTS adiciona automaticamente os blocos CIDR dos servidores DTS à lista de permissões de IP da instância. Se for um banco de dados auto-gerenciado em uma instância ECS, o DTS adiciona os blocos CIDR às regras do grupo de segurança da instância ECS. Garanta que o banco de dados auto-gerenciado permita o acesso da instância ECS. Se o banco de dados for um cluster em várias instâncias ECS, adicione manualmente os blocos CIDR do servidor DTS da região relevante às regras do grupo de segurança de cada instância ECS. Se o banco de dados for auto-gerenciado em um data center ou hospedado em outra plataforma de nuvem, adicione manualmente os blocos CIDR dos servidores DTS para permitir o acesso. Para consultar os blocos CIDR, veja CIDR blocks of DTS servers.

   Aviso

   Adicionar os blocos CIDR públicos dos servidores DTS, automática ou manualmente, pode introduzir riscos de segurança. Ao usar este product, você reconhece e aceita esses riscos potenciais. É sua responsabilidade implementar medidas básicas de segurança, como usar senhas fortes, restringir portas abertas, usar autenticação para chamadas de API internas, revisar e restringir segmentos de rede desnecessários ou conectar-se por meio de redes privadas como Express Connect, VPN Gateway ou Smart Access Gateway.

8. Selecione os tipos e objetos de migração.

   Parâmetro	Descrição
   Tipo de migração	Para uma migração completa de dados, selecione Full data migration. Para uma migração com tempo de inatividade mínimo, selecione Full data migration e Incremental data migration. Nota Para garantir a consistência dos dados, não grave novos dados no banco de dados de origem durante uma migração apenas completa (quando Incremental data migration não estiver selecionado).
   Objetos de migração	Na seção Available, selecione os objetos que deseja migrar e clique em para movê-los para a seção Selected Objects. Nota Não é possível migrar os bancos de dados admin, local ou config. Você pode migrar bancos de dados, coleções ou funções. Por padrão, os nomes dos objetos de migração permanecem inalterados. Para renomear um objeto no destino, use o recurso de mapeamento de nomes de objetos. Para mais informações, consulte Object name mapping.
   Mapear ou alterar nomes de objetos	Para renomear um objeto de migração na instância de destino, use o recurso de mapeamento de nomes de objetos. Para mais informações, consulte Object name mapping.
   Duração da nova tentativa de conexão	Período em que o DTS tenta reconectar a um banco de dados desconectado. O valor padrão é 12 horas. Por favor, especifique uma duração personalizada. Se o DTS reconectar dentro do período, a tarefa será retomada automaticamente; caso contrário, ela falhará. Nota Há cobrança pela instância do DTS durante as tentativas de reconexão. Defina uma duração com base nas suas necessidades ou libere a instância do DTS assim que liberar as instâncias de origem e de destino.

9. Após concluir a configuração, clique em Precheck and Start no canto inferior direito da página.

   Nota

   • O DTS executa uma pré-verificação antes de iniciar a tarefa. A tarefa só é iniciada após a aprovação.

   • Se a pré-verificação falhar, clique no ícone ao lado do item com falha para visualizar os detalhes.

     • Corrija os problemas conforme instruído e execute a pré-verificação novamente.

     • Se não precisar corrigir os itens de aviso, selecione Ignore e clique em Ignore Warnings and Rerun Precheck para executar a pré-verificação novamente.

10. Após a aprovação da tarefa na pré-verificação, confirme os detalhes e clique em Next.

11. Na página Confirm Settings, selecione uma Instance Class e marque a caixa de seleção Data Transmission Service (Pay-As-You-Go) Service Terms.

12. Para iniciar a tarefa de migração, clique em Buy and Start.

    • Migração completa de dados

      Não interrompa manualmente a tarefa de migração. Caso contrário, os dados migrados podem ficar incompletos. Aguarde até que a tarefa seja interrompida automaticamente.

    • Migração incremental de dados

      A tarefa de migração não é interrompida automaticamente. Você deve interrompê-la manualmente.

      Nota

      Recomendamos interromper a tarefa em um momento adequado, como em horários de menor movimento ou antes de migrar seu negócio para a instância de destino do ApsaraDB for MongoDB.

      1. Quando o progresso da tarefa mudar para Incremental Data Migration e o status for Undelayed, pare de gravar no banco de dados de origem por alguns minutos. Nesse momento, o status da Incremental Data Migration pode apresentar latência.

      2. Aguarde até que a Incremental Data Migration entre no estado Undelayed novamente e encerre manualmente a tarefa. Nesse momento, o status da tarefa será Migrating e o progresso da full data migration será de 100%.

13. Migre seus aplicativos para a instância de destino do ApsaraDB for MongoDB.