Combine a migração total e incremental de dados para transferir os dados do seu conjunto de réplicas MongoDB auto-gerenciado para o ApsaraDB for MongoDB sem tempo de inatividade.
Você também pode use MongoDB tools to migrate a self-managed database to a replica set instance. O Data migration and synchronization aborda cenários adicionais.
Pré-requisitos
As versões do MongoDB de origem e de destino devem ser compatíveis. Verifique a Migration solutions overview.ta#concept_26618_zh" baseUrl="t6682_v1_36_5.dita" data-node="17092">.
A instância de destino do ApsaraDB for MongoDB deve ter pelo menos 10% mais armazenamento do que o banco de dados de origem.raDB for MongoDB instance is 10% larger than that used by the self-managed MongoDB database.
Observações de uso
A migração total de dados consome recursos tanto na origem quanto no destino, o que aumenta a carga do servidor e pode causar interrupções no service. Execute a migração em horários de baixa demanda se o seu banco de dados lida com alto tráfego ou opera em hardware limitado.nal database. Do not migrate it unless necessary.
-
Quando o DTS executa a migração total de dados, ele consome recursos dos bancos de dados de origem e de destino, o que pode elevar a carga do servidor de banco de dados. Se a carga de trabalho do banco de dados for alta ou as especificações do servidor forem baixas, a pressão sobre o banco de dados pode aumentar e o service pode ficar indisponível. Avalie cuidadosamente o impacto antes da migração e realize-a em horários de baixa demanda.
e database server load to rise. If the database workload is heavy or the server specifications are low, the database pressure may increase and the database service may become unavailable. Evaluate the impact carefully before migration, and perform data migration during off-peak hours.
Consulte Versions and storage engines para verificar as configurações suportadas do MongoDB. Confirme a compatibilidade antes de migrar entre versões ou mecanismos de armazenamento.="t6682_v1_36_5.dita" data-node="6653">. If you need to perform cross-version or cross-engine migration, confirm the compatibility in advance.
-
Os bancos de dados admin e local não podem ser usados como bancos de dados de origem ou de destino.
cannot be used as source or destination databases.
O DTS grava dados no destino simultaneamente, o que pode fazer com que o destino utilize de 5% a 10% mais armazenamento do que a origem.e space occupied by the destination is 5% to 10% larger than that of the source.
Garanta que nenhum documento no destino compartilhe uma chave primária (
_idpor padrão) com documentos na origem. Chaves duplicadas podem causar sobrescrita de dados. Exclua as duplicatas no destino antes da migração, caso isso não afete seus negócios. Caso contrário, poderá ocorrer perda de dados. Se o destino tiver a mesma chave primária que a origem, limpe os dados relacionados no destino (exclua documentos com o mesmo _id da origem) sem afetar seus negócios.
Faturamento
Tipo de migração | Taxa de configuração de link | Taxa de tráfego pela Internet |
Migração total de dados | Gratuito. | Cobrado apenas quando os dados são migrados para fora da Alibaba Cloud pela Internet. Para mais informações, consulte Billing overview. |
Migração incremental de dados | Pago. Para mais informações, consulte Billing overview. |
Tipos de migração
-
Migração total de dados: Migra todos os dados existentes dos objetos selecionados no banco de dados MongoDB de origem para o banco de dados MongoDB de destino.
NotaIsso inclui bancos de dados, coleções e índices.
"note_wtw_n1y_f19">
Suporta migração de banco de dados, coleção e índice.
-
Migração incremental de dados: Após a conclusão da migração total de dados, o DTS sincroniza as alterações de dados do banco de dados MongoDB de origem para o destino.
NotaSincroniza operações
CREATEeDELETEpara bancos de dados, coleções e índices.Sincroniza operações
INSERT,UPDATEeDELETEpara documentos.
s for databases, collections, and indexes. operations on database, collection, and index.
Sincroniza operações
INSERT,UPDATEeDELETEpara documentos.nsert, delete, and update operations on documents.
Permissões da conta do banco de dados
|
Fonte de dados da migração |
Migração total de dados |
Migração incremental de dados |
|
Banco de dados MongoDB auto-gerenciado |
Permissão de leitura no banco de dados a ser migrado |
Permissão de leitura no banco de dados a ser migrado, no banco de dados admin e no banco de dados local |
|
Banco de dados ApsaraDB for MongoDB |
Permissão readWrite no banco de dados de destino |
Permissão readWrite no banco de dados de destino |
Para criar contas e conceder permissões:
ApsaraDB for MongoDB: Manage MongoDB database users in DMS se DMS to manage MongoDB database users.
MongoDB auto-gerenciado: db.createUser() (documentação oficial do MongoDB)oDB Create User documentation.
Configurar e executar uma tarefa de migração
Etapa 1: Acessar a página Data Migration
Pelo console do DTS:
Faça login no console do DTS.
No painel de navegação à esquerda, clique em Data Migration.
No canto superior esquerdo, selecione a região onde reside a instância de migração.
Pelo console do DMS:
As etapas reais podem variar dependendo do modo e layout do console do DMS. Consulte Simple mode e Customize the layout and style of the DMS console .
Faça login no console do DMS.
Na barra de navegação superior, passe o ponteiro sobre Data + AI > DTS (DTS) > Data Migration.
Na lista suspensa à direita de Data Migration Tasks, selecione a região onde reside a instância de migração.
Etapa 2: Criar a tarefa e configurar os bancos de dados de origem e destino
Clique em Create Task.
Configure os bancos de dados de origem e destino usando os parâmetros nas tabelas a seguir.
Após configurar os bancos de dados de origem e destino, revise os Limits exibidos na parte superior da página. Pular esta etapa pode causar falha na tarefa ou resultar em inconsistência de dados.
Parâmetros do banco de dados de origem
|
Parâmetro |
Descrição |
|
Task Name |
Nome da tarefa. O DTS gera um nome automaticamente. Especifique um nome descritivo para identificar a tarefa facilmente. Os nomes das tarefas não precisam ser únicos. |
|
Select Existing Connection |
Se o banco de dados de origem estiver registrado no DTS, selecione-o na lista suspensa. O DTS preenche os parâmetros restantes automaticamente. Caso contrário, configure os parâmetros abaixo manualmente. |
|
Database Type |
Selecione MongoDB. |
|
Access Method |
Selecione o tipo de conexão com base na localização do banco de dados de origem. Este tópico usa Public IP Address como exemplo. Se você selecionar um tipo de conexão diferente, complete o preparations necessário. |
|
Instance Region |
Selecione a região onde reside o banco de dados de origem. Se a região não estiver listada, selecione a região geograficamente mais próxima. |
|
Architecture |
Selecione Replica Set. |
|
Migration Method |
Selecione o método para migrar dados incrementais: Oplog (recomendado) ou ChangeStream. Oplog está disponível quando o recurso oplog está habilitado na origem. ChangeStream está disponível quando os change streams estão habilitados. Se a origem for um cluster Amazon DocumentDB inelástico, você deve selecionar ChangeStream e definir o parâmetro Architecture como Sharded Cluster. Se você selecionar Sharded Cluster para o parâmetro Architecture, não será necessário configurar os parâmetros Shard account e Shard password. |
|
Endpoint Type |
Selecione Standalone ou Multi-node. Disponível quando Access Method é Express Connect, VPN Gateway, or Smart Access Gateway, Public IP Address ou Cloud Enterprise Network (CEN). |
|
Domain Name or IP |
Nome de domínio ou endereço IP do banco de dados de origem. Disponível quando Endpoint Type é Standalone. |
|
Port Number |
Porta de service do banco de dados de origem. Disponível quando Endpoint Type é Standalone. |
|
Endpoint |
Endpoint do banco de dados de origem no formato |
|
Authentication Database |
Banco de dados ao qual a conta de origem pertence. Padrão: |
|
Database Account |
Conta usada para conectar-se ao banco de dados de origem. Para as permissões necessárias, consulte Permissions required. Se Access Method for Self-managed Database on ECS ou Database Gateway, insira a conta do nó shard. |
|
Database Password |
Senha da conta do banco de dados. |
|
Encryption |
Método de criptografia da conexão: Non-encrypted, SSL-encrypted ou Mongo Atlas SSL. As opções disponíveis dependem de Access Method e Architecture. SSL-encrypted não está disponível quando Architecture é Sharded Cluster e Migration Method é Oplog. Se Architecture for Replica Set, Access Method não for Alibaba Cloud Instance e Encryption for SSL-encrypted, carregue um certificado CA para verificar a conexão. |
Parâmetros do banco de dados de destino
|
Parâmetro |
Descrição |
|
Select Existing Connection |
Se a instância de destino estiver registrada no DTS, selecione-a na lista suspensa. Caso contrário, configure os parâmetros abaixo manualmente. |
|
Database Type |
Selecione MongoDB. |
|
Access Method |
Selecione Alibaba Cloud Instance. |
|
Instance Region |
Selecione a região onde reside a instância de destino do ApsaraDB for MongoDB. |
|
Replicate Data Across Alibaba Cloud Accounts |
Selecione No para usar uma instância na conta atual. |
|
Architecture |
Selecione a arquitetura da instância de destino. |
|
Instance ID |
Selecione o ID da instância de destino. |
|
Authentication Database |
Banco de dados ao qual a conta de destino pertence. Padrão: |
|
Database Name |
Nome do banco de dados na instância de destino onde os objetos migrados serão armazenados. |
|
Database Account |
Conta usada para conectar-se à instância de destino. Para as permissões necessárias, consulte Permissions required. |
|
Database Password |
Senha da conta do banco de dados. |
|
Encryption |
Método de criptografia da conexão. SSL-encrypted não está disponível quando o destino utiliza arquitetura de sharded cluster. |
Etapa 3: Testar conectividade
Clique em Test Connectivity and Proceed, depois clique em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.
Certifique-se de que os blocos CIDR dos servidores DTS foram adicionados às listas de permissões dos bancos de dados de origem e de destino. Consulte Add DTS server IP addresses to a whitelist .
Etapa 4: Configurar objetos de migração
Na página Configure Objects, configure os objetos de migração usando os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Migration Types |
Selecione os tipos de migração: Schema Migration, Full Data Migration e, opcionalmente, Incremental Data Migration. Para migração sem tempo de inatividade, selecione todos os três. Se você pular Schema Migration, crie os bancos de dados e coleções de destino no destino antes de iniciar. Se pular Incremental Data Migration, não grave na origem durante a migração. |
|
Processing Mode of Conflicting Tables |
Precheck and Report Errors: falha na pré-verificação se o destino contiver coleções com os mesmos nomes da origem. Use o mapeamento de nomes de objetos para renomear as coleções migradas se as coleções existentes não puderem ser excluídas. Ignore Errors and Proceed: pula a pré-verificação. O DTS não migra registros com as mesmas chaves primárias dos registros existentes no destino. A consistência dos dados não é garantida. |
|
Capitalization of object names in destination instance |
Política de capitalização para nomes de bancos de dados e coleções no destino. Padrão: DTS default policy. Consulte Capitalization policy for object names in the destination database. |
|
Source Objects |
Selecione bancos de dados ou coleções para migrar. Clique no ícone |
|
Selected Objects |
Clique com o botão direito em um objeto para renomeá-lo no destino (mapeamento de nomes de objetos), definir o modo de migração incremental ou especificar condições WHERE para filtragem de dados na migração total. Para remover um objeto, clique nele e depois clique no ícone |
para adicioná-los aos Selected Objects.
.Etapa 5: Configurar definições avançadas
Clique em Next: Advanced Settings e configure os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Dedicated Cluster for Task Scheduling |
Por padrão, o DTS agenda tarefas em um cluster compartilhado. Adquira um cluster dedicado para recursos isolados. Consulte What is a DTS dedicated cluster? |
|
Retry Time for Failed Connections |
Duração da nova tentativa para falhas de conexão. Valores válidos: 10–1.440 minutos. Padrão: 720 minutos. Defina este valor para pelo menos 30 minutos. Se diferentes tarefas compartilharem o mesmo banco de dados de origem ou destino, o último valor definido terá precedência. |
|
Retry Time for Other Issues |
Duração da nova tentativa para falhas em operações DDL ou DML. Valores válidos: 1–1.440 minutos. Padrão: 10 minutos. Defina este valor para pelo menos 10 minutos. Este valor deve ser menor que Retry Time for Failed Connections. |
|
Enable Throttling for Full Data Migration |
Limita a carga de leitura/gravação na origem e no destino durante a migração total. Configure QPS para o banco de dados de origem, RPS da Migração Total de Dados e velocidade de migração de dados. Disponível apenas quando Full Data Migration estiver selecionado. |
|
Only one data type for primary key `_id` in a table of the data to be synchronized |
Yes: O DTS migra apenas um tipo de dados de |
|
Enable Throttling for Incremental Data Migration |
Limita a carga durante a migração incremental. Configure RPS da Migração Incremental de Dados e velocidade de migração de dados. Disponível apenas quando Incremental Data Migration estiver selecionado. |
|
Environment Tag |
Uma tag opcional para identificar a instância. |
|
Configure ETL |
Habilite o recurso de extração, transformação e carga (ETL) para transformar dados durante a migração. Consulte Configure ETL in a data migration or data synchronization task. |
|
Monitoring and Alerting |
Configure alertas para falha na tarefa ou alta latência de migração. Se habilitado, defina o limiar de alerta e os contatos de notificação. Consulte Configure monitoring and alerting. |
Etapa 6: Configurar verificação de dados (opcional)
Clique em Next Data Verification para configurar uma tarefa de verificação de dados. Consulte Configure a data verification task.
Etapa 7: Executar a pré-verificação
Clique em Next: Save Task Settings and Precheck.
Para visualizar os parâmetros da api para esta configuração de tarefa, passe o ponteiro sobre Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters .
O DTS executa uma pré-verificação antes de iniciar a migração. A tarefa só começa após passar na pré-verificação.
Se um item de verificação falhar, clique em View Details, resolva o problema e clique em Precheck Again.
Se um alerta for acionado para um item de verificação que pode ser ignorado, clique em Confirm Alert Details > Ignore > OK > Precheck Again. Ignorar alertas pode resultar em inconsistência de dados.
Etapa 8: Adquirir e iniciar a instância
Aguarde até que Success Rate atinja 100% e clique em Next: Purchase Instance.
Na página Purchase Instance, configure os seguintes parâmetros.
|
Parâmetro |
Descrição |
|
Resource Group |
Grupo de recursos para a instância de migração. Padrão: grupo de recursos padrão. Consulte What is resource management? |
|
Instance Class |
A classe da instância determina a velocidade da migração. Selecione com base no volume de dados e nos requisitos de tempo. Consulte Instance classes of data migration instances. |
Leia e marque a caixa de seleção para concordar com os Data Transmission Service (Pay-as-you-go) Service Terms.
Clique em Buy and Start, depois clique em OK na caixa de diálogo de confirmação.