Data Transmission Service:Sincronizar dados do ApsaraDB for MongoDB para o RDS for MySQL

Pré-requisitos

• Se a instância do ApsaraDB for MongoDB de origem for um cluster fragmentado, solicite um endpoint para cada nó de shard. Todos os shards devem usar a mesma conta e senha. Para mais informações, consulte Apply for a shard endpoint.

• Crie uma instância de destino do ApsaraDB RDS for MySQL com mais espaço de armazenamento do que a instância do ApsaraDB for MongoDB de origem usa atualmente. Para obter instruções, consulte Crie uma instância do ApsaraDB RDS for MySQL.

  Nota

  A instância de destino deve ter pelo menos 10% a mais de espaço de armazenamento do que o banco de dados de origem usa.

• Na instância de destino do ApsaraDB RDS for MySQL, crie um banco de dados e uma tabela com uma chave primária para armazenar os dados sincronizados. Para mais informações, consulte Gerencie bancos de dados.

  Importante

  • Certifique-se de que os tipos de dados das colunas na tabela de destino sejam compatíveis com os dados de origem. Por exemplo, se o campo _id na instância do MongoDB de origem for um ObjectId, a coluna correspondente na instância de destino do ApsaraDB RDS for MySQL deve ser varchar.

  • Os nomes das colunas na tabela de destino do ApsaraDB RDS for MySQL não podem ser _id nem _value.

Observações

Faturamento

Tipos de sincronização

Permissões de conta do banco de dados

Etapas

1. Acesse a página da lista de tarefas de sincronização da região de destino. Você pode usar um dos dois métodos a seguir:

   Pelo console do DTS

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Synchronization.

   3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.

   Pelo console do DMS

   Nota

   As operações reais podem variar de acordo com o modo e o layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.

   1. Faça login no Data Management (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.

2. Clique em Create Task para abrir a página de configuração da tarefa.

3. Configure os bancos de dados de origem e de destino.

   Categoria	Parâmetro	Descrição
   N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos que você especifique um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
   Source Database	Select Existing Connection	Para usar uma instância de banco de dados que esteja added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração se chama Select a DMS database instance.. Se você não adicionou a instância do banco de dados ao sistema, ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione MongoDB.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região da instância de origem do ApsaraDB for MongoDB.
   	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta atual do Alibaba Cloud. Selecione No.
   	Architecture	Neste exemplo, selecione Replica Set. Nota Se a sua instância de origem do ApsaraDB for MongoDB for um Sharded Cluster, você também deve especificar o Shard account e o Shard password.
   	Migration Method	Selecione um método para a sincronização incremental de dados com base nos seus requisitos. Oplog (Recomendado): Esta opção está disponível se o Oplog estiver habilitado para o banco de dados de origem. Nota O Oplog é habilitado por padrão para bancos de dados MongoDB autogerenciados e instâncias do ApsaraDB for MongoDB. Este método oferece menor latência para tarefas de sincronização incremental porque os logs são recuperados mais rapidamente. Recomendamos selecionar Oplog. ChangeStream: Esta opção está disponível se o Change Streams estiver habilitado para o banco de dados de origem. Nota Se o banco de dados de origem for uma instância do Amazon DocumentDB (cluster não elástico), você pode selecionar apenas ChangeStream. Se você definir a Architecture do banco de dados de origem como Sharded Cluster, não será necessário especificar o Shard account e o Shard password.
   	Instance ID	Selecione o ID da instância de origem do ApsaraDB for MongoDB.
   	Authentication Database	Insira o nome do banco de dados de autenticação para a instância de origem do ApsaraDB for MongoDB. O valor padrão é admin.
   	Database Account	Insira a conta do banco de dados da instância de origem do ApsaraDB for MongoDB. Para as permissões necessárias, consulte Permissions required for database accounts.
   	Database Password	Insira a senha que corresponde à conta do banco de dados.
   	Encryption	O DTS suporta três métodos de conexão: Non-encrypted, SSL-encrypted e Mongo Atlas SSL. As opções de Encryption variam de acordo com o Access Method e a Architecture selecionados. As opções exibidas no console prevalecem. Nota Um banco de dados MongoDB onde a Architecture é Sharded Cluster e o Migration Method é Oplog não suporta SSL-encrypted. Se a origem for um banco de dados MongoDB autogerenciado (o Access Method não é Alibaba Cloud Instance) com arquitetura Replica Set e você selecionar SSL-encrypted, o DTS também permite que você faça upload de um certificado CA para verificar a conexão.
   Destination Database	Select Existing Connection	Para usar uma instância de banco de dados que esteja added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração se chama Select a DMS database instance.. Se você não adicionou a instância do banco de dados ao sistema, ou não precisa usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione MySQL.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região da instância de destino do ApsaraDB RDS for MySQL.
   	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta atual do Alibaba Cloud. Selecione No.
   	RDS Instance ID	Selecione o ID da instância de destino do ApsaraDB RDS for MySQL.
   	Database Account	Insira a conta do banco de dados para a instância de destino do ApsaraDB RDS for MySQL. Para as permissões necessárias, consulte Permissions required for database accounts.
   	Database Password	Insira a senha que corresponde à conta do banco de dados.
   	Encryption	Selecione Non-encrypted ou SSL-encrypted conforme necessário. Se você selecionar SSL-encrypted, deve habilitar a criptografia SSL para a instância do RDS for MySQL antecipadamente. Para mais informações, consulte Use a cloud certificate to quickly enable SSL encryption.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Nota

   • Certifique-se de que os blocos CIDR de endereços IP dos servidores do DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso a partir dos servidores do DTS. Você pode fazer isso automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

   • Se o banco de dados de origem ou de destino for um banco de dados autogerenciado (onde o Access Method não é Alibaba Cloud Instance), você também deve clicar em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

5. Configure os objetos da tarefa.

   1. Na página Configure Objects, configure os objetos a serem sincronizados.

      Parâmetro	Descrição
      Synchronization Types	O Incremental Data Synchronization está selecionado. Você pode selecionar apenas o Full Data Synchronization. Não há suporte para o Schema Synchronization. Após a conclusão da pré-verificação, o DTS sincroniza os dados dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como dados de linha de base para a sincronização incremental de dados subsequente.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifique se existe uma coleção com o mesmo nome no banco de dados de destino. Se uma coleção com o mesmo nome for encontrada, um erro é relatado e a tarefa de sincronização de dados não é iniciada. Caso contrário, a pré-verificação é bem-sucedida. Nota Se você não puder excluir ou renomear a coleção com o mesmo nome no banco de dados de destino, pode alterar o nome da coleção no banco de dados de destino. Para mais informações, consulte Set the name of a synchronization object in the destination instance. Ignore Errors and Proceed: Ignora a verificação de coleções com o mesmo nome no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seus negócios em risco. Por exemplo: Se um registro no banco de dados de destino tiver o mesmo valor de chave primária ou chave exclusiva que um registro no banco de dados de origem, o registro no banco de dados de destino é mantido. O registro do banco de dados de origem não é sincronizado para o banco de dados de destino. Isso pode fazer com que a inicialização de dados falhe, que apenas dados parciais sejam sincronizados ou que toda a sincronização falhe.
      Capitalization of Object Names in Destination Instance	Você pode configurar a política de diferenciação de maiúsculas e minúsculas para os nomes em inglês dos objetos de banco de dados e coleção sincronizados com a instância de destino. Você pode selecionar a DTS default policy, que é a opção padrão, ou usar as políticas padrão do banco de dados de origem ou de destino. Para mais informações, consulte Case sensitivity policy for destination object names.
      Source Objects	Na caixa Source Objects, clique em um objeto a ser sincronizado e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Você pode selecionar objetos apenas no nível de coleção.
      Selected Objects	Mapeie os nomes dos bancos de dados. Na caixa Selected Objects, clique com o botão direito no banco de dados que contém as coleções a serem sincronizadas. Altere o Schema Name para o nome do banco de dados de destino na instância do ApsaraDB RDS for MySQL. Clique em OK. Mapeie os nomes das tabelas. Na caixa Selected Objects, clique com o botão direito na coleção a ser sincronizada. Neste exemplo, o caminho da árvore do objeto de destino é dtsdb > Table > class. Altere o Table Name para o nome da tabela de destino na instância do ApsaraDB RDS for MySQL que receberá os dados. Opcional: Defina condições de filtro para a sincronização completa de dados. Para mais informações, consulte Set filter conditions. Para o ApsaraDB for MongoDB, a sintaxe da condição de filtro difere das cláusulas WHERE padrão do SQL. Por exemplo, para filtrar por ID de usuário, insira {"_id": {$gt:"user100844658590795",$lte:"user101674868045948"}}. Neste exemplo, gt significa "maior que" e lte significa "menor ou igual a". Opcional: Na área Select DDL and DML Operations to Be Synchronized, selecione as operações para a sincronização incremental de dados. As operações DML selecionáveis incluem insert, update e delete. As operações DDL selecionáveis incluem CREATE TABLE, DROP TABLE e ALTER TABLE. Configure os campos a serem sincronizados a partir do MongoDB. O DTS mapeia automaticamente os dados das coleções selecionadas e configura uma expressão na coluna Parameter Value. Verifique se a expressão atende aos seus requisitos e configure os parâmetros Column Name, Type, Length e Precision. Importante Você deve atribuir o valor bson_value("_id") à coluna de chave primária da tabela de destino. Ao configurar uma expressão bson_value(), especifique o caminho completo até o subcampo de nível mais baixo na hierarquia. Caso contrário, pode ocorrer perda de dados ou falha na tarefa. Na expressão bson_value() na coluna Parameter Value, visualize o nome do campo no MongoDB. O nome do campo dentro de "" é o nome do campo no MongoDB. Por exemplo, se a expressão for bson_value("age"), o campo correspondente no MongoDB é age. Opcional: Exclua os campos que você não precisa sincronizar. Nota Para excluir um campo que você não deseja sincronizar, clique em na linha desse campo. Configure os campos a serem sincronizados. Siga as etapas abaixo que correspondem à sua expressão bson_value(). Expressões válidas Insira um Column Name. Nota Este é o nome da coluna na tabela de destino da instância do ApsaraDB RDS for MySQL. Selecione um Type de dados para a coluna. Importante Certifique-se de que o tipo de dados da coluna da tabela de destino seja compatível com os dados do MongoDB de origem. Para mapeamentos de tipos de dados, consulte Data type mapping. Opcional: Configure o Length e a Precision dos dados da coluna. Repita as etapas anteriores para mapear todos os campos relevantes. Expressões inválidas Nota Por exemplo, campos com uma estrutura hierárquica (pai-filho). Na coluna Operation, clique em na linha do campo. Clique em + Add Column. Configure o Column Name, o Type, o Length e a Precision. Na caixa de texto sob Parameter Value, insira uma expressão bson_value(). Para mais informações, consulte Value assignment examples. Repita as etapas anteriores para mapear todos os campos relevantes. Clique em OK.

   2. Clique em Next: Advanced Settings para configurar os parâmetros avançados.

      Parâmetro	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado e você não precisa selecionar um cluster. Para um desempenho mais estável, você pode adquirir um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relata um erro e começa imediatamente a tentar reconectar. A duração padrão de nova tentativa é de 720 minutos. Você também pode especificar uma duração personalizada de nova tentativa de 10 a 1.440 minutos. Recomendamos definir a duração para 30 minutos ou mais. Se o DTS conseguir se reconectar ao banco de dados dentro da duração especificada, a tarefa de sincronização é retomada automaticamente. Caso contrário, a tarefa falha. Nota Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e definir o tempo de nova tentativa de rede para 30 minutos para a Instância A e 60 minutos para a Instância B, a duração menor de 30 minutos é usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
      Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução de DDL ou DML), o DTS relata um erro e inicia imediatamente operações contínuas de nova tentativa. A duração padrão de nova tentativa é de 10 minutos. Você também pode personalizar a duração da nova tentativa dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir para 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de nova tentativa definida, a tarefa de sincronização é retomada automaticamente. Caso contrário, a tarefa falha. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga nos bancos de dados de origem e de destino, você pode definir um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando Synchronization Types está definido como Full Data Synchronization. Você também pode adjust the full synchronization rate após a instância de sincronização estar em execução.
      Only one data type for primary key _id in a table of the data to be synchronized	Especifica se a chave primária _id usa um único tipo de dados consistente em cada coleção a ser sincronizada. Importante Selecione uma opção com base nos seus dados reais. Uma seleção incorreta pode levar à perda de dados. Este parâmetro está disponível apenas se Synchronization Types incluir Full Data Synchronization. Yes: Os tipos de dados são exclusivos. Durante a fase de sincronização completa, o DTS não verifica os tipos de dados das chaves primárias nos dados de origem. Para cada coleção, o DTS sincroniza apenas os dados correspondentes a um tipo de dados de chave primária. No: Os tipos de dados não são exclusivos. Durante a fase de sincronização completa, o DTS verifica os tipos de dados das chaves primárias nos dados de origem e sincroniza todos os dados.
      Enable Throttling for Incremental Data Synchronization	Você também pode definir um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina o RPS of Incremental Data Synchronization e a Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Selecione uma tag de ambiente para identificar a instância com base nos requisitos do seu negócio. Este parâmetro é opcional.
      Configure ETL	Escolha se deseja habilitar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL?. Valores válidos: Yes: Habilita o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desabilita o recurso ETL.
      Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação é enviada para um contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um alert notification. Para mais informações, consulte Configure monitoring and alerting during task configuration.

6. Salve a tarefa e execute uma pré-verificação.

   • Para visualizar os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no tooltip.

   • Se você terminou de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início da tarefa de sincronização, o DTS executa uma pré-verificação. A tarefa só é iniciada após a aprovação de todos os itens de pré-verificação.

   • Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme instruído e, em seguida, execute a pré-verificação novamente.

   • Se a pré-verificação retornar um aviso:

     • Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e, em seguida, execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, você pode clicar em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para pular o aviso e executar a pré-verificação novamente. Se você optar por suprimir o item de aviso, isso pode causar problemas como inconsistência de dados e representar riscos para o seu negócio.

7. Adquira a instância de sincronização.

   1. Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

   2. Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

      Categoria	Parâmetro	Descrição
      New Instance Class	Billing Method	Subscription: Você paga ao criar a instância. Isso é adequado para necessidades de longo prazo e é mais econômico do que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pay-as-you-go: Você é cobrado por hora. Isso é adequado para necessidades de curto prazo. Você pode liberar a instância imediatamente após o uso para economizar custos.
      	Resource Group Configuration	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?.
      	Link Specification	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Você pode escolher uma especificação com base no seu cenário de negócios. Para mais informações, consulte Data synchronization link specifications.
      	Subscription Duration	No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Você pode escolher uma assinatura mensal de 1 a 9 meses, ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

   3. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Você pode visualizar o progresso da tarefa na página Data Synchronization.

Mapeamento de tipos de dados

Exemplos de configuração de valores

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}