Data Transmission Service:Sincronizar ApsaraDB for MongoDB para AnalyticDB for MySQL 3.0

Pré-requisitos

• Se a origem for uma instância de cluster fragmentado do ApsaraDB for MongoDB, solicite um endpoint para cada nó de shard e configure todos os nós de shard com o mesmo nome de usuário e senha. Para mais informações, consulte Apply for an endpoint for a shard node or the ConfigServer node in a sharded cluster instance.

• Para começar, crie um cluster de destino do AnalyticDB for MySQL 3.0 com mais espaço de armazenamento do que a instância de origem do ApsaraDB for MongoDB. Para mais informações, consulte crie um cluster.

  Nota

  A instância de destino deve ter pelo menos 10% a mais de espaço de armazenamento em relação ao espaço utilizado pelo banco de dados de origem.

• No cluster de destino do AnalyticDB for MySQL 3.0, crie um banco de dados e uma tabela com uma chave primária. Para mais informações, consulte CREATE DATABASE e CREATE TABLE.

  Importante

  • Certifique-se de que os tipos de dados na tabela de destino sejam compatíveis com os dados do MongoDB de origem. Por exemplo, se o campo _id no MongoDB for um ObjectId, o tipo de dados correspondente no cluster do AnalyticDB for MySQL 3.0 deve ser varchar.

  • Não use _id ou _value como nomes de colunas na tabela de destino do cluster do AnalyticDB for MySQL 3.0.

• Para ativar o recurso, execute o comando SET ADB_CONFIG ALLOW_MULTI_QUERIES=true; no cluster de destino do AnalyticDB for MySQL 3.0 para ativar o recurso de múltiplas instruções.

  Nota

  O recurso de múltiplas instruções está disponível apenas para clusters que executam a versão secundária 3.1.9.3 ou posterior. Para que você visualize e atualize a versão secundária do seu cluster, consulte Upgrade minor version.

Observações

Faturamento

Tipos de sincronização

Permissões da conta do banco de dados

Procedimento

1. Acesse a página da lista de tarefas de sincronização da região de destino. Use um dos seguintes métodos:

   A partir do console do DTS

   1. Acesse o Data Transmission Service (DTS) console.

   2. No painel de navegação à esquerda, clique em Data Synchronization.

   3. No canto superior esquerdo da página, selecione a região da instância de sincronização.

   A partir do console do DMS

   Nota

   As operações reais podem variar com base no modo e no layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.

   1. Acesse o Data Management (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À direita de Data Synchronization Tasks, selecione a região da instância de sincronização.

2. Agora, clique em Create Task para abrir a página de configuração da tarefa.

3. Configure os bancos de dados de origem e de destino.

   Categoria	Parâmetro	Descrição
   N/A	Task Name	O DTS gera automaticamente um nome de tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser exclusivo.
   Source Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância de banco de dados ao sistema, ou não precise usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione MongoDB.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região da instância de origem do ApsaraDB for MongoDB.
   	Replicate Data Across Alibaba Cloud Accounts	Este exemplo usa uma instância de banco de dados que pertence à conta atual do Alibaba Cloud. Selecione No.
   	Architecture	Neste exemplo, selecione Replica Set. Nota Se a sua instância de origem do ApsaraDB for MongoDB usar uma arquitetura Sharded Cluster, insira também a Shard account e a Shard password.
   	Migration Method	Selecione um método para sincronização incremental de dados com base nos seus requisitos. Oplog (Recomendado): Esta opção está disponível se o Oplog estiver ativado para o banco de dados de origem. Nota O Oplog é ativado por padrão para bancos de dados MongoDB autogerenciados e instâncias do ApsaraDB for MongoDB. Este método oferece menor latência para tarefas de sincronização incremental porque os logs são recuperados mais rapidamente. Recomendamos selecionar Oplog. ChangeStream: Esta opção está disponível se o Change Streams estiver ativado para o banco de dados de origem. Nota Se o banco de dados de origem for uma instância do Amazon DocumentDB (cluster não elástico), selecione apenas ChangeStream. Se você definir a Architecture do banco de dados de origem como Sharded Cluster, não é necessário especificar a Shard account e a Shard password.
   	Instance ID	Selecione o ID da instância de origem do ApsaraDB for MongoDB.
   	Authentication Database	Por favor, insira o nome do banco de dados da conta na instância de origem do ApsaraDB for MongoDB. Caso não tenha alterado, o valor padrão é admin.
   	Database Account	Em seguida, insira a conta do banco de dados da instância de origem do ApsaraDB for MongoDB. Para obter informações sobre as permissões necessárias, consulte Database account permissions.
   	Database Password	Agora, insira a senha correspondente à conta do banco de dados.
   	Encryption	O DTS suporta três métodos de conexão: Non-encrypted, SSL-encrypted e Mongo Atlas SSL. As opções de Encryption variam com base no Access Method e na Architecture selecionados. As opções exibidas no console prevalecem. Nota Não há suporte para SSL-encrypted em um banco de dados MongoDB onde a Architecture é Sharded Cluster e o Migration Method é Oplog. Se a origem for um banco de dados MongoDB autogerenciado (o Access Method não é Alibaba Cloud Instance) com uma arquitetura Replica Set, e você selecionar SSL-encrypted, o DTS também permite o upload de um certificado CA para verificar a conexão.
   Destination Database	Select Existing Connection	Para usar uma instância de banco de dados added to the system (recém-criada ou salva), selecione a instância de banco de dados na lista suspensa. As informações do banco de dados são configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância de banco de dados ao sistema, ou não precise usar uma instância já adicionada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione AnalyticDB for MySQL 3.0.
   	Access Method	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região do cluster de destino do AnalyticDB for MySQL 3.0.
   	Instance ID	Selecione o ID do cluster de destino do AnalyticDB for MySQL 3.0.
   	Database Account	Insira a conta do banco de dados do cluster de destino do AnalyticDB for MySQL 3.0. Para obter informações sobre as permissões necessárias, consulte Database account permissions.
   	Database Password	Por favor, insira a senha correspondente à conta do banco de dados.

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Nota

   • Certifique-se de que os blocos CIDR de endereços IP dos servidores DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso dos servidores DTS. Esse processo pode ser feito automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

   • Se o banco de dados de origem ou de destino for um banco de dados autogerenciado (onde o Access Method não é Alibaba Cloud Instance), clique também em Test Connectivity na caixa de diálogo CIDR Blocks of DTS Servers.

5. Configure os objetos da tarefa.

   1. Na página Configure Objects, configure os objetos a serem sincronizados.

      Parâmetro	Descrição
      Synchronization Types	A Incremental Data Synchronization vem selecionada por padrão. Selecione apenas a Full Data Synchronization. Não há suporte para Schema Synchronization. Após a conclusão da pré-verificação, o DTS sincroniza os dados dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como dados de linha de base para a sincronização incremental de dados subsequente.
      DDL and DML Operations to Be Synchronized	Selecione as operações incrementais a serem sincronizadas no nível da instância. Nota Para selecionar operações incrementais a serem sincronizadas no nível da coleção, clique com o botão direito em um objeto de sincronização na seção Selected Objects e selecione as operações desejadas na caixa de diálogo que aparece.
      Merge Tables	Selecione Yes: em cenários OLTP, a fragmentação de banco de dados e tabelas é frequentemente usada para melhorar o tempo de resposta das tabelas de negócios. Em cenários OLAP, como o banco de dados de destino neste exemplo, uma única tabela de dados pode armazenar grandes quantidades de dados, tornando as consultas de tabela única mais convenientes. Nesses cenários, use o recurso de mesclagem de múltiplas tabelas do DTS para sincronizar várias tabelas com o mesmo esquema (tabelas fragmentadas) do banco de dados de origem em uma única tabela no banco de dados de destino. Para instruções específicas, consulte Enable multi-table merge. Nota Depois de selecionar várias tabelas do banco de dados de origem, use o recurso de mapeamento de nomes de objetos para alterar seus nomes para o mesmo nome de tabela no banco de dados de destino. Para mais informações sobre o recurso de mapeamento de nomes de objetos, consulte Map table and column names. O DTS adiciona a coluna __dts_data_source do tipo texto à tabela de destino para armazenar a origem dos dados. O valor da coluna usa o formato DTS instance ID:database name:schema name:table name para identificar a origem da tabela, por exemplo, dts****:dtstestdata:testschema:customer1. O recurso de mesclagem de múltiplas tabelas está no nível da tarefa, o que significa que não é possível realizar a mesclagem de múltiplas tabelas no nível da tabela. Se quiser mesclar algumas tabelas, mas não outras, crie duas tarefas de sincronização de dados. Aviso Não execute operações DDL para alterar o esquema do banco de dados ou da tabela no banco de dados de origem. Caso contrário, pode ocorrer inconsistência de dados ou falha na tarefa de sincronização. Selecione No. Esta é a opção padrão.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir uma tabela com o mesmo nome, a pré-verificação é aprovada. Se existir uma tabela com o mesmo nome, a pré-verificação falhará e a tarefa de sincronização de dados não será iniciada. Nota Caso não seja possível excluir ou renomear a tabela com o mesmo nome no banco de dados de destino, mapeie-a para um nome de tabela diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: ignora a verificação de nomes de tabelas duplicados no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seus negócios em risco. Por exemplo: Se os esquemas das tabelas forem iguais e um registro no banco de dados de destino tiver o mesmo valor de chave primária ou exclusiva que um registro no banco de dados de origem: Durante a sincronização completa, o DTS mantém o registro no cluster de destino. O registro correspondente do banco de dados de origem não é sincronizado. Durante a sincronização incremental, o registro do banco de dados de origem sobrescreve o registro no banco de dados de destino. Se os esquemas das tabelas forem diferentes, a sincronização inicial de dados pode falhar. Isso pode resultar na sincronização de apenas dados parciais de colunas ou em uma falha completa de sincronização. Prossiga com cautela.
      Source Objects	Na caixa Source Objects, clique em um objeto a ser sincronizado e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota Selecione objetos para sincronizar no nível da coleção.
      Selected Objects	Agora, edite o mapeamento de nomes de banco de dados. Na lista Selected Objects, clique com o botão direito no banco de dados que contém a coleção a ser sincronizada. Por exemplo, clique com o botão direito no banco de dados dtsdb. Altere o Schema Name para o nome do banco de dados que receberá os dados no cluster de destino do AnalyticDB for MySQL 3.0. Opcional: Na área Select DDL and DML Operations to Be Synchronized, selecione as operações incrementais a serem sincronizadas. As operações DML disponíveis são insert, update e delete. Clique em Select All para selecionar todas as operações de uma vez. Por fim, clique em OK. Em seguida, edite o mapeamento de nomes de tabelas. Clique com o botão direito na coleção a ser sincronizada na lista Selected Objects. O painel Selected Objects exibe os objetos a serem sincronizados em uma estrutura de árvore, com a hierarquia: Nome do Banco de Dados > Tipo de Objeto > Nome do Objeto Específico (por exemplo, dtsdb > Table > class). Altere o Table Name para o nome da tabela que receberá os dados no cluster de destino do AnalyticDB for MySQL 3.0. Opcional: Defina condições de filtro para a sincronização completa de dados. Para mais informações, consulte Set filter conditions. Na caixa de entrada Filter Conditions, insira uma instrução de filtro. Para o ApsaraDB for MongoDB, a sintaxe para condições de filtro é diferente das cláusulas WHERE padrão do SQL. Por exemplo, para filtrar por ID de usuário, insira {"_id": {$gt:"user100844658590795**",$lte:"user101674868045948**"}}, onde gt significa "maior que" e lte significa "menor ou igual a". Opcional: Na área Select DDL and DML Operations to Be Synchronized, selecione as operações incrementais a serem sincronizadas. As operações DML disponíveis são insert, update e delete. Configure os campos a serem sincronizados a partir do MongoDB. Por padrão, o DTS mapeia os dados da coleção a ser sincronizada configurando uma expressão na coluna Parameter Value. Por favor, verifique se a expressão atende aos seus requisitos e configure parâmetros como Column Name, Type, Length e Precision. Importante A coluna de chave primária da tabela de destino deve receber o valor bson_value("_id"). Ao configurar uma expressão bson_value(), especifique a hierarquia até o menor subcampo. Caso contrário, pode ocorrer perda de dados ou falha na tarefa. Na expressão bson_value() na coluna Parameter Value, visualize o nome do campo do MongoDB para essa linha. O texto entre aspas "" representa o nome do campo no MongoDB. Por exemplo, se a expressão for bson_value("age"), esta linha corresponde ao campo age no MongoDB. Opcional: Opcionalmente, exclua os campos desnecessários para a sincronização. Nota Para excluir um campo desnecessário, clique em na linha correspondente. Configure os campos a serem sincronizados. Execute as operações subsequentes dependendo se a expressão bson_value() atende aos seus requisitos. Campos com expressões correspondentes Para isso, insira um Column Name. Nota Insira o nome da coluna na tabela que receberá dados no cluster de destino do AnalyticDB for MySQL 3.0. Selecione um Type para os dados da coluna. Importante Certifique-se de que os tipos de dados na tabela de destino sejam compatíveis com os dados da instância de origem do MongoDB. Para obter informações sobre mapeamentos de tipos de dados, consulte Data type mapping. Opcional: Configure o Length e a Precision dos dados da coluna. Repita as etapas anteriores para mapear cada campo relevante. Campos com expressões não correspondentes Nota Por exemplo, campos com uma estrutura hierárquica (pai-filho). Na coluna Operation, clique em na linha correspondente. Em seguida, clique em + Add Column. Na seção Appended Columns, clique em + Add Column no canto superior direito. Configure o Column Name, o Type, o Length e a Precision. Na caixa de texto sob Parameter Value, insira uma expressão bson_value(). Para mais informações, consulte Value assignment examples. Repita as etapas anteriores para mapear cada campo relevante. Agora, clique em OK.

   2. Clique em Next: Advanced Settings para configurar parâmetros avançados.

      Parâmetro	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, e não é necessário selecionar um cluster. Para um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Após o início de uma tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS relatará um erro e começará imediatamente a tentar reconectar. A duração padrão de nova tentativa é de 720 minutos. Especifique uma duração personalizada de nova tentativa de 10 a 1.440 minutos. Recomendamos definir a duração para 30 minutos ou mais. Se o DTS se reconectar com sucesso ao banco de dados dentro da duração especificada, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Caso haja várias instâncias do DTS (por exemplo, Instância A e Instância B) que compartilham a mesma origem ou destino, e o tempo de nova tentativa de rede seja definido para 30 minutos para a Instância A e 60 minutos para a Instância B, a duração mais curta de 30 minutos será usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de nova tentativa de conexão, recomendamos personalizar a duração da nova tentativa com base nas necessidades do seu negócio ou liberar a instância do DTS o mais rápido possível após a liberação das instâncias de banco de dados de origem e de destino.
      Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou de destino (como exceções de execução DDL ou DML), o DTS relatará um erro e iniciará imediatamente operações contínuas de nova tentativa. A duração padrão de nova tentativa é de 10 minutos. Personalize a duração da nova tentativa dentro do intervalo de 1 a 1.440 minutos. Recomendamos definir o valor para 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração de nova tentativa definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
      Only one data type for primary key _id in a table of the data to be synchronized	Por favor, especifique se os tipos de dados da chave primária _id são exclusivos dentro de cada coleção a ser sincronizada. Importante Selecione uma opção com base nos seus dados reais. Uma seleção incorreta pode levar à perda de dados. Este parâmetro está disponível apenas se os Synchronization Types incluírem Full Data Synchronization. Yes: os tipos de dados são exclusivos. Durante a fase de sincronização completa, o DTS não verifica os tipos de dados das chaves primárias nos dados de origem. Para cada coleção, o DTS sincroniza apenas os dados correspondentes a um tipo de dados de chave primária. No: os tipos de dados não são exclusivos. Durante a fase de sincronização completa, o DTS verifica os tipos de dados das chaves primárias nos dados de origem e sincroniza todos os dados.
      Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e de destino, o que pode aumentar a carga do banco de dados. Para reduzir a carga nos bancos de dados de origem e de destino, defina um limite de taxa para a tarefa de sincronização completa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração está disponível apenas quando os Synchronization Types estão definidos como Full Data Synchronization. Ajuste a taxa de sincronização completa (adjust the full synchronization rate) após a instância de sincronização estar em execução.
      Enable Throttling for Incremental Data Synchronization	Defina um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, defina o RPS of Incremental Data Synchronization e o Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Selecione uma tag de ambiente para identificar a instância com base nos seus requisitos. Neste exemplo, não é necessário selecionar uma tag.
      Configure ETL	Primeiro, escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: desativa o recurso ETL.
      Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação será enviada para um contato de alerta. No: nenhum alerta configurado. Yes: configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

6. Agora, salve a tarefa e execute uma pré-verificação.

   • Para visualizar os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão de dica.

   • Após visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início da tarefa de sincronização, o DTS executa uma pré-verificação. A tarefa só pode começar após a aprovação de todos os itens de pré-verificação.

   • Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme solicitado e, em seguida, execute a pré-verificação novamente.

   • Se a pré-verificação retornar um aviso:

     • Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e, em seguida, execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para pular o aviso e executar a pré-verificação novamente. Se optar por ignorar o item de aviso, isso pode causar problemas como inconsistência de dados e representar riscos para o seu negócio.

7. Adquira a instância.

   1. Quando a Success Rate for 100%, clique em Next: Purchase Instance.

   2. Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhes.

      Categoria	Parâmetro	Descrição
      New Instance Class	Método de faturamento	Assinatura: pague ao criar a instância. Adequado para necessidades de longo prazo e mais econômico do que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: cobrança por hora. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
      	Configuração do grupo de recursos	O grupo de recursos da instância. O padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?.
      	Especificação do link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Para isso, escolha uma especificação com base no seu cenário de negócios. Para mais informações, consulte Data synchronization link specifications.
      	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Além disso, escolha uma assinatura mensal de 1 a 9 meses, ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção está disponível apenas quando o método de faturamento é Subscription.

   3. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Agora, clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Visualize o progresso da tarefa na página Data Synchronization.

Mapeamento de tipos de dados

Configuração de mapeamento

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}