Data Transmission Service:Sincronização unidirecional entre clusters do PolarDB for MySQL

Pré-requisitos

• Os clusters de origem e de destino do PolarDB for MySQL já foram criados. Para mais informações, consulte Create a pay-as-you-go cluster e Create a subscription cluster.

  Nota

  Para obter detalhes sobre as versões compatíveis, consulte Synchronization solution overview.

• A capacidade de armazenamento do cluster de destino do PolarDB for MySQL deve ser maior que o espaço de armazenamento utilizado pelo cluster de origem do PolarDB for MySQL.

Limites

Faturamento

Operações SQL suportadas

Procedimento

1. Acesse a página da lista de tarefas de sincronização da região de destino. Utilize um dos dois métodos abaixo:

   Pelo console do DTS

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Synchronization.

   3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.

   Pelo console do DMS

   Nota

   As operações reais podem variar conforme o modo e o layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.

   1. Faça login no Data Management (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.

2. Clique em Create Task para abrir a página de configuração da tarefa.

3. Opcional: No canto superior direito da página, clique em New Configuration Page.

   Nota

   • Se o botão no canto superior direito for Back to Previous Version, pule esta etapa.

   • As páginas de configuração nova e antiga possuem parâmetros diferentes. Recomendamos o uso da nova página de configuração.

4. Configure os bancos de dados de origem e de destino.

   Aviso

   Após selecionar as instâncias de origem e de destino, leia atentamente os limites exibidos no topo da página. O descumprimento desses limites pode causar falha na tarefa ou inconsistência de dados.

   Seção	Parâmetro	Descrição
   N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomenda-se especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
   Source Database	Select a DMS database instance.	Selecione uma instância existente conforme necessário. Ao usar uma instância existente, as informações do banco de dados são preenchidas automaticamente, sem necessidade de nova entrada. Caso não utilize uma instância existente, configure as informações do banco de dados a seguir. Nota No console do DMS, clique em Add DMS Database Instance para adicionar uma instância de banco de dados. Para mais informações, consulte Add a cloud database instance e Add a database instance from another cloud or a self-managed database. No console do DTS, adicione um banco de dados ao DTS na página Database Connections ou na nova página de configuração. Para mais informações, consulte Data Connection Management.
   	Database Type	Selecione PolarDB for MySQL.
   	Connection Type	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região onde o cluster de origem do PolarDB for MySQL está localizado.
   	Replicate Data Across Alibaba Cloud Accounts	Neste cenário, os dados são sincronizados dentro da mesma conta Alibaba Cloud. Selecione No.
   	PolarDB Cluster ID	Selecione o ID do cluster de origem do PolarDB for MySQL. Nota Os clusters de origem e de destino do PolarDB for MySQL podem ser iguais ou diferentes. O DTS suporta sincronização entre dois clusters do PolarDB for MySQL ou dentro do mesmo cluster do PolarDB for MySQL.
   	Database Account	Insira a conta do banco de dados para o cluster de origem do PolarDB for MySQL. A conta deve ter permissões de leitura nos objetos de sincronização.
   	Database Password	Insira a senha correspondente à conta do banco de dados.
   	Encryption	Escolha uma opção conforme suas necessidades. Para mais informações, consulte Configure SSL encryption.
   Destination Database	Select a DMS database instance.	Selecione uma instância existente conforme necessário. Ao usar uma instância existente, as informações do banco de dados são preenchidas automaticamente, sem necessidade de nova entrada. Caso não utilize uma instância existente, configure as informações do banco de dados a seguir. Nota No console do DMS, clique em Add DMS Database Instance para adicionar uma instância de banco de dados. Para mais informações, consulte Add a cloud database instance e Add a database instance from another cloud or a self-managed database. No console do DTS, adicione um banco de dados ao DTS na página Database Connections ou na nova página de configuração. Para mais informações, consulte Data Connection Management.
   	Database Type	Selecione PolarDB for MySQL.
   	Connection Type	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região onde o cluster de destino do PolarDB for MySQL está localizado.
   	PolarDB Cluster ID	Selecione o ID do cluster de destino do PolarDB for MySQL. Nota Se o cluster de destino for um cluster multi-master (Limitless) e seu modo de leitura/gravação for read-write (com divisão automática de leitura/gravação), o cluster utiliza um mecanismo de roteamento de banco de dados e tabelas. Adicione o nó primário que hospeda os objetos de destino ao endpoint de leitura/gravação ou selecione todos os nós primários. Antes de selecionar um nó, recomenda-se avaliar totalmente o impacto do roteamento. Para mais informações, consulte Configure a database proxy.
   	Database Account	Insira a conta do banco de dados para o cluster de destino do PolarDB for MySQL. A conta deve ter permissões de leitura no banco de dados de destino. Importante Recomenda-se o uso de uma conta privilegiada.
   	Database Password	Insira a senha correspondente à conta do banco de dados.
   	Encryption	Escolha uma opção conforme suas necessidades. Para mais informações, consulte Configure SSL encryption.

5. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Se o banco de dados de origem ou de destino for uma instância de banco de dados Alibaba Cloud, como uma instância RDS for MySQL ou ApsaraDB for MongoDB, o DTS adiciona automaticamente os endereços IP dos servidores do DTS na região correspondente à lista de permissões da instância. Se for um banco de dados autogerenciado hospedado em uma instância ECS, o DTS adiciona automaticamente os endereços IP dos servidores do DTS às regras de segurança da instância ECS. Garanta também que o banco de dados autogerenciado permita acesso da instância ECS. Se o banco estiver implantado em cluster em várias instâncias ECS, adicione manualmente os endereços IP dos servidores do DTS às regras de segurança de cada instância ECS. Para bancos autogerenciados em IDC ou de outros provedores de nuvem, adicione manualmente os endereços IP dos servidores do DTS na região correspondente para permitir o acesso. Para mais informações sobre os endereços IP dos servidores do DTS, consulte IP address CIDR blocks of DTS servers.

   Aviso

   Adicionar blocos CIDR de endereços IP públicos dos servidores do DTS, seja automática ou manualmente, pode apresentar riscos de segurança. Ao usar este product, você reconhece e aceita esses riscos potenciais. Implemente proteções básicas de segurança, incluindo, mas não se limitando a: fortalecer a segurança de senhas, restringir portas abertas para blocos CIDR, usar autenticação para comunicação interna de API e revisar/restringir regularmente blocos CIDR desnecessários. Alternativamente, conecte-se ao banco de dados via rede interna, como linha dedicada, VPN Gateway ou Smart Access Gateway.

6. Configure os objetos da tarefa.

   1. Na página Configure Objects, configure os objetos a serem sincronizados.

      Parâmetro	Descrição
      Synchronization Types	A opção Incremental Data Synchronization está selecionada. Por padrão, também é necessário selecionar Schema Synchronization e Full Data Synchronization. Após a pré-verificação, o DTS realiza uma sincronização total dos objetos selecionados da instância de origem para o cluster de destino, servindo como base para a subsequente sincronização incremental.
      Method to Migrate Triggers in Source Database	Selecione um método de sincronização de triggers. Se não houver triggers nos objetos de sincronização, ignore este parâmetro. Para mais informações, consulte Configure a method to synchronize or migrate triggers. Nota Este parâmetro só estará disponível se você selecionar Schema Synchronization em Synchronization Types.
      Synchronization Topology	Neste exemplo, One-way Synchronization está selecionado.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir, a pré-verificação é aprovada. Se existir, a pré-verificação falha e a tarefa de sincronização não inicia. Nota Caso não seja possível excluir ou renomear a tabela homônima no banco de dados de destino, mapeie-a para um nome diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de nomes de tabelas duplicados no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seu negócio em risco. Por exemplo: Se os esquemas das tabelas forem idênticos e um registro no banco de dados de destino tiver o mesmo valor de chave primária ou única que um registro no banco de dados de origem: Na sincronização total, o DTS mantém o registro no cluster de destino, e o registro correspondente do banco de dados de origem não é sincronizado. Na sincronização incremental, o registro do banco de dados de origem sobrescreve o registro no banco de dados de destino. Se os esquemas das tabelas forem diferentes, a sincronização inicial de dados pode falhar, resultando na sincronização apenas parcial das colunas ou em falha completa. Proceda com cautela.
      Whether to migrate Event	Especifique se deseja sincronizar eventos do banco de dados de origem. Se selecionar Yes, cumpra os requisitos relevantes e execute as operações subsequentes. Para mais informações, consulte Synchronize or migrate events.
      Source Objects	Na caixa Source Objects, clique em um objeto para sincronizar e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota É possível selecionar bancos de dados, tabelas e colunas como objetos de sincronização. Se selecionar tabelas ou colunas, outros objetos como views, triggers e stored procedures não serão sincronizados para o banco de dados de destino.
      Selected Objects	Para renomear um único objeto de sincronização na instância de destino, clique com o botão direito no objeto na caixa Selected Objects. Para mais informações sobre renomeação de objetos, consulte Map a single database, table, or column. Para alterar em lote os nomes de vários objetos de sincronização na instância de destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações, consulte Map databases, tables, and columns in a batch. Nota Para selecionar operações SQL para um banco de dados ou tabela específico, clique com o botão direito no objeto no painel Selected Objects e selecione as operações desejadas na caixa de diálogo exibida. Para uma lista de operações suportadas, consulte Supported SQL operations. Para definir uma cláusula WHERE e filtrar dados, clique com o botão direito na tabela desejada no painel Selected Objects e defina a condição de filtro na caixa de diálogo exibida. Para mais informações, consulte Configure filter conditions.

   2. Clique em Next: Advanced Settings para configurar parâmetros avançados.

      Parâmetro	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, sem necessidade de seleção. Para um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
      Select the engine type of the destination database	Selecione o tipo de mecanismo de armazenamento para o banco de dados de destino. InnoDB: Mecanismo de armazenamento padrão. X-Engine: Mecanismo de armazenamento para processamento de transações online (OLTP).
      Copy the temporary table of the Online DDL tool that is generated in the source table to the destination database.	Se utilizar Data Management (DMS) ou gh-ost para realizar alterações DDL online no banco de dados de origem, escolha se deseja sincronizar os dados das tabelas temporárias geradas por essas alterações. Importante Tarefas do DTS não suportam o uso de ferramentas como pt-online-schema-change para alterações DDL online. O uso dessas ferramentas causará falha na tarefa do DTS. Os métodos de processamento para cada etapa são: As etapas de Schema Synchronization e Full Data Synchronization não permitem operações DDL que alterem o esquema do banco ou da tabela. Portanto, não são controladas pela política de Online DDL. Schema Synchronization: Esta etapa não é controlada pela política de Online DDL. Tabelas temporárias relacionadas são criadas. Full Data Synchronization: Esta etapa não é controlada pela política de Online DDL. Tabelas temporárias não são incluídas nos objetos de sincronização total. Todas as tabelas cujos nomes correspondem à expressão regular (^_(.+)_(?:gho|new)$ ou ^_(.+)_(?:ghc|del|old)$) são filtradas. Incremental Data Synchronization: Esta etapa é controlada pela política de Online DDL. Yes: Sincroniza alterações de dados em tabelas temporárias (por exemplo, _table-name_gho) geradas por operações DDL online. No, Adapt to DMS Online DDL e No, Adapt to gh-ost: Filtra alterações de dados em tabelas temporárias (por exemplo, _table-name_gho) geradas por ferramentas como gh-ost com base em regras de expressão regular. Yes: Sincroniza dados de tabelas temporárias geradas por alterações DDL online. Nota Se os dados das tabelas temporárias geradas por alterações DDL online forem muito grandes, pode haver latência na sincronização. No, Adapt to DMS Online DDL: Não sincroniza dados de tabelas temporárias geradas por operações DDL online. Sincroniza apenas as instruções DDL originais executadas usando Data Management (DMS) no banco de dados de origem. Nota Esta opção causa bloqueio de tabelas no banco de dados de destino. No, Adapt to gh-ost: Não sincroniza dados de tabelas temporárias geradas por alterações DDL online. Suporta regras de filtragem personalizadas. O DTS filtra alterações de dados em tabelas temporárias (por exemplo, _table-name_gho) geradas por ferramentas como gh-ost com base em regras de expressão regular. Modifique as expressões regulares padrão usadas para corresponder a shadow tables e useless tables conforme necessário: Shadow table: ^_(.+)_(?:gho|new)$ Useless table: ^_(.+)_(?:ghc|del|old)$ Nota Esta opção causa bloqueio de tabelas no banco de dados de destino.
      Whether to Migrate Accounts	Especifique se deseja sincronizar informações de contas do banco de dados de origem. Se selecionar Yes, selecione as contas a serem sincronizadas e confirme suas permissões. Para mais informações, consulte Migrate database accounts.
      Retry Time for Failed Connections	Após o início da tarefa de sincronização, se a conexão com o banco de dados de origem ou de destino falhar, o DTS reportará um erro e iniciará imediatamente novas tentativas de conexão. A duração padrão de tentativa é de 720 minutos. Especifique uma duração personalizada de 10 a 1.440 minutos. Recomenda-se definir a duração como 30 minutos ou mais. Se o DTS reconectar com sucesso ao banco dentro do período especificado, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Nota Se você tiver várias instâncias do DTS (por exemplo, Instância A e Instância B) compartilhando a mesma origem ou destino, e definir o tempo de tentativa de rede como 30 minutos para a Instância A e 60 minutos para a Instância B, a menor duração de 30 minutos será usada para ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de tentativa de conexão, recomenda-se personalizar a duração da tentativa conforme suas necessidades de negócio ou liberar a instância do DTS assim que possível após a liberação das instâncias de banco de dados de origem e destino.
      Retry Time for Other Issues	Após o início da tarefa de sincronização, se ocorrerem outros problemas não relacionados à conectividade com o banco de dados de origem ou destino (como exceções na execução de DDL ou DML), o DTS reportará um erro e iniciará imediatamente operações contínuas de tentativa. A duração padrão é de 10 minutos. Personalize a duração dentro do intervalo de 1 a 1.440 minutos. Recomenda-se definir como 10 minutos ou mais. Se as operações relevantes forem bem-sucedidas dentro da duração definida, a tarefa de sincronização será retomada automaticamente. Caso contrário, a tarefa falhará. Importante O valor para Retry Time for Other Issues deve ser menor que o valor para Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Durante a fase de sincronização total, o DTS consome recursos de leitura e gravação dos bancos de dados de origem e destino, o que pode aumentar a carga do banco. Para reduzir essa carga, defina um limite de taxa para a tarefa de sincronização total configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Este item de configuração só está disponível quando Synchronization Types estiver definido como Full Data Synchronization. Você também pode adjust the full synchronization rate após a instância de sincronização estar em execução.
      Enable Throttling for Incremental Data Synchronization	Defina também um limite de taxa para a tarefa de sincronização incremental. Para aliviar a pressão no banco de dados de destino, configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Escolha se deseja gravar informações SQL de heartbeat no banco de dados de origem enquanto a instância do DTS estiver em execução. Yes: Informações SQL de heartbeat não são gravadas no banco de dados de origem. Isso pode fazer com que a instância do DTS reporte atraso. No: Grava informações SQL de heartbeat no banco de dados de origem. Isso pode interferir em recursos como backup físico e clonagem do banco de dados de origem.
      Environment Tag	Selecione uma tag de ambiente para identificar a instância. Nenhuma seleção é necessária neste exemplo.
      Configure ETL	Escolha se deseja ativar o recurso de extração, transformação e carga (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
      Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar especificado, uma notificação será enviada a um contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar de alerta e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

   3. Clique em Next: Data Validation para configurar uma tarefa de validação de dados.

      Para usar o recurso de validação de dados, consulte Configure data validation para instruções de configuração.

7. Salve a tarefa e execute uma pré-verificação.

   • Para visualizar os parâmetros da API para configurar esta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão exibido.

   • Após terminar de visualizar os parâmetros da API, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início do job de sincronização, o DTS executa uma pré-verificação. O job só pode começar após a aprovação de todos os itens de pré-verificação.

   • Se a pré-verificação falhar, clique em View Details para o item com falha. Corrija o problema conforme indicado e execute a pré-verificação novamente.

   • Se a pré-verificação retornar um aviso:

     • Se um item de verificação falhar e não puder ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, clique em Confirm Alert Details, Ignore, OK e Precheck Again em sequência para pular o aviso e reexecutar a pré-verificação. Optar por suprimir o item de aviso pode causar problemas como inconsistência de dados e representar riscos ao seu negócio.

8. Quando a Success Rate for 100%, clique em Next: Purchase Instance.

9. Adquira a instância.

   1. Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir descreve esses parâmetros em detalhe.

      Categoria	Parâmetro	Descrição
      New Instance Class	Método de Faturamento	Assinatura: Pagamento realizado na criação da instância. Adequado para necessidades de longo prazo e mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: Cobrança horária. Adequado para necessidades de curto prazo. Libere a instância imediatamente após o uso para economizar custos.
      	Configuração do Grupo de Recursos	O grupo de recursos ao qual a instância pertence. O padrão é default resource group. Para mais informações, consulte What is Resource Management?.
      	Especificação do Link	O DTS fornece especificações de sincronização com diferentes níveis de desempenho. A especificação do link de sincronização afeta a taxa de sincronização. Escolha uma especificação baseada no seu cenário de negócio. Para mais informações, consulte Data synchronization link specifications.
      	Duração da Assinatura	No modo de assinatura, selecione a duração e a quantidade para a instância de assinatura. Escolha uma assinatura mensal de 1 a 9 meses ou uma assinatura anual de 1, 2, 3 ou 5 anos. Nota Esta opção só está disponível quando o método de faturamento é Subscription.

   2. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

   3. Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Acompanhe o progresso da tarefa na página Data Synchronization.