Data Transmission Service:Sincronizar dados do PolarDB for MySQL para o MaxCompute

Pré-requisitos

• Ative o MaxCompute e crie um projeto no MaxCompute. Para mais informações, consulte Activate MaxCompute e Create a MaxCompute project.

• Configure uma lista de permissões do MaxCompute para permitir que o DTS acesse o service. Para mais informações, consulte Configure the whitelist for Alibaba Cloud products to access MaxCompute.

• Um par de AccessKey da conta Alibaba Cloud proprietária do projeto MaxCompute. Consulte Create an AccessKey pair.

  Em vez de usar o AccessKey da conta raiz, você pode Create an account e Set a RAM user as the super administrator for a MaxCompute project .

Limitações

Faturamento

Topologias de sincronização suportadas

Operações SQL suportadas

Como funciona

1. Sincronização de esquema — O DTS replica os esquemas das tabelas do banco de dados de origem para o MaxCompute, adicionando _base ao final de cada nome de tabela. Por exemplo, a tabela de origem customer torna-se customer_base no MaxCompute.

2. Sincronização completa de dados — O DTS carrega todos os dados históricos da origem para as tabelas _base (chamadas tabelas de linha de base completa). Esse snapshot serve como ponto de partida para a sincronização incremental.

3. Sincronização incremental de dados — O DTS cria uma tabela de log incremental no MaxCompute, nomeada com base na tabela de destino acrescida do sufixo _log (por exemplo, customer_log), e sincroniza as alterações incrementais do banco de dados de origem para essa tabela em tempo real.

   Nota

   Para mais informações sobre a estrutura da tabela de log incremental, consulte Incremental log table schema definition.

Procedimento

1. Acesse a página da lista de tarefas de sincronização da região de destino. Utilize um dos dois métodos abaixo:

   Pelo console do DTS

   1. Faça login no console do Data Transmission Service (DTS).

   2. No painel de navegação à esquerda, clique em Data Synchronization.

   3. No canto superior esquerdo da página, selecione a região onde a instância de sincronização está localizada.

   Pelo console do DMS

   Nota

   As operações reais podem variar conforme o modo e o layout do console do DMS. Para mais informações, consulte Simple mode e Customize the layout and style of the DMS interface.

   1. Faça login no Data Management (DMS).

   2. Na barra de menu superior, escolha Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À direita de Data Synchronization Tasks, selecione a região onde a instância de sincronização está localizada.

2. Clique em Create Task para abrir a página de configuração da tarefa.

3. Configure os bancos de dados de origem e de destino.

   Categoria	Configuração	Descrição
   N/A	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
   Source Database	Select Existing Connection	Para utilizar uma instância de banco de dados que esteja added to the system (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco serão configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância ao sistema ou não precise usar uma instância já cadastrada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione PolarDB for MySQL.
   	Connection Type	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região onde o cluster PolarDB for MySQL de origem está localizado.
   	Cross-account	Neste exemplo, a origem e o destino pertencem à mesma conta Alibaba Cloud. Selecione No.
   	PolarDB Cluster ID	Selecione o ID do cluster PolarDB for MySQL de origem.
   	Database Account	Insira a conta do banco de dados para o cluster PolarDB for MySQL de origem. A conta deve ter permissões de leitura sobre os objetos a serem sincronizados.
   	Database Password	Insira a senha correspondente à conta do banco de dados.
   	Encryption	Escolha uma opção conforme sua necessidade. Para mais informações, consulte Configure SSL encryption.
   Destination Database	Select Existing Connection	Para utilizar uma instância de banco de dados que esteja added to the system (recém-criada ou salva), selecione-a na lista suspensa. As informações do banco serão configuradas automaticamente. Nota No console do DMS, este item de configuração chama-se Select a DMS database instance.. Caso não tenha adicionado a instância ao sistema ou não precise usar uma instância já cadastrada, configure manualmente as seguintes informações do banco de dados.
   	Database Type	Selecione MaxCompute.
   	Connection Type	Selecione Alibaba Cloud Instance.
   	Instance Region	Selecione a região onde o projeto MaxCompute de destino está localizado.
   	Project	Insira o nome do projeto MaxCompute.
   	AccessKey ID of Alibaba Cloud Account	Insira o par de AccessKey criado na seção Prerequisites.
   	AccessKey Secret of Alibaba Cloud Account

4. Após concluir a configuração, clique em Test Connectivity and Proceed na parte inferior da página.

   Nota

   Certifique-se de que os blocos CIDR de endereços IP dos servidores do DTS estejam adicionados às configurações de segurança dos bancos de dados de origem e de destino para permitir o acesso. Isso pode ser feito automática ou manualmente. Para mais informações, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.

5. Clique em OK para autorizar a conta ODPS e, em seguida, clique novamente em Test Connectivity and Proceed.

6. Configure os objetos da tarefa.

   1. Na página Configure Objects, defina os objetos a serem sincronizados.

      Configuração	Descrição
      Synchronization Types	Os tipos de sincronização. Por padrão, Incremental Data Synchronization vem selecionado. Você também deve selecionar Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS sincroniza os dados históricos dos objetos selecionados do banco de origem para o cluster de destino. Esses dados históricos servem de base para a sincronização incremental subsequente.
      Naming Rules of Additional Columns	O DTS adiciona colunas extras à tabela de destino no MaxCompute. Se o nome de uma coluna adicional entrar em conflito com uma coluna existente, a tarefa de sincronização falhará. Escolha New Rule ou Previous Rule conforme suas necessidades de negócio. Aviso Antes de escolher uma regra, verifique se os nomes das colunas adicionais conflitam com colunas existentes na tabela de destino. Caso contrário, a tarefa pode falhar ou ocorrer perda de dados. Para mais informações sobre as regras e definições das colunas adicionais, consulte Names and definitions of additional columns.
      Partition Definition of Incremental Data Table	Selecione um nome de partição conforme suas necessidades de negócio. Para mais informações sobre partições, consulte Partitions.
      Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de dados de destino. Se não existir, a pré-verificação é aprovada. Se existir, a pré-verificação falha e a tarefa de sincronização não inicia. Nota Caso não seja possível excluir ou renomear a tabela homônima no banco de destino, você pode mapeá-la para um nome diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de nomes de tabelas duplicados no banco de dados de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seu negócio em risco. Por exemplo: Se os esquemas das tabelas forem idênticos e um registro no banco de destino tiver o mesmo valor de chave primária ou única que um registro na origem: Durante a sincronização completa, o DTS mantém o registro no cluster de destino. O registro correspondente do banco de origem não é sincronizado. Durante a sincronização incremental, o registro do banco de origem sobrescreve o registro no banco de destino. Se os esquemas das tabelas forem diferentes, a sincronização inicial de dados pode falhar. Isso pode resultar na sincronização apenas parcial dos dados das colunas ou em uma falha total. Prossiga com cautela.
      Capitalization of Object Names in Destination Instance	Configure a política de diferenciação entre maiúsculas e minúsculas para nomes de objetos de banco de dados, tabelas e colunas sincronizados na instância de destino. Por padrão, a DTS default policy está selecionada. Também é possível optar pelas políticas padrão dos bancos de origem e destino. Para mais informações, consulte Case sensitivity policy for destination object names.
      Source Objects	Na caixa Source Objects, clique em um objeto para sincronizar e, em seguida, clique em para movê-lo para a caixa Selected Objects. Nota É possível selecionar objetos no nível de tabela.
      Selected Objects	Para renomear um único objeto de sincronização na instância de destino, clique com o botão direito no objeto dentro da caixa Selected Objects. Para mais informações sobre como renomear objetos, consulte Map a single database, table, or column. Para alterar em lote os nomes de vários objetos de sincronização na instância de destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações, consulte Map databases, tables, and columns in a batch.

   2. Clique em Next: Advanced Settings para configurar parâmetros avançados.

      Configuração	Descrição
      Dedicated Cluster for Task Scheduling	Por padrão, o DTS agenda tarefas em um cluster compartilhado, sem necessidade de seleção. Para obter um desempenho mais estável, adquira um cluster dedicado para executar tarefas de sincronização do DTS. Para mais informações, consulte What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Após o início da tarefa de sincronização, se a conexão com o banco de dados de origem ou destino falhar, o DTS reportará um erro e iniciará imediatamente novas tentativas de conexão. A duração padrão de tentativa é de 720 minutos. Você também pode especificar uma duração personalizada entre 10 e 1.440 minutos. Recomendamos definir esse valor para 30 minutos ou mais. Se o DTS reconectar com sucesso ao banco dentro do período especificado, a tarefa será retomada automaticamente. Caso contrário, ela falhará. Nota Se houver múltiplas instâncias do DTS (por exemplo, Instância A e Instância B) compartilhando a mesma origem ou destino, e o tempo de tentativa de rede for definido como 30 minutos para a Instância A e 60 minutos para a Instância B, a menor duração (30 minutos) será aplicada a ambas. Como o DTS cobra pelo tempo de execução da tarefa durante o período de tentativa de reconexão, recomendamos personalizar a duração conforme suas necessidades de negócio ou liberar a instância do DTS assim que possível após a liberação das instâncias de banco de dados de origem e destino.
      Retry Time for Other Issues	Após o início da tarefa, se ocorrerem outros problemas não relacionados à conectividade com o banco de origem ou destino (como exceções na execução de DDL ou DML), o DTS reportará um erro e iniciará tentativas contínuas de correção. A duração padrão é de 10 minutos. É possível personalizar esse intervalo entre 1 e 1.440 minutos. Recomendamos definir pelo menos 10 minutos. Se as operações relevantes forem bem-sucedidas dentro do período configurado, a tarefa será retomada automaticamente. Caso contrário, ela falhará. Importante O valor de Retry Time for Other Issues deve ser menor que o valor de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Durante a fase de sincronização completa, o DTS consome recursos de leitura e gravação dos bancos de origem e destino, o que pode aumentar a carga do sistema. Para reduzir esse impacto, defina um limite de taxa para a tarefa configurando os parâmetros Queries per second (QPS) to the source database, RPS of Full Data Migration e Data migration speed for full migration (MB/s). Nota Esta opção só está disponível quando Synchronization Types estiver definido como Full Data Synchronization. Também é possível adjust the full synchronization rate depois que a instância de sincronização estiver em execução.
      Enable Throttling for Incremental Data Synchronization	Defina também um limite de taxa para a sincronização incremental. Para aliviar a pressão sobre o banco de dados de destino, configure RPS of Incremental Data Synchronization e Data synchronization speed for incremental synchronization (MB/s).
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Decida se deseja gravar informações SQL de heartbeat no banco de dados de origem enquanto a instância do DTS estiver em execução. Yes: As informações SQL de heartbeat não são gravadas no banco de origem. Isso pode fazer com que a instância do DTS reporte atrasos. No: Grava informações SQL de heartbeat no banco de origem. Isso pode interferir em funcionalidades como backup físico e clonagem do banco de dados de origem.
      Environment Tag	Selecione uma tag de ambiente para identificar a instância. Não obrigatório para este exemplo.
      Configure ETL	Decida se deseja ativar o recurso de extração, transformação e carregamento (ETL). Para mais informações, consulte What is ETL? Valores válidos: Yes: Ativa o recurso ETL. Insira instruções de processamento de dados no editor de código. Para mais informações, consulte Configure ETL in a data migration or data synchronization task. No: Desativa o recurso ETL.
      Monitoring and Alerting	Especifique se deseja configurar alertas. Se a sincronização falhar ou a latência exceder o limiar definido, uma notificação será enviada ao contato de alerta. No: Nenhum alerta é configurado. Yes: Configure alertas definindo um limiar e especificando um notificação de alerta. Para mais informações, consulte Configure monitoring and alerting during task configuration.

7. Salve a tarefa e execute a pré-verificação.

   • Para visualizar os parâmetros da api referentes à configuração desta instância, passe o mouse sobre o botão Next: Save Task Settings and Precheck e clique em Preview OpenAPI parameters no balão exibido.

   • Após consultar os parâmetros da api, clique em Next: Save Task Settings and Precheck na parte inferior da página.

   Nota

   • Antes do início do trabalho de sincronização, o DTS executa uma pré-verificação. O trabalho só começa após a aprovação de todos os itens verificados.

   • Se a pré-verificação falhar, clique em View Details referente ao item com falha. Corrija o problema conforme indicado e execute a pré-verificação novamente.

   • Se a pré-verificação retornar um aviso:

     • Caso um item de verificação falhe e não possa ser ignorado, clique em View Details ao lado do item. Siga as instruções para corrigir o problema e execute a pré-verificação novamente.

     • Para itens de verificação que podem ser ignorados, clique sequencialmente em Confirm Alert Details, Ignore, OK e Precheck Again para pular o aviso e refazer a pré-verificação. Optar por suprimir o item de aviso pode causar problemas como inconsistência de dados e representar riscos ao seu negócio.

8. Adquira uma instância.

   1. Quando a Success Rate atingir 100%, clique em Next: Purchase Instance.

   2. Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. A tabela a seguir detalha esses parâmetros.

      Categoria	Parâmetro	Descrição
      New Instance Class	Método de faturamento	Assinatura: O pagamento ocorre no momento da criação da instância. Ideal para necessidades de longo prazo, sendo mais econômico que o pagamento conforme o uso. Quanto maior a duração da assinatura, maior o desconto. Pagamento conforme o uso: A cobrança é feita por hora. Adequado para demandas de curto prazo. Libere a instância logo após o uso para economizar custos.
      	Configuração do grupo de recursos	O grupo de recursos ao qual a instância pertence. O padrão é o grupo de recursos padrão. Para mais informações, consulte What is Resource Management?.
      	Especificação do link	O DTS oferece especificações de sincronização com diferentes níveis de desempenho. A especificação do link afeta diretamente a taxa de sincronização. Escolha a mais adequada ao seu cenário de negócio. Para mais informações, consulte Data synchronization link specifications.
      	Duração da assinatura	No modo de assinatura, selecione a duração e a quantidade desejadas. É possível optar por assinaturas mensais de 1 a 9 meses, ou anuais de 1, 2, 3 ou 5 anos. Nota Esta opção só está disponível quando o método de faturamento for Subscription.

   3. Após concluir a configuração, leia e selecione Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Clique em Buy and Start. Na caixa de diálogo OK, clique em OK.

      Acompanhe o progresso da tarefa na página Data Synchronization.

Definição de esquema da tabela de log incremental

Antes de consultar a tabela de dados incrementais, execute o seguinte comando no MaxCompute para permitir varreduras completas de tabela:

set odps.sql.allow.fullscan=true;

Cada tabela _log armazena eventos de alteração da origem. Além dos dados originais das colunas, o DTS adiciona os seguintes campos de metadados a cada linha:

Leitura de eventos UPDATE: O DTS escreve duas linhas para cada UPDATE — uma com before_flag=Y (os valores originais) e outra com after_flag=Y (os novos valores). Ambas as linhas compartilham o mesmo record_id.