ApsaraDB for SelectDB:Importar dados usando o DTS

Para um banco de dados MySQL autogerenciado como origem:

• A ocorrência de um failover entre primário e secundário no banco de origem durante a sincronização causará falha na tarefa.

• O DTS calcula a latência comparando o timestamp do último registro sincronizado com a hora atual. Se nenhuma operação DML for executada por um longo período no banco de origem, o relatório de latência pode tornar-se impreciso. Caso a latência pareça excessivamente alta, execute uma operação DML no banco de origem para atualizá-la.

Nota

Ao selecionar um banco de dados completo para sincronização, crie uma tabela de heartbeat. Atualize ou grave nesta tabela a cada segundo.

• Periodicamente, o DTS executa o comando CREATE DATABASE IF NOT EXISTS test no banco de origem para avançar o offset do log binário.

• Se o banco de origem for Amazon Aurora MySQL ou outra instância MySQL em cluster, garanta que o nome de domínio ou endereço IP usado na configuração da tarefa — bem como sua resolução DNS — aponte sempre para um nó de leitura/gravação (RW). Caso contrário, a sincronização poderá falhar.

Para um banco de dados ApsaraDB RDS for MySQL como origem:

• Instâncias somente leitura — como as do ApsaraDB RDS for MySQL 5.6 — que não registram logs de transação não podem servir como bancos de origem.

• Periodicamente, o DTS executa o comando CREATE DATABASE IF NOT EXISTS test no banco de origem para avançar o offset do log binário.

Permissões

• Para verificar as permissões da conta do banco de origem, consulte Permissões do MySQL.

• Para modificar as permissões da conta do banco de origem, consulte Modify account permissions.

Logs binários no banco de origem

O log binário vem habilitado por padrão no ApsaraDB RDS for MySQL. Verifique as configurações abaixo antes de configurar a tarefa de sincronização:

• Formato de imagem de linha — Confirme se binlog_row_image está definido como full. Caso contrário, ocorrerá um erro na pré-verificação e a tarefa de sincronização não iniciará. Para saber como configurar esse parâmetro, consulte Set instance parameters.

• Bancos MySQL autogerenciados — Se a instância de origem for um banco MySQL autogerenciado, ative o log binário, defina binlog_format como row e configure binlog_row_image para full.

• Clusters com dois primários — Quando a instância MySQL autogerenciada de origem for um cluster dual-primary em que cada nó é réplica do outro, ative o parâmetro log_slave_updates para que o DTS consiga obter todos os logs binários. Mais informações em Create an account for a self-managed MySQL database and configure the binary log.

• Retenção de logs — O DTS exige que os logs binários locais do banco de origem sejam retidos por pelo menos sete dias. A falta dessa retenção pode impedir a obtenção dos logs e causar falha na tarefa. Em casos extremos, pode haver perda ou inconsistência de dados. Problemas decorrentes de um período de retenção inferior ao exigido pelo DTS não são cobertos pelo Acordo de Nível de Serviço (SLA) do DTS. Se a origem for uma instância ApsaraDB RDS for MySQL, consulte Manage local logs (binary logs).

Tabelas de destino

Caso prefira criar as tabelas de destino manualmente em vez de permitir que o DTS sincronize os esquemas, crie previamente tabelas com o modelo de dados unique na instância de destino do ApsaraDB for SelectDB antes de iniciar a tarefa. Para os tipos de colunas recomendados, veja Data type mappings. Para orientações sobre a decisão, consulte Configure the synchronization objects and advanced settings.

Configurar os bancos de dados de origem e destino

1. Faça login no console do ApsaraDB for SelectDB.

2. Na barra de navegação superior, selecione a região onde sua instância está localizada.

3. Na página Instances, clique em ID da instância desejada para acessar a página Instance Details.

4. Na página Instance Details, clique em Data Pipeline no painel de navegação à esquerda. No menu superior, selecione a aba Data Synchronization.

5. Clique em Create Synchronization Task e configure as informações dos bancos de origem e destino conforme a tabela abaixo.

   Categoria	Configuração	Descrição
   Informações da tarefa	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. Não é necessário que seja único.
   Banco de dados de origem	Database Type	Selecione MySQL.
   	Access Method	Escolha Alibaba Cloud Instance.
   	Instance Region	Selecione a região da instância de origem do ApsaraDB RDS for MySQL.
   	RDS Instance ID	Escolha o ID da instância de origem do ApsaraDB RDS for MySQL.
   	Database Account	Insira a conta do banco de dados da instância de origem do ApsaraDB RDS for MySQL. Para detalhes sobre as permissões necessárias, consulte Permissions.
   	Database Password	Insira a senha correspondente à conta do banco de dados.
   	Encryption	Escolha Non-encrypted ou SSL-encrypted conforme necessário. Ao optar por SSL-encrypted, habilite previamente a criptografia SSL na instância RDS for MySQL. Mais informações em Use a cloud certificate to quickly enable SSL encryption.
   Banco de dados de destino	Database Type	Selecione SelectDB.
   	Access Method	Escolha Alibaba Cloud Instance.
   	Instance Region	Selecione a região da instância de destino do ApsaraDB for SelectDB.
   	Instance ID	Escolha o ID da instância de destino do ApsaraDB for SelectDB.
   	Database Account	Insira a conta do banco de dados da instância de destino do ApsaraDB for SelectDB. Para detalhes sobre as permissões necessárias, consulte Permissions.
   	Database Password	Insira a senha correspondente à conta do banco de dados.

6. Após concluir a configuração, clique em Test Connection to Proceed na parte inferior da página.

   Se o banco de origem ou destino for uma instância de banco de dados da Alibaba Cloud, como ApsaraDB for SelectDB, ApsaraDB RDS for MySQL ou ApsaraDB for MongoDB, o DTS adiciona automaticamente os endereços IP dos servidores DTS da região correspondente à lista de permissões da instância.

Configurar objetos de sincronização e configurações avançadas

1. Configure os objetos da tarefa e as opções avançadas. A tabela a seguir detalha essas configurações.

   Configuração	Descrição
   Synchronization Types	Incremental Data Synchronization vem selecionado por padrão. Selecione também Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS realiza uma sincronização completa dos dados dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como base para a subsequente sincronização incremental. A seleção ou não de Schema Synchronization determina o que deve ser preparado na instância de destino. Consulte a descrição após esta tabela para entender os dois cenários.
   Processing Mode of Conflicting Tables	Precheck and Report Errors: Verifica se existe uma tabela com o mesmo nome no banco de destino. Se não existir, a pré-verificação é aprovada. Caso exista, a pré-verificação falha e a tarefa de sincronização não inicia. Nota Se não for possível excluir ou renomear a tabela homônima no banco de destino, mapeie-a para um nome diferente. Para mais informações, consulte Map table and column names. Ignore Errors and Proceed: Ignora a verificação de nomes duplicados no banco de destino. Aviso Selecionar Ignore Errors and Proceed pode causar inconsistência de dados e colocar seu negócio em risco. Por exemplo: Se os esquemas das tabelas forem idênticos e um registro no banco de destino tiver a mesma chave primária ou valor de chave única que um registro na origem: Durante a sincronização completa, o DTS mantém o registro no cluster de destino. O registro correspondente da origem não será sincronizado. Na sincronização incremental, o registro da origem sobrescreve o registro no banco de destino. Se os esquemas forem diferentes, a sincronização inicial pode falhar. Isso pode resultar na sincronização parcial de colunas ou em uma falha total. Prossiga com cautela.
   Capitalization of Object Names in Destination Instance	Configure a política de capitalização para nomes de bancos, tabelas e colunas dos objetos sincronizados na instância de destino. Por padrão, usa-se a DTS Default Policy: nomes de bancos e tabelas são convertidos para minúsculas, enquanto a capitalização das colunas segue a origem. Também é possível escolher outra política, como Same as Source ou Same as Target Default. Mais detalhes em Case policy for target database object names.
   Source Objects	Na caixa Source Objects, clique nos objetos que deseja sincronizar e depois clique em para movê-los para a caixa Selected Objects. A seleção pode ser feita no nível de banco, tabela ou coluna. Ao selecionar no nível de banco, novas tabelas adicionadas posteriormente não serão sincronizadas automaticamente. Se houver possibilidade de adicionar tabelas durante o uso do DTS, prefira selecionar objetos no nível de tabela. Posteriormente, ajuste essa seleção usando Modify Synchronization Objects na coluna Actions da lista de tarefas. Para edições no nível de tabela, como mapeamento de nomes de colunas, uma única tarefa suporta até 1.000 tabelas. Exceder esse limite gerará um erro ao enviar a tarefa. Nesse caso, divida as tabelas em múltiplas tarefas ou configure uma tarefa para todo o banco.
   Selected Objects	Para renomear um único objeto na instância de destino, clique com o botão direito nele na caixa Selected Objects. Para mais detalhes sobre renomeação, veja Map a single database, table, or column. Para alterar em lote os nomes de vários objetos na instância de destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Mais informações em Map databases, tables, and columns in a batch. Nota: Para selecionar quais operações SQL sincronizar no nível de banco ou tabela, clique com o botão direito no objeto desejado em Selected Objects e escolha as operações na caixa de diálogo exibida. Consulte SQL operations supported for incremental synchronization para ver as operações suportadas. Para filtrar dados usando uma condição WHERE, clique com o botão direito na tabela alvo em Selected Objects e defina o filtro na caixa de diálogo. Veja Configure filter conditions para detalhes. Atenção: ao usar o recurso de mapeamento de nomes, a sincronização de outros objetos dependentes pode falhar.

   Sua escolha em Synchronization Types define quem cria as tabelas de destino:

   • Se você selecionar Schema Synchronization — Defina a estrutura da tabela de destino na próxima etapa, Configure the destination table schemas and fields. Caso uma tabela de origem não tenha chave primária ou restrição única, configure-a para usar o modelo de dados unique nessa fase e especifique manualmente a coluna de chave primária.

   • Se você não selecionar Schema Synchronization — Crie antecipadamente tabelas com o modelo de dados unique e o esquema necessário na instância de destino do ApsaraDB for SelectDB. Neste cenário, a etapa de configuração de esquemas e campos de destino não estará disponível. Para mais informações, consulte Data type mappings e Data Models.

2. Na parte inferior da página, expanda Advanced (opcional) para ajustar as configurações avançadas. A tabela abaixo descreve essas opções.

Configurar esquemas e campos das tabelas de destino

1. (Opcional) Após concluir as configurações anteriores, clique em Next: Configure Database and Table Fields para definir a Primary Key Column, a Distribution Key e o Engine das tabelas a serem sincronizadas na instância de destino.

   • Esta etapa só está disponível se Synchronization Types incluir Schema Synchronization na configuração dos objetos. Defina Definition Status como All para realizar modificações.

   • Em Primary Key Column, selecione várias colunas para formar uma chave primária composta. Além disso, escolha uma ou mais colunas de Primary Key Column para atuar como Distribution Key. Para Engine, a única opção disponível é unique.

Salvar configurações e executar pré-verificação

O DTS executa uma pré-verificação antes de iniciar a tarefa de sincronização. A tarefa só começa após a aprovação nessa etapa.

1. Salve a tarefa e inicie a pré-verificação.

   • Para visualizar os parâmetros usados na chamada de API desta configuração, passe o mouse sobre o botão Next: Save Task Settings and Precheck. Em seguida, clique em Preview OpenAPI parameters na mensagem exibida.

   • Se não precisar ver os parâmetros da API ou já tiver terminado, clique em Next: Save Task Settings and Precheck na parte inferior da página.

2. Trate o resultado da pré-verificação da seguinte forma:

   • Itens reprovados — Clique em View Details ao lado do item reprovado, corrija o problema conforme indicado e execute a pré-verificação novamente.

   • Alertas que não podem ser ignorados — Clique em View Details ao lado do item, corrija o problema e refaça a pré-verificação.

   • Alertas ignoráveis — Clique sequencialmente em View Alert Details, Confirm Ignore, OK e Run Pre-check Again para pular esses avisos e reiniciar a verificação. Pular alertas pode causar inconsistência de dados e riscos ao negócio.

3. Quando Precheck Pass Rate atingir 100%, clique em Next: Purchase.

Adquirir a instância e iniciar a tarefa

1. Na página Purchase Instance, escolha o método de faturamento e a classe da instância de sincronização. Consulte a tabela abaixo para detalhes.

   Categoria	Parâmetro	Descrição
   New Instance Class	Método de faturamento	Subscription: Pagamento antecipado na criação. Ideal para uso prolongado, sendo mais econômico que o pagamento conforme o uso, com descontos progressivos conforme o prazo. Pay-as-you-go: Cobrança horária. Adequado para uso temporário, permitindo liberação imediata para reduzir custos.
   	Configurações de grupo de recursos	Grupo de recursos ao qual a instância pertence. O padrão é default resource group. Mais informações em What is Resource Management.
   	Classe da instância de sincronização	O DTS oferece classes com diferentes níveis de desempenho que afetam a velocidade de sincronização. Escolha conforme seu cenário de negócio. Veja Specifications of data synchronization instances.
   	Duração da assinatura	No modelo Subscription, defina a duração e a quantidade. Opções mensais de 1 a 9 meses ou anuais de 1, 2, 3 ou 5 anos. Nota: Esta opção só aparece quando o método é Subscription.

2. Após configurar, leia e aceite os Data Transmission (Pay-As-You-Go) Terms of Service.

3. Clique em Buy and Start.

   A tarefa de sincronização será iniciada. Acompanhe o progresso na página Data Synchronization.