ApsaraDB for SelectDB:Migrar dados do MySQL

Procedimento

1. Faça login no console do ApsaraDB for SelectDB.

2. No canto superior esquerdo, selecione a região onde sua instância está localizada.

3. Na página Instances, clique em Instance ID desejado para acessar a página Instance Details.

4. No painel de navegação à esquerda, clique em Data Pipeline e selecione a aba Data Synchronization.

   Nota

   A sincronização de dados do DTS combina a migração de dados históricos para transferências únicas com a sincronização incremental para atualizações em tempo real.

5. Clique em Create Synchronization Task e configure os bancos de dados de origem e destino.

Categoria	Configuração	Descrição
Informações da Tarefa	Task Name	O DTS gera automaticamente um nome para a tarefa. Recomendamos especificar um nome descritivo para facilitar a identificação. O nome não precisa ser único.
Banco de Dados de Origem	Database Type	Selecione MySQL.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde a instância de origem ApsaraDB RDS for MySQL está localizada.
	RDS Instance ID	Selecione o ID da instância de origem ApsaraDB RDS for MySQL. Exemplo: rm-2z3m****.
	Database Account	Insira a conta do banco de dados da instância de origem ApsaraDB RDS for MySQL. Para as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.
	Encryption	Selecione Non-encrypted ou SSL-encrypted conforme necessário. Se você selecionar SSL-encrypted, será necessário ativar a criptografia SSL para a instância RDS for MySQL antecipadamente. Para mais informações, consulte Use a cloud certificate to quickly enable SSL encryption.
Banco de Dados de Destino	Database Type	Selecione SelectDB.
	Access Method	Selecione Alibaba Cloud Instance.
	Instance Region	Selecione a região onde a instância SelectDB de destino reside.
	Instance ID	Selecione o ID da instância SelectDB de destino.
	Database Account	Insira a conta do banco de dados da instância SelectDB de destino. Para as permissões necessárias, consulte Permissions required for database accounts.
	Database Password	Insira a senha correspondente à conta do banco de dados.

6. Após concluir a configuração, clique em Test Connection and Proceed na parte inferior da página.

7. Configure os objetos da tarefa e as configurações avançadas.

Configuração	Descrição
Synchronization Types	A opção Incremental Data Synchronization vem selecionada. Por padrão, também é necessário selecionar Schema Synchronization e Full Data Synchronization. Após a conclusão da pré-verificação, o DTS executa uma sincronização completa dos dados dos objetos selecionados da instância de origem para o cluster de destino. Isso serve como linha de base para a subsequente sincronização incremental de dados. Importante Os tipos de dados são convertidos durante a sincronização do MySQL para o SelectDB. Se você não selecionar Schema Synchronization, crie previamente uma tabela com o schema correspondente usando o modelo Unique Key na instância SelectDB de destino. Para mais informações, consulte Data type mappings e Data model.
Source Objects	Na caixa Source Objects, clique nos objetos que deseja sincronizar e, em seguida, clique em para movê-los para a caixa Selected Objects. É possível selecionar objetos no nível de banco de dados, tabela ou coluna. Importante Se você selecionar objetos no nível de banco de dados, o DTS não sincronizará dados de tabelas criadas após o início da tarefa. Caso planeje adicionar tabelas durante a sincronização, selecione os objetos no nível de tabela. Posteriormente, é possível alterar a seleção usando Modify Synchronized Objects. Ao selecionar objetos no nível de tabela e precisar editá-los, como mapear nomes de tabelas ou colunas, uma única tarefa de sincronização suporta no máximo 1.000 tabelas. Se esse limite for excedido, um erro será reportado ao enviar a tarefa. Nesse caso, divida as tabelas a serem sincronizadas em lotes e configure múltiplas tarefas ou configure uma tarefa de sincronização no nível de banco de dados.
Selected Objects	Para renomear um único objeto de sincronização na instância de destino, clique com o botão direito no objeto dentro da caixa Selected Objects. Para mais informações sobre como renomear objetos, consulte Map a single database, table, or column. Para alterar em lote os nomes de vários objetos de sincronização na instância de destino, clique em Batch Edit no canto superior direito da caixa Selected Objects. Para mais informações, consulte Map databases, tables, and columns in a batch. Nota Para selecionar as operações SQL a serem sincronizadas no nível de banco de dados ou tabela, clique com o botão direito no objeto a ser sincronizado na caixa Selected Objects e selecione as operações SQL desejadas na caixa de diálogo exibida. Para uma lista de operações suportadas, consulte SQL operations that support incremental synchronization. Para filtrar dados usando uma cláusula WHERE, clique com o botão direito na tabela a ser sincronizada na caixa Selected Objects e defina a condição de filtro na caixa de diálogo exibida. Para mais informações, consulte Set filter conditions. Se você usar o recurso de mapeamento de nomes de objetos, outros objetos dependentes do objeto remapeado podem falhar na sincronização.

8. Opcional: Após concluir as configurações anteriores, clique em Next: Configure Database and Table Fields para definir a Primary Key Column, a Distribution Key e o Engine das tabelas de destino.

Nota

• Esta etapa está disponível apenas quando você seleciona Synchronization Types como Schema Synchronization durante a configuração dos objetos da tarefa. Defina o Definition Status como All e modifique as configurações.

• É possível selecionar várias colunas para formar uma Primary Key Column composta. Selecione obrigatoriamente uma ou mais colunas da Primary Key Column como Distribution Key. Para o Engine, apenas Unique é suportado.

9. Salve a tarefa e execute a pré-verificação. Quando a Precheck Success Rate atingir 100%, clique em Next: Purchase.

10. Na página Purchase, selecione o método de faturamento e a especificação de link para a instância de sincronização de dados. Leia e selecione os Data Transmission Service (Pay-As-You-Go) Service Terms. Clique em Purchase and Start para iniciar a tarefa de sincronização. Visualize o progresso da tarefa na página de sincronização de dados.

Adicionar fontes de dados

Ao desenvolver uma tarefa de sincronização de dados, crie uma fonte de dados MySQL e uma fonte de dados SelectDB no DataWorks.

1. Crie uma fonte de dados MySQL. Para mais informações, consulte MySQL data source.

2. Crie uma fonte de dados SelectDB. Para mais informações, consulte Data source management. A tabela a seguir descreve alguns parâmetros de configuração da fonte de dados SelectDB.

   Parâmetro	Descrição
   Data Source Name	Nome da fonte de dados.
   MySQL Connection URL	Insira a string de conexão JDBC jdbc:mysql://<ip>:<port>/<dbname>. Obtenha o VPC Endpoint (ou Public Endpoint) e a MySQL Port na página Instance Details > Network Information no console do ApsaraDB for SelectDB. Exemplo: jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db
   HTTP Connection URL	Insira o endpoint do protocolo HTTP no formato <ip>:<port>. Obtenha o VPC Endpoint (ou Public Endpoint) e a HTTP Port na página Instance Details > Network Information no console do ApsaraDB for SelectDB. Exemplo: selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080
   Username	Insira o nome de usuário da instância ApsaraDB for SelectDB.
   Password	Insira a senha do usuário especificado da instância ApsaraDB for SelectDB.

Configurar a sincronização de dados

Para configurar uma tarefa de migração de dados, consulte os seguintes documentos:

• Synchronize all data from a MySQL database to SelectDB in real time.

• Configure a batch synchronization task by using the codeless UI.

• Configure a batch synchronization task by using the code editor.

Migrar dados com Flink CDC

O Flink oferece três métodos para migrar dados do MySQL para o SelectDB: Flink SQL, Flink CDC e DataStream. O Flink CDC oferece suporte à migração de dados históricos, sincronização incremental de dados, migração de bancos de dados e tabelas, além de sincronização de DDL. O exemplo a seguir usa o Flink CDC para sincronizar dados do MySQL para o ApsaraDB for SelectDB. Para mais informações, consulte Use Flink to import data.

<FLINK_HOME>/bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
    lib/flink-doris-connector-1.16-1.5.2.jar \
    mysql-sync-database \
    --database test_db \
    --including-tables "tbl1|test.*" \
    --mysql-conf hostname=127.0.0.1 \
    --mysql-conf username=root \
    --mysql-conf password=123456 \
    --mysql-conf database-name=mysql_db \
    --sink-conf fenodes=selectdb-cn-****.selectdbfe.rds.aliyuncs.com:8080 \
    --sink-conf username=admin \
    --sink-conf password=****

Migrar dados com um catalog