Configurar uma fonte de dados MySQL - : Central de Documentação do Alibaba Cloud

Ao sincronizar dados do MySQL para o Hologres, configure a rede, a lista de permissões e as permissões da fonte de dados. Essas configurações estabelecem o ambiente de rede e as permissões de conta necessários para as tarefas de sincronização.

Pré-requisitos

Antes de configurar a fonte de dados, conclua os seguintes preparativos:

Preparar fontes de dados: adquira a fonte de dados MySQL de origem e a fonte de dados Hologres de destino.
Planejar e preparar recursos: adquira e configure um grupo de recursos exclusivo para Data Integration. Para mais informações, consulte Planejar e configurar recursos.
Avaliar e planejar o ambiente de rede: antes de integrar dados, estabeleça uma conexão de rede entre a fonte de dados e o grupo de recursos exclusivo para Data Integration conforme seus requisitos de negócios. Após estabelecer a conexão, consulte este tópico para definir as configurações de acesso, como vSwitches e lista de permissões.
- Se a fonte de dados e o grupo de recursos exclusivo para Data Integration estiverem na mesma VPC e região, a conexão será estabelecida automaticamente.
- Caso a fonte de dados e o grupo de recursos exclusivo para Data Integration estejam em ambientes de rede diferentes, conecte-os por meio de métodos como um gateway VPN.
Verifique se a versão do banco de dados é MySQL 5.x ou 8.x. Execute a instrução a seguir para verificar a versão.
```
select version();
```
Nota
A sincronização de dados em tempo real do MySQL no DataWorks utiliza assinaturas em tempo real do MySQL. Esse recurso oferece suporte apenas a instâncias do ApsaraDB RDS for MySQL que executam MySQL

5.x

ou

8.x

. O PolarDB-X 1.0 não é compatível. Se o banco de dados atual não for uma instância do ApsaraDB RDS for MySQL executando a versão

5.x

ou

8.x

5.x

8.x

, migre para uma versão compatível. Caso contrário, as tarefas de integração de dados falharão.

Informações básicas

Ao sincronizar dados de uma fonte de origem para uma fonte de destino, garanta o estabelecimento de uma conexão de rede entre a fonte de dados e o grupo de recursos exclusivo para Data Integration e assegure que as permissões da conta não restrinjam o acesso.

Lista de permissões de rede

O exemplo a seguir considera o uso de uma única VPC. Adicione o bloco CIDR da VPC onde o grupo de recursos exclusivo para Data Integration está localizado à lista de permissões para garantir que o grupo de recursos possa acessar a fonte de dados.
Permissões de conta

Prepare uma conta para acessar a fonte de dados. Essa conta executa operações de leitura e gravação durante a sincronização de dados.
Outros requisitos de acesso

Quando a fonte de dados de origem for MySQL, ative o log binário. O log binário registra todas as alterações nas estruturas das tabelas do banco de dados (como operações CREATE e ALTER) e nos dados das tabelas (incluindo INSERT, UPDATE e DELETE). Use o log binário para visualizar o histórico de alterações do banco de dados, executar backups e restaurações incrementais e implementar replicação primária-réplica.
O log binário possui os seguintes formatos:
- Statement: replicação baseada em instruções. O log binário armazena cada instrução SQL usada para modificar dados.
- Row: replicação baseada em linhas. O log binário não armazena o contexto das instruções SQL; registra apenas as linhas modificadas.
- Mixed: replicação em modo misto, combinando os formatos Statement e Row. Por padrão, o formato Statement é usado para instruções gerais, como funções. Se uma operação de replicação não puder ser concluída no formato Statement, o formato Row será utilizado para armazenar o log binário. O MySQL seleciona automaticamente o formato com base em cada instrução SQL executada.

Limites

A sincronização de dados em tempo real do MySQL no DataWorks utiliza assinaturas em tempo real do MySQL. Esse recurso oferece suporte apenas a instâncias do ApsaraDB RDS for MySQL que executam MySQL 5.x ou 8.x. Não configure uma instância do PolarDB-X 1.0 como fonte de dados MySQL. Configure-a diretamente como uma fonte de dados PolarDB-X 1.0. Para mais informações, consulte Configurar uma fonte de dados PolarDB-X 1.0.
XA ROLLBACK não é compatível. Para dados em transações preparadas por XA PREPARE, a sincronização em tempo real grava os dados no destino. Se houver execução de XA ROLLBACK, a sincronização em tempo real não reverterá os dados preparados. Para lidar com cenários de XA ROLLBACK, remova manualmente a tabela afetada da tarefa de sincronização em tempo real, adicione-a novamente e execute uma inicialização completa dos dados seguida de uma sincronização incremental.
Ao adicionar uma instância MySQL pertencente a outra conta Alibaba Cloud como fonte de dados, as tarefas de sincronização que utilizam essa fonte só podem ser executadas em um grupo de recursos exclusivo para Data Integration. Não é possível usar um grupo de recursos compartilhado para Data Integration para acessar essa fonte de dados.

Procedimento

Configure a lista de permissões.

Adicione o bloco CIDR da VPC onde seu grupo de recursos exclusivo para Data Integration está localizado à lista de permissões do MySQL.
1. Visualize e registre as informações da VPC do grupo de recursos exclusivo para Data Integration.
  1. Faça login no console do DataWorks.
  2. No painel de navegação à esquerda, clique em Resource Groups.
  3. Na aba Exclusive Resource Groups, localize o grupo de recursos desejado e clique em View information na coluna Actions.
  4. Na caixa de diálogo exibida, copie o elastic IP address (EIP) e o CIDR block para a lista de permissões do banco de dados.
  5. Na aba Exclusive Resource Groups, localize o grupo de recursos desejado e clique em Network settings na coluna Actions.
  6. Na aba VPC binding, visualize o CIDR block of the vSwitch e adicione-o à lista de permissões do banco de dados.
2. Adicione o elastic IP address (EIP) e o bloco CIDR registrados do grupo de recursos exclusivo para Data Integration à lista de permissões do cluster MySQL.
Crie uma conta e conceda permissões a ela.

Prepare uma conta de login no banco de dados. Essa conta deve ter as permissões

SELECT, REPLICATION SLAVE e REPLICATION CLIENT

.
1. Crie uma conta.
  
  Para mais informações, consulte
  
  Criar uma conta MySQL
  
  .
2. Conceda permissões.
  Execute as instruções a seguir para conceder permissões à conta ou conceda a permissão
  
  SUPER
  
  à conta. Ao executar as instruções abaixo, substitua
  
  'sync_account'
  
  pela conta criada.
```
-- Create a synchronization account, set a password for the account, and allow the account to log on to the database from any host. The percentage sign (%) specifies any host.
CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; 
-- Grant the SELECT, REPLICATION SLAVE, and REPLICATION CLIENT permissions on the database to the synchronization account.
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'sync_account'@'%'; 
```
  A sintaxe
  
  .
  
  indica que a conta de sincronização recebe as permissões especificadas em todas as tabelas de todos os bancos de dados. Também é possível conceder permissões em uma tabela específica de um banco de dados específico. Por exemplo, para conceder permissões na tabela
  
  user
  
  do banco de dados
  
  test
  
  à conta de sincronização, execute a instrução
  
  GRANT SELECT, REPLICATION CLIENT ON test.user TO 'sync_account'@'%';
  
  .
  
  Nota
  A permissão
  
  REPLICATION SLAVE
  
  é global e não pode ser concedida em uma tabela específica de um banco de dados.
Ative o log binário para o MySQL.
Verifique se o log binário está ativado e consulte o formato do log binário.
- Execute a instrução a seguir para verificar se o log binário está ativado.
```
show variables like "log_bin";
```
  Se o retorno for ON, o log binário está ativado.
- Caso utilize um banco de dados standby para sincronizar dados, execute também a instrução a seguir para verificar se o log binário está ativado.
```
show variables like "log_slave_updates";
```
  Se o retorno for ON, o log binário está ativado para o banco de dados standby.
Se um resultado diferente for retornado, consulte a

documentação oficial do MySQL

para ativar o log binário.
Execute a instrução a seguir para consultar o formato do log binário.
```
show variables like "binlog_format";
```
A tabela a seguir descreve os resultados retornados.
- Se o retorno for ROW, o formato do log binário éROW.
- Se o retorno for STATEMENT, o formato do log binário éSTATEMENT.
- Se o retorno for MIXED, o formato do log binário éMIXED.

Próximas etapas

Após configurar a fonte de dados, a conexão de rede entre a fonte de dados de origem, a instância de recursos e a fonte de dados de destino estará estabelecida, e as restrições de acesso removidas. Em seguida, adicione as fontes de dados de origem e de destino ao DataWorks para associá-las durante a criação de uma solução de sincronização de dados.

Para mais informações sobre como adicionar uma fonte de dados, consulte Adicionar uma fonte de dados.