Configure uma fonte de dados MySQL - : Central de Documentação do Alibaba Cloud

Para sincronizar dados em tempo real de uma única tabela MySQL, defina as configurações de rede e de lista de permissões da fonte de dados antes de executar um nó de sincronização. Este tópico descreve como preparar o ambiente de rede e as permissões de conta para a sincronização de dados.

Pré-requisitos

Antes de configurar a fonte de dados, certifique-se de ter concluído os seguintes preparativos:

Fontes de dados: Um banco de dados MySQL de origem e uma fonte de dados de destino já devem estar provisionados.A fonte de dados de destino pode ser MaxCompute, Hologres, Elasticsearch, DataHub ou Kafka.
Um grupo de recursos exclusivo para Data Integration é obrigatório. Adquira e configure um conforme necessário. Para mais informações, consulte Planejamento e configuração de recursos.
Avalie e planeje o ambiente de rede: Antes de integrar dados, estabeleça conectividade de rede entre suas fontes de dados e o grupo de recursos exclusivo para Data Integration. Este tópico orienta a configuração de definições de acesso específicas, como vSwitches e listas de permissões.
- Se a fonte de dados e o grupo de recursos exclusivo para Data Integration estiverem na mesma região e na mesma Virtual Private Cloud (VPC), eles estarão conectados por padrão.
- Caso a fonte de dados e o grupo de recursos exclusivo para Data Integration estejam em ambientes de rede diferentes, conecte-os por meio de um gateway VPN ou outros métodos.

Informações básicas

Para que a sincronização de dados tenha êxito, o grupo de recursos exclusivo para Data Integration precisa ter conectividade de rede com as fontes de dados, sem restrições de acesso relacionadas a permissões.

Por exemplo, ao utilizar o mesmo ambiente VPC, adicione o bloco CIDR da VPC onde reside o grupo de recursos exclusivo para Data Integration à lista de permissões. Isso garante que o grupo de recursos possa acessar a fonte de dados.
Crie uma conta dedicada para acessar a fonte de dados. Essa conta executará operações de extração e gravação de dados durante a integração.
Se a fonte de dados de origem for MySQL, ative o log binário. O log binário registra todas as alterações nas estruturas das tabelas do banco de dados (como operações CREATE e ALTER) e modificações de dados (como operações INSERT, UPDATE e DELETE). Ele permite visualizar o histórico de alterações do banco de dados, executar backups incrementais e recuperação, além de configurar replicação para um banco de dados primário-secundário.
O log binário possui os seguintes formatos:
- Statement: Replicação baseada em instruções. O log binário registra cada instrução SQL que modifica dados.
- Row: Replicação baseada em linhas. O log binário não armazena o contexto da instrução SQL; ele registra apenas as linhas modificadas.
- Mixed: Replicação em modo misto. Este formato combina os modos Statement e Row. Na maioria dos casos, as instruções são registradas no formato Statement. Se uma operação não puder ser replicada nesse formato, o sistema utiliza o formato Row. O MySQL determina automaticamente qual formato usar para cada instrução SQL.

Limites

A sincronização em tempo real de dados MySQL no DataWorks baseia-se na assinatura em tempo real do MySQL. Esse recurso suporta apenas fontes de dados MySQL 5.x ou 8.x hospedadas no ApsaraDB RDS for MySQL. Não configure uma instância PolarDB-X como fonte de dados MySQL. Para sincronizar dados de uma instância PolarDB-X, consulte Configurar uma fonte de dados PolarDB-X para configurá-la diretamente como uma fonte de dados PolarDB-X.
XA ROLLBACK não é suportado. Para dados de transação no estado XA PREPARE, a sincronização em tempo real grava os dados no destino. Se um XA ROLLBACK for executado, a operação de reversão não será sincronizada. Para resolver cenários de XA ROLLBACK, remova manualmente a tabela afetada do nó de sincronização em tempo real, adicione-a novamente e execute uma nova inicialização completa de dados seguida de sincronização incremental.
Para usar uma fonte de dados MySQL de outra conta Alibaba Cloud, execute o nó de sincronização de dados em um grupo de recursos exclusivo para Data Integration. O grupo de recursos compartilhado para Data Integration não consegue acessar dados nessa fonte.

Procedimento

Configure a lista de permissões.

Adicione o bloco CIDR da VPC do grupo de recursos exclusivo para Data Integration à lista de permissões do seu banco de dados MySQL.
1. Visualize e anote as informações de rede do grupo de recursos exclusivo.
  1. Faça login no console do DataWorks.
  2. No painel de navegação à esquerda, clique em Resource Groups.
  3. Na aba Exclusive Resource Group, clique em View Information do grupo de recursos de integração de dados desejado.
  4. Copie o EIP e o Network segment para adicionar à lista de permissões do seu banco de dados.
  5. Ainda na aba Exclusive Resource Group, clique em Network Settings do grupo de recursos de integração de dados alvo.
  6. Na aba VPC Binding, visualize o vSwitch CIDR Block e adicione-o à lista de permissões do banco de dados.
2. Adicione o endereço IP elástico (EIP) e o bloco CIDR anotados do grupo de recursos exclusivo para Data Integration à lista de permissões do seu cluster MySQL.
Crie uma conta e conceda permissões.

Crie uma conta de login no banco de dados para sincronização de dados. Essa conta deve ter as permissões

SELECT, REPLICATION SLAVE, REPLICATION CLIENT

.
1. Crie uma conta.
  
  Para mais informações, consulte
  
  Criar uma conta para ApsaraDB RDS for MySQL
  
  .
2. Conceda permissões.
  Execute o comando abaixo para conceder as permissões necessárias à conta. Alternativamente, conceda a permissão
  
  SUPER
  
  à conta. Ao executar o comando, substitua
  
  'sync_account'
  
  pela conta criada.
```
-- Create a synchronization account and set a password to allow login from any host. The percentage sign (%) specifies any host.
CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; 
-- Grant the SELECT, REPLICATION SLAVE, and REPLICATION CLIENT permissions to the synchronization account.
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'sync_account'@'%';
```
  A sintaxe
  
  .
  
  concede à conta essas permissões em todas as tabelas de todos os bancos de dados. Também é possível conceder permissões em tabelas específicas dentro de um banco de dados específico. Por exemplo, para conceder permissões na tabela
  
  user
  
  no banco de dados
  
  test
  
  , execute a seguinte instrução:
  
  GRANT SELECT, REPLICATION CLIENT ON test.user TO 'sync_account'@'%';
  
  .
  
  Nota
  A permissão
  
  REPLICATION SLAVE
  
  é global e não pode ser concedida apenas para uma tabela específica em um banco de dados.
Ative o log binário do MySQL.
Verifique se o log binário está ativado e consulte seu formato:
- Execute o comando a seguir para verificar se o log binário está ativado.
```
show variables like "log_bin";
```
  Se o comando retornar ON, o log binário está ativado.
- Caso utilize um banco de dados secundário para sincronizar dados, execute o comando abaixo para verificar se o log binário dele está ativado.
```
show variables like "log_slave_updates";
```
  Se o comando retornar ON, o log binário está ativado para o banco de dados secundário.
Se o log binário não estiver ativado, ative-o seguindo as instruções na

documentação oficial do MySQL

.
Execute o comando a seguir para verificar o formato do log binário.
```
show variables like "binlog_format";
```
O valor retornado indica o formato:
- Se o retorno for ROW, o formato do log binário éROW.
- Se o retorno for STATEMENT, o formato do log binário éSTATEMENT.
- Se o retorno for MIXED, o formato do log binário éMIXED.

Próximas etapas

Após concluir a configuração, a conectividade de rede estará estabelecida entre as fontes de dados de origem e destino e o grupo de recursos, sem restrições de acesso. Em seguida, adicione as fontes de dados de origem e destino à lista de fontes de dados no DataWorks para simplificar a associação ao criar um nó de sincronização de dados. Para mais informações sobre como adicionar uma fonte de dados, consulte Adicionar fontes de dados.