Configuration d'une source de données MySQL - - Centre de documentation Alibaba Cloud

Pour synchroniser en temps réel les données d'une seule table MySQL, configurez les paramètres réseau et la liste d'autorisation de la source de données avant d'exécuter un nœud de synchronisation. Cette rubrique explique comment préparer l'environnement réseau et les autorisations du compte pour la synchronisation des données.

Prérequis

Avant de configurer la source de données, assurez-vous d'avoir réalisé les préparatifs suivants :

Sources de données : Une base de données MySQL source et une destination sont provisionnées.La destination peut être MaxCompute, Hologres, Elasticsearch, DataHub ou Kafka.
Un groupe de ressources exclusif pour Data Integration est nécessaire. Achetez et configurez-en un selon vos besoins. Pour plus d'informations, consultez Planification et configuration des ressources.
Évaluez et planifiez l'environnement réseau : Avant d'intégrer les données, établissez une connectivité réseau entre vos sources de données et le groupe de ressources exclusif pour Data Integration. Cette rubrique vous guide dans la configuration des paramètres d'accès spécifiques, tels que les vSwitches et les listes d'autorisation.
- Si la source de données et le groupe de ressources exclusif pour Data Integration se trouvent dans la même région et le même VPC (Virtual Private Cloud), ils sont connectés par défaut.
- Si la source de données et le groupe de ressources exclusif pour Data Integration se trouvent dans des environnements réseau différents, connectez-les à l'aide d'une passerelle VPN ou d'autres méthodes.

Informations générales

Pour réussir la synchronisation des données, le groupe de ressources exclusif pour Data Integration doit disposer d'une connectivité réseau vers les sources de données, sans restriction d'accès liée aux autorisations.

Par exemple, si vous utilisez le même environnement VPC, ajoutez le bloc CIDR du VPC hébergeant le groupe de ressources exclusif pour Data Integration à la liste d'autorisation. Cela garantit l'accès du groupe de ressources à la source de données.
Créez un compte dédié pour accéder à la source de données. Ce compte sert à extraire et écrire les données lors de l'intégration.
Si la source de données est MySQL, activez le journal binaire. Le journal binaire enregistre toutes les modifications apportées aux structures des tables de la base de données (telles que les opérations CREATE et ALTER) ainsi que les modifications de données (telles que les opérations INSERT, UPDATE et DELETE). Le journal binaire permet de consulter l'historique des modifications de la base de données, d'effectuer des sauvegardes incrémentielles et des restaurations, et de configurer la réplication pour une base de données primaire-secondaire.
Le journal binaire existe sous les formats suivants :
- Statement : Réplication basée sur les instructions. Le journal binaire enregistre chaque instruction SQL qui modifie les données.
- Row : Réplication basée sur les lignes. Le journal binaire ne stocke pas le contexte de l'instruction SQL, mais enregistre uniquement les lignes modifiées.
- Mixed : Réplication en mode mixte. Ce mode combine les formats Statement et Row. Dans la plupart des cas, les instructions sont journalisées au format Statement. Si une opération ne peut pas être répliquée au format Statement, le format Row est utilisé. MySQL détermine automatiquement le format à utiliser pour chaque instruction SQL.

Limites

La synchronisation en temps réel des données MySQL dans DataWorks repose sur l'abonnement en temps réel à MySQL. Cette fonctionnalité prend uniquement en charge les sources de données MySQL 5.x ou 8.x hébergées sur ApsaraDB RDS for MySQL. Ne configurez pas une instance PolarDB-X comme source de données MySQL. Pour synchroniser des données depuis une instance PolarDB-X, consultez Configuration d'une source de données PolarDB-X pour la configurer directement en tant que source de données PolarDB-X.
XA ROLLBACK n'est pas pris en charge. Pour les données de transaction à l'état XA PREPARE, la synchronisation en temps réel écrit les données dans la destination. Si un XA ROLLBACK est exécuté, l'opération de rollback n'est pas synchronisée. Pour résoudre les scénarios XA ROLLBACK, supprimez manuellement la table concernée du nœud de synchronisation en temps réel, rajoutez-la, puis effectuez une nouvelle initialisation complète des données et une synchronisation incrémentielle des données.
Pour utiliser une source de données MySQL appartenant à un autre compte Alibaba Cloud, exécutez le nœud de synchronisation de données dans un groupe de ressources exclusif pour Data Integration. Le groupe de ressources partagé pour Data Integration ne peut pas accéder aux données de cette source.

Procédure

Configurez une liste d'autorisation.

Ajoutez le bloc CIDR du VPC du groupe de ressources exclusif pour Data Integration à la liste d'autorisation de votre base de données MySQL.
1. Consultez et notez les informations réseau du groupe de ressources exclusif.
  1. Connectez-vous à la console DataWorks.
  2. Dans le volet de navigation de gauche, cliquez sur Resource Groups.
  3. Sous l'onglet Exclusive Resource Group, cliquez sur View Information pour le groupe de ressources d'intégration de données cible.
  4. Copiez l'EIP et le Network segment dans la liste d'autorisation de votre base de données.
  5. Sous l'onglet Exclusive Resource Group, cliquez sur Network Settings pour le groupe de ressources d'intégration de données cible.
  6. Sous l'onglet VPC Binding, consultez le vSwitch CIDR Block et ajoutez-le à la liste d'autorisation de la base de données.
2. Ajoutez l'adresse IP élastique (EIP) enregistrée et le bloc CIDR du groupe de ressources exclusif pour Data Integration à la liste d'autorisation de votre cluster MySQL.
Créez un compte et accordez des autorisations.

Créez un compte de connexion à la base de données pour la synchronisation des données. Ce compte doit disposer des autorisations

SELECT, REPLICATION SLAVE, REPLICATION CLIENT

.
1. Créez un compte.
  
  Pour plus d'informations, consultez
  
  Création d'un compte pour ApsaraDB RDS for MySQL
  
  .
2. Accordez des autorisations.
  Exécutez la commande suivante pour accorder les autorisations requises au compte. Vous pouvez également accorder l'autorisation
  
  SUPER
  
  au compte. Lors de l'exécution de la commande, remplacez
  
  'sync_account'
  
  par le compte que vous avez créé.
```
-- Create a synchronization account and set a password to allow login from any host. The percentage sign (%) specifies any host.
CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; 
-- Grant the SELECT, REPLICATION SLAVE, and REPLICATION CLIENT permissions to the synchronization account.
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'sync_account'@'%';
```
  La syntaxe
  
  .
  
  accorde ces autorisations au compte sur toutes les tables de toutes les bases de données. Vous pouvez également accorder des autorisations sur des tables spécifiques dans une base de données spécifique. Par exemple, pour accorder des autorisations sur la table
  
  user
  
  dans la base de données
  
  test
  
  , exécutez l'instruction suivante :
  
  GRANT SELECT, REPLICATION CLIENT ON test.user TO 'sync_account'@'%';
  
  .
  
  Remarque
  L'autorisation
  
  REPLICATION SLAVE
  
  est une autorisation globale et ne peut pas être accordée sur une table spécifique dans une base de données spécifique.
Activez le journal binaire MySQL.
Vérifiez si le journal binaire est activé et interrogez son format :
- Exécutez la commande suivante pour vérifier si le journal binaire est activé.
```
show variables like "log_bin";
```
  Si la commande renvoie ON, le journal binaire est activé.
- Si vous utilisez une base de données secondaire pour synchroniser les données, exécutez la commande suivante pour vérifier si son journal binaire est activé.
```
show variables like "log_slave_updates";
```
  Si la commande renvoie ON, le journal binaire est activé pour la base de données secondaire.
Si le journal binaire n'est pas activé, activez-le en suivant les instructions de la

documentation officielle MySQL

.
Exécutez la commande suivante pour vérifier le format du journal binaire.
```
show variables like "binlog_format";
```
La valeur renvoyée indique le format :
- Si ROW est renvoyé, le format du journal binaire est ROW.
- Si STATEMENT est renvoyé, le format du journal binaire est STATEMENT.
- Si MIXED est renvoyé, le format du journal binaire est MIXED.

Étapes suivantes

Une fois la configuration terminée, la connectivité réseau est établie entre les sources de données source et destination et le groupe de ressources, sans restrictions d'accès. Ajoutez ensuite les sources de données source et destination à la liste des sources de données dans DataWorks, ce qui simplifie leur association lors de la création d'un nœud de synchronisation de données. Pour plus d'informations sur l'ajout d'une source de données, consultez Ajout de sources de données.