Configurer une source de données MySQL - - Centre de documentation Alibaba Cloud

Pour synchroniser des données de MySQL vers Hologres, configurez le réseau, la liste d'autorisation et les autorisations de la source de données afin de mettre en place l'environnement réseau et les droits de compte requis pour les tâches de synchronisation.

Prérequis

Avant de configurer la source de données, effectuez les préparatifs suivants :

Préparez les sources de données : vous devez disposer d'une source de données MySQL (source) et d'une source de données Hologres (destination).
Planifiez et préparez les ressources : achetez et configurez un groupe de ressources exclusif pour Data Integration. Pour plus d'informations, reportez-vous àPlanifier et configurer les ressources.
Évaluez et planifiez l'environnement réseau : avant d'intégrer les données, établissez une connexion réseau entre la source de données et le groupe de ressources exclusif pour Data Integration, selon vos besoins métier. Une fois la connexion établie, configurez les paramètres d'accès, tels que les vSwitches et la liste d'autorisation, en suivant les instructions de cette rubrique.
- Si la source de données et le groupe de ressources exclusif pour Data Integration se trouvent dans le même VPC et la même région, ils sont connectés par défaut.
- Si la source de données et le groupe de ressources exclusif pour Data Integration se trouvent dans des environnements réseau différents, connectez-les à l'aide d'une passerelle VPN ou d'une méthode similaire.
Vérifiez que votre version de base de données est MySQL 5.x ou 8.x. Exécutez l'instruction suivante pour vérifier la version.
```
select version();
```
Remarque
La synchronisation des données en temps réel depuis MySQL dans DataWorks utilise des abonnements en temps réel à MySQL. Cette fonctionnalité prend uniquement en charge les instances ApsaraDB RDS for MySQL exécutant MySQL 5.x ou 8.x. PolarDB-X 1.0 n'est pas pris en charge. Si votre base de données actuelle n'est pas une instance ApsaraDB RDS for MySQL exécutant la version 5.x ou 8.x, migrez vers une version prise en charge. Sinon, les tâches d'intégration des données échoueront.

Informations générales

Lorsque vous synchronisez des données d'une source vers une destination, assurez-vous qu'une connexion réseau est établie entre la source de données et le groupe de ressources exclusif pour Data Integration, et que les autorisations du compte ne restreignent pas l'accès.

Liste d'autorisation réseau

L'exemple suivant suppose que vous utilisez un seul VPC. Ajoutez le bloc CIDR du VPC hébergeant le groupe de ressources exclusif pour Data Integration à la liste d'autorisation afin de garantir l'accès du groupe de ressources à la source de données.
Autorisations du compte

Préparez un compte pour accéder à la source de données. Ce compte sert à effectuer des opérations de lecture et d'écriture lors de la synchronisation des données.
Autres exigences d'accès

Si la source de données est MySQL, activez le journal binaire. Le journal binaire enregistre toutes les modifications apportées aux structures des tables de la base de données (opérations CREATE et ALTER) ainsi qu'aux données des tables (opérations INSERT, UPDATE et DELETE). Utilisez le journal binaire pour afficher l'historique des modifications d'une base de données, effectuer des sauvegardes et restaurations incrémentielles, et mettre en œuvre la réplication primaire-réplica.
Le journal binaire existe sous les formats suivants :
- Statement : réplication basée sur les instructions. Le journal binaire stocke chaque instruction SQL utilisée pour modifier les données.
- Row : réplication basée sur les lignes. Le journal binaire ne stocke pas le contexte des instructions SQL, mais uniquement les lignes modifiées.
- Mixed : réplication en mode mixte, combinant les formats Statement et Row. Par défaut, le format Statement est utilisé pour les instructions générales, telles que les fonctions. Si une opération de réplication ne peut pas être effectuée au format Statement, le format Row est utilisé pour stocker le journal binaire. MySQL sélectionne automatiquement le format en fonction de chaque instruction SQL exécutée.

Limites

La synchronisation des données en temps réel depuis MySQL dans DataWorks utilise des abonnements en temps réel à MySQL. Cette fonctionnalité prend uniquement en charge les instances ApsaraDB RDS for MySQL exécutant MySQL 5.x ou 8.x. Ne configurez pas une instance PolarDB-X 1.0 en tant que source de données MySQL. Configurez-la directement en tant que source de données PolarDB-X 1.0. Pour plus d'informations, reportez-vous àConfigurer une source de données PolarDB-X 1.0.
XA ROLLBACK n'est pas pris en charge. Pour les données issues de transactions préparées par XA PREPARE, la synchronisation en temps réel écrit les données dans la destination. En cas d'exécution d'un XA ROLLBACK, la synchronisation en temps réel n'annule pas les données préparées. Pour gérer les scénarios XA ROLLBACK, supprimez manuellement la table affectée de la tâche de synchronisation en temps réel, rajoutez-la, puis effectuez une initialisation complète des données suivie d'une synchronisation incrémentielle.
Si vous ajoutez une instance MySQL appartenant à un autre compte Alibaba Cloud en tant que source de données, les tâches de synchronisation utilisant cette source ne peuvent s'exécuter que sur un groupe de ressources exclusif pour Data Integration. Vous ne pouvez pas utiliser un groupe de ressources partagé pour Data Integration pour accéder à cette source de données.

Procédure

Configurez une liste d'autorisation.

Ajoutez le bloc CIDR du VPC hébergeant votre groupe de ressources exclusif pour Data Integration à la liste d'autorisation de MySQL.
1. Consultez et notez les informations VPC du groupe de ressources exclusif pour Data Integration.
  1. Connectez-vous à la console DataWorks.
  2. Dans le volet de navigation de gauche, cliquez sur Resource Groups.
  3. Sous l'onglet Exclusive Resource Groups, localisez le groupe de ressources cible et cliquez sur View information dans la colonne Actions.
  4. Dans la boîte de dialogue qui s'affiche, copiez l'elastic IP address (EIP) et le CIDR block dans la liste d'autorisation de la base de données.
  5. Sous l'onglet Exclusive Resource Groups, localisez le groupe de ressources cible et cliquez sur Network settings dans la colonne Actions.
  6. Sous l'onglet VPC binding, consultez le CIDR block of the vSwitch et ajoutez-le à la liste d'autorisation de la base de données.
2. Ajoutez l'adresse IP élastique (EIP) et le bloc CIDR du groupe de ressources exclusif pour Data Integration, précédemment notés, à la liste d'autorisation du cluster MySQL.
Créez un compte et accordez-lui des autorisations.

Préparez un compte de connexion à la base de données. Ce compte doit disposer des autorisations SELECT, REPLICATION SLAVE et REPLICATION CLIENT.
1. Créez un compte.
  
  Pour plus d'informations, reportez-vous àCréer un compte MySQL.
2. Accordez des autorisations.
  Exécutez les instructions suivantes pour accorder des autorisations au compte, ou accordez-lui l'autorisation SUPER. Remplacez 'sync_account' par le compte que vous avez créé.
```
-- Create a synchronization account, set a password for the account, and allow the account to log on to the database from any host. The percentage sign (%) specifies any host.
CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; 
-- Grant the SELECT, REPLICATION SLAVE, and REPLICATION CLIENT permissions on the database to the synchronization account.
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'sync_account'@'%'; 
```
  La syntaxe . indique que le compte de synchronisation reçoit les autorisations spécifiées sur toutes les tables de toutes les bases de données. Vous pouvez également accorder les autorisations sur une table spécifique d'une base de données donnée. Par exemple, pour accorder les autorisations sur la table user de la base de données test au compte de synchronisation, exécutez l'instruction GRANT SELECT, REPLICATION CLIENT ON test.user TO 'sync_account'@'%';.
  
  Remarque
  L'autorisation REPLICATION SLAVE est une autorisation globale et ne peut pas être accordée sur une table spécifique d'une base de données donnée.
Activez le journal binaire pour MySQL.
Vérifiez si le journal binaire est activé et interrogez son format.
- Exécutez l'instruction suivante pour vérifier si le journal binaire est activé.
```
show variables like "log_bin";
```
  Si ON est renvoyé, le journal binaire est activé.
- Si vous utilisez une base de données de secours pour synchroniser les données, exécutez également l'instruction suivante pour vérifier si le journal binaire est activé.
```
show variables like "log_slave_updates";
```
  Si ON est renvoyé, le journal binaire est activé pour la base de données de secours.
Si un résultat différent est renvoyé, consultez la documentation officielle MySQL pour activer le journal binaire.
Exécutez l'instruction suivante pour interroger le format du journal binaire.
```
show variables like "binlog_format";
```
Le tableau suivant décrit les résultats renvoyés.
- Si ROW est renvoyé, le format du journal binaire est ROW.
- Si STATEMENT est renvoyé, le format du journal binaire est STATEMENT.
- Si MIXED est renvoyé, le format du journal binaire est MIXED.

Étapes suivantes

Une fois la source de données configurée, une connexion réseau est établie entre la source, l'instance de ressource et la destination, et les restrictions d'accès sont levées. Vous pouvez alors ajouter les sources de données source et destination à DataWorks, ce qui vous permet de les associer lors de la création d'une solution de synchronisation des données.

Pour plus d'informations sur l'ajout d'une source de données, reportez-vous à Ajouter une source de données.