Data Transmission Service:Que faire en cas de perte de données dans la base de données de destination suite à des opérations DDL en ligne effectuées lors d'une tâche de fusion de tables ?

Fonctionnement

Une tâche de fusion de tables consolide les tables provenant de plusieurs bases de données sources et synchronise ou migre les données vers une seule table de destination.

Par exemple, si vous configurez une tâche pour fusionner les tables de deux bases de données ApsaraDB RDS for MySQL (Base de données 1 et Base de données 2) dans la base de données de destination, DTS mappe les données comme suit :

• Table A1 (Base de données 1) → Table A (destination)

• Table A2 (Base de données 2) → Table A (destination)

Si la table A1 contient 100 enregistrements et la table A2 en contient 200, la table A de la base de données de destination devrait contenir 300 enregistrements après la fusion.

Pourquoi les opérations DDL en ligne provoquent une perte de données

Les opérations DDL en ligne fonctionnent en créant une table temporaire, en y appliquant les modifications de schéma, puis en utilisant RENAME TABLE pour remplacer la table originale par la table temporaire. La séquence des opérations est la suivante :

1. Créez une table temporaire :

   CREATE TABLE tmp_table_table LIKE table_name

2. Modifiez le schéma de la table temporaire :

   ALTER TABLE tmp_table_table XXXX

3. Copiez les données historiques vers la table temporaire :

   INSERT IGNORE INTO tmp_table_table (SELECT %s FROM table_name FORCE INDEX (%s) WHERE xxx

4. Synchronisez les données incrémentielles via les journaux binaires :

   UPDATA/INSERT/DELETE tmp_table_name

5. Basculez les charges de travail vers la table temporaire :

   RENAME TABLE table_name to old_tmp_table_table, tmp_table_name to table_name

Une fois ces opérations effectuées, les données de la table A1 de la Base de données 1 écrasent celles de la table A dans la base de données de destination. Par conséquent, les données de la table A2 de la Base de données 2 sont perdues.

Solution

Pour éviter toute perte de données, utilisez l'une des approches suivantes :