Data Transmission Service:Synchroniser les données de RDS for SQL Server vers AnalyticDB for PostgreSQL

Limitations de la base de données source

• Les tables doivent disposer d'une contrainte PRIMARY KEY ou UNIQUE, avec tous les champs uniques. À défaut, la base de données de destination peut contenir des doublons. Pour identifier les tables non conformes, exécutez la requête suivante sur la base de données source :

  USE [your_database_name];
  SELECT SCHEMA_NAME(schema_id) AS schema_name, name AS table_name
  FROM sys.tables
  WHERE OBJECTPROPERTY(object_id, 'TableHasPrimaryKey') = 0
    AND OBJECTPROPERTY(object_id, 'TableHasUniqueCnst') = 0
  ORDER BY schema_name, table_name;

• Lors de la synchronisation de tables avec renommage côté destination, une seule tâche prend en charge jusqu'à 5 000 tables. Au-delà, configurez plusieurs tâches ou effectuez la synchronisation au niveau de la base de données.

• Une seule tâche prend en charge jusqu'à 10 bases de données sources. Si vous en avez plus de 10, configurez plusieurs tâches.

• DTS utilise la fonction fn_log pour lire les journaux de la base de données source. Cette fonction présente des limites de performances : ne purgez pas les journaux avant la fin de la tâche.

• Exigences relatives à la journalisation des données :

  • Définissez le mode de sauvegarde sur Full et effectuez une sauvegarde physique complète.

  • Pour une synchronisation incrémentielle uniquement : conservez les journaux pendant plus de 24 heures.

  • Pour une synchronisation complète puis incrémentielle : conservez les journaux pendant au moins 7 jours. Une fois la synchronisation complète terminée, vous pouvez réduire la période de rétention à plus de 24 heures.

  • Le non-respect de ces exigences peut entraîner l'échec de la tâche, ainsi qu'une incohérence ou une perte de données, situations non couvertes par l'accord de niveau de service (SLA) de DTS.

• Pour activer la fonctionnalité CDC sur les tables, toutes les conditions suivantes doivent être remplies :

  • Le champ srvname de la vue sys.sysservers doit correspondre à la valeur renvoyée par la fonction SERVERPROPERTY.

  • SQL Server autogéré : le propriétaire de la base de données doit être l'utilisateur sa. ApsaraDB RDS for SQL Server : le propriétaire de la base de données doit être l'utilisateur sqlsa.

  • Édition Enterprise : SQL Server 2008 ou version ultérieure.

  • Édition Standard : SQL Server 2016 SP1 ou version ultérieure.

  • Édition Standard ou Enterprise exécutant SQL Server 2017 : mettez à jour vers une version plus récente.

• Instances source en lecture seule : les opérations DDL ne peuvent pas être synchronisées.

• Instances ApsaraDB RDS for SQL Server exécutant l'édition Web : définissez l'option SQL Server Incremental Synchronization Mode sur Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported) lors de la configuration de la tâche.

• Sources Azure SQL Database : une seule tâche peut synchroniser les données d'une seule base de données.

• Sources ApsaraDB RDS for SQL Server : désactivez le chiffrement transparent des données (TDE) afin de garantir la stabilité de la tâche. Pour obtenir des instructions, consultez la rubrique Désactiver TDE.

• Pendant la synchronisation du schéma et la synchronisation complète des données : n'exécutez pas d'instructions DDL modifiant les schémas de base de données ou de tables.

• Pendant la synchronisation complète des données : utilisez le niveau d'isolation des transactions READ_COMMITTED_SNAPSHOT dans la base de données source pour empêcher les verrous partagés de bloquer les écritures de données. Le défaut de configuration de ce paramètre peut entraîner une incohérence des données ou des pannes d'instance, situations non couvertes par le SLA de DTS.

DTS crée automatiquement un compte nommé rdsdt_dtsacct sur l'instance source ApsaraDB RDS for SQL Server. Ne supprimez pas ce compte et ne modifiez pas son mot de passe tant que la tâche est en cours d'exécution. Pour plus de détails, consultez la rubrique Comptes système .

Limitations de la synchronisation du schéma

• Types d'objets pris en charge pour la synchronisation du schéma : schéma, table, vue, fonction, procédure.

  Avertissement

  SQL Server et AnalyticDB for PostgreSQL utilisent des systèmes de types différents. La synchronisation du schéma peut échouer ou entraîner une perte de données pour certains types. Consultez la rubrique Mappages des types de données pour la synchronisation initiale du schéma avant de poursuivre.

• Types d'objets non pris en charge pour la synchronisation du schéma : assemblies, service brokers, index full-text, catalogues full-text, schémas distribués, fonctions distribuées, procédures stockées CLR, fonctions scalaires CLR, fonctions table-valued CLR, tables internes, tables système et fonctions d'agrégation.

• Types de données non pris en charge : CURSOR, ROWVERSION, SQL_VARIANT, HIERARCHYID, POLYGON, GEOMETRY, GEOGRAPHY et les types personnalisés créés avec CREATE TYPE.

• Les tables comportant des colonnes calculées ne sont pas synchronisées.

• Lors de la synchronisation du schéma, DTS synchronise les clés étrangères de la source vers la destination. Pendant la synchronisation complète et incrémentielle des données, DTS désactive temporairement les vérifications de contraintes de clé étrangère et les opérations en cascade au niveau de la session. Les mises à jour et suppressions en cascade sur la source pendant la synchronisation peuvent entraîner une incohérence des données.

Limitations de la synchronisation incrémentielle

DTS propose trois modes de synchronisation incrémentielle pour SQL Server. Choisissez un mode en fonction de vos types de tables et de l'environnement de votre base de données source.

Limites communes à tous les modes de synchronisation incrémentielle :

• N'écrivez pas de données provenant d'autres sources dans la destination pendant la synchronisation, car cela entraînerait une incohérence des données.

• Les opérations de réindexation ne sont pas autorisées pendant la synchronisation incrémentielle. Leur exécution peut provoquer l'échec de la tâche et entraîner une perte de données.

• DTS ne peut pas synchroniser les opérations DDL liées aux modifications de clé primaire sur les tables activées pour CDC.

• Lors de la modification des objets synchronisés, vous ne pouvez pas supprimer de bases de données.

• Les modules de collecte de données incrémentielles pour plusieurs instances DTS partageant une même base de données source SQL Server fonctionnent de manière indépendante.

Mode Hybrid log-based parsing — limitations supplémentaires :

• La tâche CDC dans la base de données source doit s'exécuter correctement. Dans le cas contraire, la tâche DTS échouera.

• L'ajout ou la suppression de plusieurs colonnes dans la base de données source dans un délai de 10 minutes provoque une erreur. Par exemple, l'exécution des instructions suivantes dans un intervalle de 10 minutes déclenche l'échec de la tâche :

  ALTER TABLE test_table DROP COLUMN Flag;
  ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');

• Le composant CDC conserve les données incrémentielles pendant 3 jours par défaut. Pour modifier la période de rétention, exécutez la commande suivante sur la base de données source :

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> représente la période de rétention en minutes. Si le volume moyen quotidien de données incrémentielles dépasse 10 millions de lignes, définissez <time> sur 1440.

• L'activation de CDC au niveau de la base de données et de la table provoque un bref verrouillage de table (quelques secondes) dans la base de données source en raison des contraintes de SQL Server.

• Maintenez le nombre de tables activées pour CDC par tâche inférieur ou égal à 1 000. Sinon, la tâche peut subir des retards ou devenir instable.

• Définissez le taux d'écriture maximal à 1 000 enregistrements par seconde pour les tables activées pour CDC.

Mode Polling CDC — limitations supplémentaires :

• Exigences relatives aux autorisations du compte :

  • CDC au niveau de la base de données : nécessite le rôle sysadmin.

  • CDC au niveau de la table : nécessite un compte privilégié.

  • Azure SQL Database (modèle vCore) : toutes les bases de données prennent en charge CDC.

  • Azure SQL Database (modèle DTU) : CDC est disponible uniquement pour le niveau de service S3 ou supérieur.

  • Amazon RDS for SQL Server : CDC peut être activé via des procédures stockées au niveau de la base de données.

  • Il est impossible d'activer CDC pour les index columnstore clusterisés.

• Maximum de 1 000 tables par tâche. Le dépassement de cette limite entraîne des retards ou une instabilité.

• Le composant CDC conserve les données incrémentielles pendant 3 jours par défaut. Pour modifier la période de rétention, exécutez la commande suivante sur la base de données source :

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> représente la période de rétention en minutes. Si le volume moyen quotidien de données incrémentielles dépasse 10 millions de lignes, définissez <time> sur 1440.

• N'exécutez pas d'instructions DDL pour ajouter ou supprimer des colonnes plus de deux fois en une minute.

• Ne modifiez pas les instances CDC pendant la synchronisation. Sinon, la tâche pourrait échouer ou des données pourraient être perdues.

• L'activation de CDC au niveau de la base de données et de la table provoque un bref verrouillage de table (quelques secondes) dans la base de données source en raison des contraintes de SQL Server.

Données de champs volumineux :

Si un seul champ écrit dans des tables activées pour CDC dépasse 64 Ko (la valeur maximale par défaut de CDC), exécutez la commande suivante sur la base de données source :

exec sp_configure 'max text repl size', -1;

Mappages des clés primaires et des clés de distribution :

• Si la table source possède une clé primaire, la table de destination utilise la même colonne de clé primaire.

• Si la table source ne possède pas de clé primaire, la table de destination utilise la clé de distribution comme clé primaire.

• La clé unique de la table de destination (y compris la clé primaire) doit contenir toutes les colonnes de la clé de distribution.

Si le nombre de tables activées pour CDC dans une tâche dépasse la limite DTS, la prévérification échoue.

Étape 1 : Accédez à la page Data Synchronization Tasks

1. Connectez-vous à la console Data Management (DMS).

2. Dans la barre de navigation supérieure, cliquez sur Data + AI.

3. Dans le volet de navigation de gauche, choisissez DTS (DTS) > Data Synchronization.

Vous pouvez également accéder directement à la page Data Synchronization Tasks . La disposition de la console DMS peut varier — pour plus de détails, consultez les rubriques Simple mode et Personnaliser la disposition et le style de la console DMS .

Étape 2 : Configurez les bases de données source et de destination

1. Sur le côté droit de la page Data Synchronization Tasks, sélectionnez la région où résidera votre instance de synchronisation.

   Dans la nouvelle console DTS, sélectionnez la région dans la barre de navigation supérieure.

2. Cliquez sur Create Task.

3. Configurez la base de données source :

   Paramètre	Description
   Task Name	Généré automatiquement. Spécifiez un nom descriptif pour identifier facilement la tâche. Le nom n'a pas besoin d'être unique.
   Select an existing DMS database instance (facultatif)	Sélectionnez une base de données existante pour que DTS remplisse automatiquement les paramètres ci-dessous, ou configurez-les manuellement.
   Database Type	Sélectionnez SQL Server.
   Access Method	Sélectionnez Alibaba Cloud Instance.
   Instance Region	Région de l'instance source ApsaraDB RDS for SQL Server.
   Replicate Data Across Alibaba Cloud Accounts	Sélectionnez No pour une synchronisation au sein du même compte.
   RDS Instance ID	ID de l'instance source.
   Database Account	Compte de l'instance source. Consultez la section Autorisations requises.
   Database Password	Mot de passe du compte de base de données.

4. Configurez la base de données de destination :

   Paramètre	Description
   Select an existing DMS database instance (facultatif)	Sélectionnez une base de données existante pour que DTS remplisse automatiquement les paramètres ci-dessous, ou configurez-les manuellement.
   Database Type	Sélectionnez AnalyticDB for PostgreSQL.
   Access Method	Sélectionnez Alibaba Cloud Instance.
   Instance Region	Région de l'instance de destination AnalyticDB for PostgreSQL.
   Instance ID	ID de l'instance de destination.
   Database Name	Nom de la base de données qui reçoit les données synchronisées.
   Database Account	Compte de l'instance de destination. Consultez la section Autorisations requises.
   Database Password	Mot de passe du compte de base de données.

5. Cliquez sur Test Connectivity and Proceed. DTS ajoute automatiquement les blocs CIDR de son serveur à la liste d'autorisation des instances de base de données Alibaba Cloud et aux règles du groupe de sécurité des instances Elastic Compute Service (ECS) hébergeant des bases de données autogérées. Pour les bases de données autogérées dans des centres de données ou hébergées par des fournisseurs cloud tiers, ajoutez manuellement les blocs CIDR du serveur DTS. Pour la liste complète des blocs CIDR, consultez la rubrique Blocs CIDR des serveurs DTS.

   Avertissement

   L'ajout des blocs CIDR du serveur DTS à une liste d'autorisation ou à un groupe de sécurité introduit un risque de sécurité. Avant de poursuivre, prenez des mesures préventives telles que le renforcement des identifiants, la restriction des ports exposés, l'audit des appels API, la révision régulière des règles de la liste d'autorisation et l'envisagement d'options de connectivité privée comme Express Connect, VPN Gateway ou Smart Access Gateway.

Étape 3 : Configurez les objets et les paramètres de synchronisation

Étape 4 : Configurez les paramètres avancés

Cliquez sur Next: Advanced Settings pour configurer les options suivantes.

Pour activer la vérification des données une fois la synchronisation terminée, consultez la rubrique Configurer une tâche de vérification des données.

Étape 5 : Configurez les champs de base de données et de table (facultatif)

Cliquez sur Next: Configure Database and Table Fields pour définir le Type, la Primary Key Column et la Distribution Key pour chaque table synchronisée vers AnalyticDB for PostgreSQL.

Cette étape est disponible uniquement lorsque Schema Synchronization est sélectionné. Définissez Definition Status sur All pour afficher et modifier toutes les tables.

Spécifiez plusieurs colonnes dans le champ Primary Key Column pour former une clé primaire composite. Une ou plusieurs colonnes de clé primaire doivent également être désignées comme colonnes de Distribution Key . Pour plus de détails, consultez les rubriques Gérer les tables et Définir la distribution de table .

Étape 6 : Exécutez la prévérification

Cliquez sur Next: Save Task Settings and Precheck.

Pour prévisualiser les paramètres d'API pour cette configuration de tâche, survolez Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters .

DTS exécute une prévérification avant que la tâche ne puisse démarrer.

• Si la prévérification échoue, cliquez sur View Details à côté de chaque élément ayant échoué, corrigez le problème, puis relancez la prévérification.

• Si une alerte est déclenchée :

  • Pour les alertes qui ne peuvent pas être ignorées : corrigez le problème, puis relancez la prévérification.

  • Pour les alertes ignorables : cliquez sur Confirm Alert Details, puis cliquez sur Ignore dans la boîte de dialogue View Details, cliquez sur OK, puis cliquez sur Precheck Again. Ignorer les alertes peut entraîner une incohérence des données.

Étape 7 : Achetez une instance de synchronisation

Attendez que le Success Rate atteigne 100 %, puis cliquez sur Next: Purchase Instance.

Lisez et acceptez les Conditions de service Data Transmission Service (Pay-as-you-go), puis cliquez sur Buy and Start. Dans la boîte de dialogue de confirmation, cliquez sur OK.

Suivez la progression de la synchronisation dans la liste des tâches.