Data Transmission Service:Synchroniser PolarDB-X 2,0 vers MaxCompute

Prérequis

• Vous avez activé MaxCompute et créé un projet MaxCompute. Pour plus d'informations, consultez les rubriques Activer MaxCompute et Créer un projet.

• Vous avez configuré la liste d'autorisation de MaxCompute pour autoriser l'accès depuis DTS. Pour plus d'informations, consultez la rubrique Configurer la liste d'autorisation de MaxCompute pour autoriser l'accès depuis les services Alibaba Cloud.

• Vous avez utilisé votre compte Alibaba Cloud (compte racine) pour Créer une AccessKey.

  Remarque

  Vous pouvez également Créer un utilisateur RAM, puis Définir un utilisateur RAM en tant que super administrateur d'un projet MaxCompute.

Limites

Facturation

Opérations SQL prises en charge

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la Data Transmission Service (DTS) console.

   2. Dans le volet de navigation de gauche, cliquez sur Data SynchronizationData Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Simple mode et Customize the layout and style of the DMS interface.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization TasksData Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create TaskCreate Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez PolarDB-X 2.0.
   	Connection Type	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où se trouve l'instance PolarDB-X 2,0.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple montre la synchronisation des données au sein du même compte Alibaba Cloud. Sélectionnez No.
   	Instance ID	Sélectionnez l'ID de l'instance source PolarDB-X 2,0.
   	Database Account	Saisissez le compte de base de données de l'instance PolarDB-X 2,0. Le compte doit disposer des autorisations REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à synchroniser. Remarque Pour savoir comment accorder des autorisations, consultez Account permission issues during data synchronization.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez MaxCompute.
   	Connection Type	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où se trouve l'instance MaxCompute de destination.
   	Project	Saisissez le nom du projet MaxCompute de destination.
   	AccessKey ID of Alibaba Cloud Account	Saisissez la paire AccessKey que vous avez préparée dans la section Prérequis.
   	AccessKey Secret of Alibaba Cloud Account

4. Une fois la configuration terminée, cliquez sur Test Connectivity and ProceedTest Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les blocs CIDR d'adresses IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Add the IP address CIDR blocks of DTS servers to a whitelist.

   • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la méthode Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test ConnectivityTest Connectivity dans la boîte de dialogue CIDR Blocks of DTS ServersCIDR Blocks of DTS Servers.

5. Cliquez sur OKOK pour autoriser le compte MaxCompute.

6. Configurez les objets de la tâche.

   1. Sur la page Configure ObjectsConfigure Objects, configurez les objets à synchroniser.

      Paramètre	Description
      Synchronization Types	Les types de synchronisation. Par défaut, Incremental Data Synchronization est sélectionné. Vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS synchronise les données historiques des objets sélectionnés de la base de données source vers le cluster de destination. Les données historiques constituent la base de la synchronisation incrémentielle ultérieure.
      Processing Mode for Existing Tables in Destination	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Map table and column names. Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation uniquement des données de certaines colonnes ou un échec complet de la synchronisation. Procédez avec prudence.
      Naming Rules of Additional Columns	DTS ajoute des colonnes supplémentaires aux tables de destination lors de la synchronisation. Si ces noms de colonnes entrent en conflit avec des colonnes existantes, la synchronisation échoue. Sélectionnez New Rule ou Previous Rule en fonction de vos besoins métier. Avertissement Vérifiez si les noms des colonnes supplémentaires entrent en conflit avec les noms de colonnes existants dans les tables de destination avant de sélectionner une règle. Sinon, une perte de données ou un échec de la tâche peut survenir. Pour plus d'informations sur les règles et les définitions des colonnes supplémentaires, consultez Additional column names and definitions.
      Partition Definition of Incremental Data Table	Sélectionnez les noms de partition en fonction de vos besoins métier. Pour plus d'informations sur les partitions, consultez PartitionPartition.
      Case Sensitivity Policy for Destination Object Names	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes qui sont synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez Case sensitivity policy for destination object names.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des objets à synchroniser uniquement au niveau de la table.
      Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Map a single database, table, or column. Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Map databases, tables, and columns in a batch. Remarque Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, faites un clic droit sur l'objet dans la zone Selected Objects, puis sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche. Pour définir une clause WHERE afin de filtrer les données, faites un clic droit sur la table à synchroniser dans la zone Selected Objects, puis définissez la condition de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez Filter task data by using SQL conditions.

   2. Cliquez sur Next: Advanced SettingsNext: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le taux de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut amener l'instance DTS à signaler un retard. No : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
      Environment Tag	Sélectionnez une balise d'environnement pour identifier l'instance. Ce paramètre est facultatif pour cet exemple.
      Configure ETL	Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez What is ETL? Valeurs valides : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configure ETL in a data migration or data synchronization task. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez des alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configure monitoring and alerting during task configuration.

7. Enregistrez la tâche et exécutez une pré-vérification.

   • Pour afficher les paramètres API pour la configuration de cette instance, placez le curseur sur le bouton Next: Save Task Settings and PrecheckNext: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parametersPreview OpenAPI parameters dans la bulle.

   • Si vous avez terminé la consultation des paramètres API, cliquez sur Next: Save Task Settings and PrecheckNext: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.

   • Si la pré-vérification échoue, cliquez sur View DetailsView Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.

   • Si la pré-vérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View DetailsView Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert DetailsConfirm Alert Details, IgnoreIgnore, OKOK et Precheck AgainPrecheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.

8. Achetez l'instance.

   1. Lorsque le Success RateSuccess Rate est de 100 %, cliquez sur Next: Purchase InstanceNext: Purchase Instance.

   2. Sur la page PurchasePurchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé sur une base horaire. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
      	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez What is Resource Management?.
      	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Data synchronization link specifications.
      	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and StartBuy and Start. Dans la boîte de dialogue OKOK, cliquez sur OKOK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Schéma de la table des journaux incrémentiels

Remarque

Exécutez set odps.sql.allow.fullscan=true; dans MaxCompute pour autoriser les analyses complètes des tables.

Lors de la synchronisation de MySQL vers une table des journaux incrémentiels dans MaxCompute, DTS stocke les données incrémentielles accompagnées de métadonnées supplémentaires.

Remarque

Dans cet exemple, modifytime_year, modifytime_month, modifytime_day, modifytime_hour et modifytime_minute sont des clés de partition, spécifiées à l'étape Configurer l'objet de tâche.

Définition du schéma

Champ	Description
record_id	ID unique de chaque entrée de journal incrémentiel. Remarque L'ID est unique et incrémentiel. Si le type d'opération est UPDATE, la mise à jour est divisée en deux enregistrements : un pour l'état avant la mise à jour et un pour l'état après la mise à jour. Les deux enregistrements partagent le même ID d'enregistrement.
operation_flag	Type d'opération. Les valeurs valides sont : I : opération INSERT. D : opération DELETE. U : opération UPDATE.
utc_timestamp	Horodatage de l'opération issu du binlog, au format UTC.
before_flag	Indique si les valeurs des colonnes représentent l'état avant la mise à jour. Valeurs valides : Y ou N.
after_flag	Indique si les valeurs des colonnes représentent l'état après la mise à jour. Valeurs valides : Y ou N.

Informations complémentaires sur les champs before_flag et after_flag

Selon le type d'opération, les champs before_flag et after_flag d'un journal incrémentiel sont définis comme suit :

• INSERT

  Lorsque le type d'opération est INSERT, toutes les valeurs des colonnes correspondent aux nouvelles valeurs insérées. Il s'agit des valeurs après la mise à jour. Par conséquent, la valeur de before_flag est N et celle de after_flag est Y, comme illustré dans l'exemple suivant.

  

• UPDATE

  Lorsque le type d'opération est UPDATE, DTS divise l'opération UPDATE en deux enregistrements de journal incrémentiel. Ces deux enregistrements partagent les mêmes valeurs pour record_id, operation_flag et utc_timestamp.

  Le premier enregistrement contient les valeurs avant la mise à jour ; la valeur de before_flag est donc Y et celle de after_flag est N. Le second enregistrement contient les valeurs après la mise à jour ; la valeur de before_flag est donc N et celle de after_flag est Y, comme illustré dans l'exemple suivant.

  

• DELETE

  Lorsque le type d'opération est DELETE, toutes les valeurs des colonnes dans l'enregistrement du journal incrémentiel correspondent aux valeurs supprimées. Cela signifie que les valeurs des colonnes ne changent pas. Par conséquent, la valeur de before_flag est Y et celle de after_flag est N, comme illustré dans l'exemple suivant.

  

Exemple de fusion des données complètes

Après l'opération de synchronisation des données, DTS crée une table de référence complète et une table des journaux incrémentiels pour chaque table dans MaxCompute. Vous pouvez utiliser des commandes SQL MaxCompute pour fusionner ces deux tables afin d'obtenir les données complètes à un instant donné.

Cet exemple utilise la table customer (dont la structure est présentée ci-dessous) pour décrire la procédure.



1. Sur la base de la structure de la table à synchroniser dans la base de données source, créez une table dans MaxCompute pour stocker les résultats fusionnés.

   Par exemple, pour obtenir les données complètes de la table customer à l'horodatage 1565944878, créez la table de données suivante pour faciliter l'identification métier :

   CREATE TABLE `customer_1565944878` (
       `id` bigint NULL,
       `register_time` datetime NULL,
       `address` string);

   Remarque

   • Vous pouvez exécuter des commandes SQL dans l'éditeur de requêtes ad hoc de MaxCompute.

   • Pour plus d'informations sur les types de données pris en charge par MaxCompute, consultez la rubrique Types de données.

2. Exécutez la commande SQL suivante dans MaxCompute pour fusionner la table de référence complète et la table des journaux incrémentiels, afin d'obtenir les données complètes de la table à un instant donné.

   set odps.sql.allow.fullscan=true;
   insert overwrite table <result_storage_table>
   select <col1>,
          <col2>,
          <colN>
     from(
   select row_number() over(partition by t.<primary_key_column>
    order by record_id desc, after_flag desc) as row_number, record_id, operation_flag, after_flag, <col1>, <col2>, <colN>
     from(
   select incr.record_id, incr.operation_flag, incr.after_flag, incr.<col1>, incr.<col2>,incr.<colN>
     from <table_log> incr
    where utc_timestamp< <timestamp>
    union all
   select 0 as record_id, 'I' as operation_flag, 'Y' as after_flag, base.<col1>, base.<col2>,base.<colN>
     from <table_base> base) t) gt
   where row_number=1 
     and after_flag='Y'

   Remarque

   • <result_storage_table> : nom de la table qui stocke l'ensemble de résultats fusionné complet.

   • <col1>/<col2>/<colN> : noms des colonnes de la table synchronisée.

   • <primary_key_column> : nom de la colonne de clé primaire de la table synchronisée.

   • <table_log> : nom de la table des journaux incrémentiels.

   • <table_base> : nom de la table de référence complète.

   • <timestamp> : instant auquel obtenir les données complètes.

   Pour fusionner les tables de données et obtenir les données complètes de la table customer à l'horodatage 1565944878, utilisez l'exemple suivant :

   set odps.sql.allow.fullscan=true;
   insert overwrite table customer_1565944878
   select id,
          register_time,
          address
     from(
   select row_number() over(partition by t.id
    order by record_id desc, after_flag desc) as row_number, record_id, operation_flag, after_flag, id, register_time, address
     from(
   select incr.record_id, incr.operation_flag, incr.after_flag, incr.id, incr.register_time, incr.address
     from customer_log incr
    where utc_timestamp< 1565944878
    union all
   select 0 as record_id, 'I' as operation_flag, 'Y' as after_flag, base.id, base.register_time, base.address
     from customer_base base) t) gt
    where gt.row_number= 1
      and gt.after_flag= 'Y';

3. Une fois la commande précédente exécutée, vous pouvez interroger les données fusionnées dans la table customer_1565944878.