Data Transmission Service:Synchroniser PolarDB-X 2,0 vers Elasticsearch

Prérequis

• Vous disposez d'une instance source PolarDB-X 2,0.

• Vous disposez d'un cluster de destination Elasticsearch. Pour plus d'informations, consultez la rubrique Créer une instance Alibaba Cloud Elasticsearch.

• Pour connaître les versions sources et de destination prises en charge, consultez la rubrique Présentation des solutions de synchronisation.

• Le cluster de destination Elasticsearch doit disposer d'un espace de stockage disponible supérieur à la taille des données de l'instance source PolarDB-X 2,0.

Limites

Facturation

Topologies de synchronisation

• Synchronisation unidirectionnelle un-à-un

• Synchronisation unidirectionnelle un-à-plusieurs

• Synchronisation unidirectionnelle plusieurs-à-un

Pour plus d'informations, consultez la rubrique Topologies de synchronisation.

Opérations SQL prises en charge

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la Data Transmission Service (DTS) console.

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Avertissement

   Après avoir sélectionné les instances source et de destination, lisez attentivement les limites affichées en haut de la page. Si vous ne respectez pas ces limites, la tâche peut échouer ou entraîner une incohérence des données.

   Catégorie	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
   Source Database	Database Type	Sélectionnez PolarDB-X 2.0.
   	Connection Type	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside l'instance PolarDB-X 2,0 source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	Instance ID	Sélectionnez l'ID d'instance de l'instance PolarDB-X 2,0 source.
   	Database Account	Saisissez le compte de base de données de l'instance PolarDB-X 2,0 source. Le compte doit disposer des autorisations REPLICATION SLAVE, REPLICATION CLIENT et SELECT sur les objets à synchroniser. Remarque Pour savoir comment accorder des autorisations, consultez Problèmes d'autorisation de compte lors de la synchronisation des données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   Destination Database	Database Type	Sélectionnez Elasticsearch.
   	Connection Type	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside l'instance Elasticsearch de destination.
   	Type	Sélectionnez Cluster Edition ou Serverless.
   	Instance ID	Sélectionnez l'ID d'instance de l'instance Elasticsearch de destination.
   	Database Account	Saisissez le compte de base de données pour l'instance Elasticsearch de destination. Le compte doit disposer des autorisations en lecture et en écriture. Le compte par défaut est elastic.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez HTTP ou HTTPS selon vos besoins.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les blocs CIDR d'adresse IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez Ajouter les blocs CIDR d'adresse IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données gérée par l'utilisateur (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Paramètre	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la pré-vérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés de l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle ultérieure des données.
      Index Name	Table Name Si vous sélectionnez Table Name, le nom de l'index dans l'instance Elasticsearch de destination correspond au nom de la table. Par exemple, le nom de l'index est « order ». Database Name_Table Name Si vous sélectionnez Database Name_Table Name, le nom de l'index dans l'instance Elasticsearch de destination est au format NomBaseDeDonnées_NomTable. Par exemple, le nom de l'index est dtstest_order.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table portant le même nom n'existe, la pré-vérification réussit. Si une table portant le même nom existe, la pré-vérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table portant le même nom dans la base de données de destination, vous pouvez la mapper vers un nom de table différent. Pour plus d'informations, consultez Mapper les noms de tables et de colonnes. Ignore Errors and Proceed : ignore la vérification des noms de tables en double dans la base de données de destination. Avertissement La sélection de Ignore Errors and Proceed peut entraîner une incohérence des données et mettre votre activité à risque. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase l'enregistrement de la base de données de destination. Si les schémas de table sont différents, la synchronisation initiale des données peut échouer. Cela peut entraîner la synchronisation partielle des données de colonne ou un échec complet de la synchronisation. Procédez avec prudence.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes qui sont synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez Politique de sensibilité à la casse pour les noms d'objets de destination.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des bases de données, des tables et des colonnes comme objets de synchronisation. Si vous sélectionnez des tables ou des colonnes, d'autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas synchronisés vers la base de données de destination.
      Selected Objects	Pour renommer un seul objet de synchronisation dans l'instance de destination, faites un clic droit sur l'objet dans la zone Selected Objects. Pour plus d'informations sur le renommage des objets, consultez Mapper une seule base de données, table ou colonne. Pour modifier les noms de plusieurs objets de synchronisation dans l'instance de destination par lot, cliquez sur Batch Edit dans le coin supérieur droit de la zone Selected Objects. Pour plus d'informations, consultez Mapper des bases de données, des tables et des colonnes par lot. Remarque Le seul caractère spécial pris en charge dans les noms d'index et de type est le trait de soulignement (_). Pour sélectionner les opérations SQL à synchroniser au niveau de la base de données ou de la table, faites un clic droit sur l'objet dans la zone Selected Objects, puis sélectionnez les opérations SQL. Pour filtrer les données à l'aide d'une clause WHERE, faites un clic droit sur la table dans la zone Selected Objects et définissez la condition de filtre. Pour plus d'informations, consultez Filtrer les données de tâche à l'aide de conditions SQL. Si vous utilisez la fonctionnalité de mappage de nom d'objet, d'autres objets qui dépendent de l'objet mappé pourraient ne pas être synchronisés.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes réussissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant l'étape de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le taux de synchronisation complète après le démarrage de l'instance de synchronisation.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Vous pouvez sélectionner une balise d'environnement pour identifier l'instance. Dans cet exemple, aucune balise n'est nécessaire.
      Shard Configuration	Définissez le nombre de shards primaires et de réplicas en fonction de la configuration maximale de shard de l'instance Elasticsearch de destination.
      String Index	Spécifiez comment les chaînes sont indexées dans l'instance Elasticsearch de destination. analyzed : DTS analyse la chaîne puis l'indexe. Vous devez également sélectionner un analyseur. Pour plus d'informations sur les types d'analyseurs et leurs fonctions, consultez Analyzers. not_analyzed : DTS indexe la chaîne telle quelle sans analyse. no : DTS n'indexe pas la chaîne.
      Time Zone	Sélectionnez un fuseau horaire pour les types de données liés à l'heure tels que DATETIME et TIMESTAMP lors de la synchronisation vers l'instance Elasticsearch de destination. Remarque Si les types de données liés à l'heure dans l'instance de destination ne nécessitent pas de fuseau horaire, définissez le type de document (type) pour ces types de données dans l'instance de destination avant la synchronisation.
      DOCID	Le DOCID correspond par défaut à la clé primaire de la table. Si la table n'a pas de clé primaire, Elasticsearch génère automatiquement un ID.
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez si vous souhaitez écrire les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : Les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS. No : Écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
      Configure ETL	Choisissez si vous souhaitez activer la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.
      Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configurer la surveillance et les alertes lors de la configuration de la tâche.

   3. Une fois la configuration terminée, cliquez sur Next: Configure Database and Table Fields en bas de la page pour définir la stratégie _routing et la valeur _id pour la table à synchroniser dans Elasticsearch de destination.

      Type	Description
      Set _routing	La définition de _routing vous permet de router et de stocker des documents dans un shard spécifique de l'instance Elasticsearch de destination. Pour plus d'informations, consultez _routing. Si vous sélectionnez Yes, vous pouvez utiliser des colonnes personnalisées pour le routage. Si vous sélectionnez No, _id est utilisé pour le routage. Remarque Si l'instance Elasticsearch de destination est en version 7.x, vous devez sélectionner No.
      Value of _id	Primary key column of the table Les clés primaires composites sont fusionnées en une seule colonne. Business primary key Si vous sélectionnez Business primary key, vous devez également définir la Business primary key column correspondante.

6. Enregistrez la tâche et exécutez une pré-vérification.

   • Pour afficher les paramètres API pour configurer cette instance, survolez le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.

   • Si vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une pré-vérification. La tâche ne peut démarrer qu'après la réussite de tous les éléments de pré-vérification.

   • Si la pré-vérification échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la pré-vérification.

   • Si la pré-vérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la pré-vérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la pré-vérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que l'incohérence des données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et la spécification de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : vous êtes facturé à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
      	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez Qu'est-ce que la gestion des ressources ?.
      	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez Spécifications de lien de synchronisation de données.
      	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Vérification de l'index et des données synchronisés

Une fois que la tâche de synchronisation est passée à l'état Running, utilisez Kibana pour vous connecter au cluster Elasticsearch et vérifiez que l'index et les données correspondent à vos attentes. Pour plus d'informations, consultez la rubrique Connexion à la console Kibana.

Remarque

Si l'index ou les données ne correspondent pas à vos attentes, supprimez l'index et reconfigurez la tâche de synchronisation des données.