Data Transmission Service:Synchroniser PolarDB for MySQL vers Elasticsearch

Prérequis

Vous avez créé une instance Elasticsearch dans la région de destination. L'espace de stockage de cette instance doit être supérieur à celui du cluster source PolarDB for MySQL. Pour plus d'informations, consultez la rubrique Créer une instance Alibaba Cloud Elasticsearch.

Remarques importantes

Facturation

Opérations SQL prises en charge

Autorisations des comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Simple mode et Customize the layout and style of the DMS interface.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menus supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour ouvrir la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Configuration	Description
   Aucune	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez PolarDB for MySQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside le cluster PolarDB for MySQL source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	PolarDB Cluster ID	Sélectionnez l'ID du cluster PolarDB for MySQL source.
   	Database Account	Saisissez le compte de base de données pour le cluster PolarDB for MySQL source. Pour connaître les exigences en matière d'autorisations, consultez la section Autorisations du compte de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez cette option selon vos besoins. Pour plus d'informations sur le chiffrement SSL, consultez la rubrique Configurer le chiffrement SSL.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez Elasticsearch.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région où réside l'instance Elasticsearch de destination.
   	Type	Sélectionnez Cluster ou Serverless selon vos besoins.
   	Instance ID	Sélectionnez l'ID de l'instance Elasticsearch de destination.
   	Database Account	Saisissez le nom de connexion par défaut elastic pour l'instance Elasticsearch.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez HTTP ou HTTPS selon vos besoins.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page.

   Remarque

   • Assurez-vous que les blocs CIDR des adresses IP des serveurs DTS ont été ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR des adresses IP des serveurs DTS à une liste d'autorisation.

   • Si la base de données source ou de destination est une base de données autogérée (où la Access Method n'est pas Alibaba Cloud Instance), vous devez également cliquer sur Test Connectivity dans la boîte de dialogue CIDR Blocks of DTS Servers.

5. Configurez les objets de la tâche.

   1. Sur la page Configure Objects, configurez les objets à synchroniser.

      Configuration	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la prévérification terminée, DTS effectue une synchronisation complète des données des objets sélectionnés depuis l'instance source vers le cluster de destination. Ces données servent de référence pour la synchronisation incrémentielle ultérieure.
      Index Name	Si vous sélectionnez Table Name, l'index créé dans l'instance Elasticsearch de destination porte le même nom que la table. Si vous sélectionnez Database Name_Table Name, le nom de l'index dans l'instance Elasticsearch de destination correspond à la concaténation du nom de la base de données, d'un trait de soulignement (_) et du nom de la table. Remarque La configuration du mappage des noms d'index s'applique à toutes les tables.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : vérifie si une table portant le même nom existe dans la base de données de destination. Si aucune table homonyme n'existe, la prévérification réussit. En revanche, si une telle table existe, la prévérification échoue et la tâche de synchronisation des données ne démarre pas. Remarque Si vous ne pouvez pas supprimer ou renommer la table homonyme dans la base de données de destination, vous pouvez la mapper vers un autre nom de table. Pour plus d'informations, consultez Map table and column names. Ignore Errors and Proceed : ignore la vérification des doublons de noms de tables dans la base de données de destination. Avertissement La sélection de l'option Ignore Errors and Proceed peut entraîner des incohérences de données et présenter des risques pour votre activité. Par exemple : Si les schémas de table sont identiques et qu'un enregistrement de la base de données de destination possède la même valeur de clé primaire ou de clé unique qu'un enregistrement de la base de données source : Lors de la synchronisation complète, DTS conserve l'enregistrement dans le cluster de destination. L'enregistrement correspondant de la base de données source n'est pas synchronisé. Lors de la synchronisation incrémentielle, l'enregistrement de la base de données source écrase celui de la base de données de destination. Si les schémas de table diffèrent, la synchronisation initiale des données peut échouer. Cela peut se traduire par une synchronisation partielle des colonnes ou par un échec total de la synchronisation. Agissez avec prudence.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets (bases de données, tables et colonnes) synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez Case sensitivity policy for destination object names.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque Vous pouvez sélectionner des objets au niveau de la base de données ou de la table.
      Selected Objects	Pour modifier le nom de l'index, le nom du type, le nom du champ ou la condition de filtrage d'une table dans l'instance Elasticsearch de destination, cliquez avec le bouton droit sur le nom de la table dans la zone Selected Objects. Pour plus d'informations, consultez Map database and table column names et Set filter conditions. Remarque Seuls les traits de soulignement (_) sont autorisés comme caractères spéciaux dans les noms d'index et de types.

   2. Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Configuration	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé ; aucune sélection de cluster n'est requise. Pour obtenir des performances plus stables, vous pouvez acheter un cluster dédié afin d'exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez What is a DTS dedicated cluster?.
      Retry Time for Failed Connections	Une fois la tâche de synchronisation démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et tente immédiatement de rétablir la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir une durée d'au moins 30 minutes. Si DTS parvient à se reconnecter à la base de données dans le délai imparti, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) partageant la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau à 30 minutes pour l'instance A et à 60 minutes pour l'instance B, la durée la plus courte (30 minutes) s'appliquera aux deux. Étant donné que DTS facture l'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons d'adapter la durée de nouvelle tentative à vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Une fois la tâche de synchronisation démarrée, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions lors de l'exécution de commandes DDL ou DML), DTS signale une erreur et lance immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser cette durée dans une plage allant de 1 à 1 440 minutes. Nous vous recommandons de la fixer à au moins 10 minutes. Si les opérations concernées aboutissent dans le délai de nouvelle tentative défini, la tâche de synchronisation reprend automatiquement. Dans le cas contraire, la tâche échoue. Important La valeur définie pour Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter leur charge. Pour réduire cette charge, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration n'est disponible que lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le débit de synchronisation complète une fois l'instance de synchronisation en cours d'exécution.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour alléger la pression sur la base de données de destination, configurez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Environment Tag	Sélectionnez un libellé d'environnement pour identifier l'instance selon vos besoins. Cet exemple n'en nécessite aucun.
      Shard Configuration	Définissez le nombre de shards primaires et de réplicas pour l'index, en vous basant sur la configuration maximale de shards de l'instance Elasticsearch de destination.
      String Index	Méthode d'indexation des chaînes de caractères dans l'instance Elasticsearch de destination. analyzed : analyse la chaîne avant de l'indexer. Vous devez également sélectionner un analyseur. Pour connaître les types et fonctions des analyseurs, consultez Analyzers. not analyzed : indexe la valeur brute directement, sans analyse. no : n'indexe pas la chaîne.
      Time Zone	Lors de la synchronisation des types de données DATETIME ou TIMESTAMP vers l'instance Elasticsearch de destination, sélectionnez le fuseau horaire à utiliser. Remarque Si les informations de fuseau horaire ne sont pas nécessaires pour ces types de données dans l'instance de destination, préconfigurez le type de document (type) pour ces données dans l'instance de destination.
      DOCID	Aucune configuration requise. DOCID correspond par défaut à la clé primaire de la table. Si aucune clé primaire n'existe, DOCID est la colonne ID générée automatiquement par Elasticsearch.
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez d'écrire ou non les informations SQL de pulsation (heartbeat) dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS. No : écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez What is ETL? Valeurs possibles : Yes : active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez Configure ETL in a data migration or data synchronization task. No : désactive la fonctionnalité ETL.
      Monitoring and Alerting	Indiquez si vous souhaitez configurer des alertes. En cas d'échec de la synchronisation ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : aucune alerte n'est configurée. Yes : configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez Configure monitoring and alerting during task configuration.

   3. Une fois les configurations ci-dessus effectuées, cliquez sur Next: Configure Database and Table Fields pour définir la stratégie _routing et la valeur _id des tables dans l'instance Elasticsearch de destination.

      Remarque

      Vous pouvez sélectionner Definition Status comme All pour effectuer des modifications.

      Type	Description
      Set _routing	La configuration de _routing permet d'acheminer les documents vers des shards spécifiques dans l'instance Elasticsearch de destination. Pour plus d'informations, consultez _routing. Sélectionnez Yes pour définir une colonne personnalisée pour le routage. Sélectionnez No pour utiliser _id pour le routage. Remarque Si l'instance Elasticsearch de destination est en version 7.x, sélectionnez No.
      _routing Column	Sélectionnez la colonne à utiliser pour le routage. Remarque Ce paramètre est requis uniquement lorsque Set _routing est défini sur Yes.
      Value of _id	Sélectionnez la colonne à utiliser comme ID de document.

6. Enregistrez la tâche et exécutez une prévérification.

   • Pour afficher les paramètres d'API permettant de configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans l'infobulle.

   • Une fois que vous avez consulté les paramètres de l'API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une prévérification. La tâche ne peut démarrer que si tous les éléments de prévérification sont validés.

   • En cas d'échec de la prévérification, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème selon les instructions, puis relancez la prévérification.

   • Si la prévérification renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis relancez la prévérification.

     • Pour les éléments de vérification pouvant être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again afin d'ignorer l'avertissement et de relancer la prévérification. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate atteint 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation des données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et s'avère plus économique que le paiement à l'utilisation. Plus la durée d'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : la facturation s'effectue à l'heure. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour réaliser des économies.
      	Configuration du groupe de ressources	Groupe de ressources auquel l'instance appartient. La valeur par défaut est « default resource group ». Pour plus d'informations, consultez What is Resource Management?.
      	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification du lien de synchronisation influence le débit de synchronisation. Choisissez une spécification adaptée à votre scénario métier. Pour plus d'informations, consultez Data synchronization link specifications.
      	Durée d'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance abonnée. Vous pouvez opter pour un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option n'est disponible que lorsque la méthode de facturation est définie sur Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.