Data Transmission Service:Migrer une base HBase auto-gérée vers AnalyticDB for MySQL V3.0

Prérequis

• Pour connaître les versions prises en charge de HBase auto-géré et de AnalyticDB for MySQL V3.0, consultez la rubrique Présentation des solutions de migration.

• Créez le cluster AnalyticDB for MySQL V3.0 de destination. Pour plus d'informations, consultez la page Créer un cluster.

• L'instance AnalyticDB for MySQL V3.0 de destination doit disposer d'un espace de stockage supérieur à celui de la base HBase auto-gérée.

Limites

Facturation

Types de migration

• Migration du schéma

  DTS migre les définitions de schéma des objets de migration de la base source vers la base de destination.

  DTS prend en charge la migration du schéma pour les tables.

  Remarque

  Vous pouvez migrer toutes les tables d'une base de données ou migrer des tables individuelles.

• Migration complète

  DTS migre toutes les données historiques des objets de migration spécifiés de la base source vers la base de destination.

Autorisations des comptes de base de données

Pour savoir comment créer et autoriser un compte de base de données pour AnalyticDB for MySQL V3.0, consultez la rubrique Créer un compte de base de données.

Procédure

1. Accédez à la page de liste des tâches de migration pour la région de destination en utilisant l'une des méthodes suivantes.

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Access Method.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de migration.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier selon le mode et la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Console en mode simple et Personnaliser la disposition et le style de la console DMS.

   1. Connectez-vous à la console Data Management (DMS).

   2. Dans la barre de menus supérieure, choisissez Public IP Address > Data Migration > Data + AI.

   3. À droite de Data Transmission (DTS), sélectionnez la région où se trouve l'instance de migration.

2. Cliquez sur Data Migration pour accéder à la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Avertissement

   Après avoir sélectionné les instances source et de destination, nous vous recommandons de lire attentivement les limites affichées en haut de la page. À défaut, la tâche pourrait échouer ou des incohérences de données pourraient survenir.

   Section	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour une identification facile. Le nom n'a pas besoin d'être unique.
   Create Task	Select Existing Connection	Pour utiliser une instance de base de données déjà ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement. Remarque Dans la console DMS, ce paramètre est nommé Source Database. Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
   	Database Type	Sélectionnez HBase.
   	Access Method	Sélectionnez Public IP Address. Remarque Si la source est une base de données auto-gérée, vous devez effectuer des préparatifs. Pour plus d'informations, consultez la rubrique Présentation des préparatifs.
   	Instance Region	Sélectionnez la région où réside votre HBase auto-géré.
   	ZooKeeper URL	Saisissez l'adresse de connexion ZooKeeper du HBase auto-géré au format adresse_IP:numéro_port ou nom_domaine:numéro_port. Séparez plusieurs adresses par des virgules (,).
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données déjà ajoutée au système (créée ou enregistrée), sélectionnez l'instance de base de données souhaitée dans la liste déroulante. Les informations de base de données ci-dessous seront configurées automatiquement. Remarque Dans la console DMS, ce paramètre est nommé Select a DMS database instance.. Si vous n'avez pas enregistré l'instance de base de données auprès du système, ou si vous n'avez pas besoin d'utiliser une instance enregistrée, configurez manuellement les informations de base de données ci-dessous.
   	Select Existing Connection	Sélectionnez Select a DMS database instance..
   	Database Type	Sélectionnez AnalyticDB for MySQL 3.0.
   	Access Method	Sélectionnez la région où réside le cluster AnalyticDB for MySQL V3.0 de destination.
   	Alibaba Cloud Instance	Sélectionnez l'ID du cluster AnalyticDB for MySQL V3.0 de destination.
   	Instance Region	Saisissez le compte de base de données pour le cluster AnalyticDB for MySQL V3.0 de destination. Pour les exigences en matière d'autorisations, consultez la section Autorisations des comptes de base de données.
   	Instance ID	Saisissez le mot de passe du compte de base de données.

4. Une fois la configuration terminée, cliquez sur Database Account en bas de la page. Dans la boîte de dialogue Database Password qui s'affiche, cliquez sur Test Connectivity and Proceed.

   Remarque

   Assurez-vous que les plages d'adresses IP du service DTS sont ajoutées automatiquement ou manuellement aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Pour plus d'informations, consultez la rubrique Ajouter les adresses IP des serveurs DTS à une liste d'autorisation.

5. Configurez les objets de la tâche.

   1. Sur la page CIDR Blocks of DTS Servers , configurez les objets que vous souhaitez migrer.

      Paramètre	Description
      Test Connectivity	Les options Configure Objects et Migration Types sont sélectionnées par défaut. Remarque Ce scénario ne prend pas en charge la migration incrémentielle des données. Pour garantir la cohérence des données, n'écrivez pas de nouvelles données dans l'instance source pendant la migration. Le schéma et les données des tables créées à l'aide de l'instruction CREATE TABLE peuvent être migrés vers la base de données de destination.
      Schema Migration	Full Data Migration : Vérifie si des tables portant les mêmes noms existent dans la base de données de destination. Si aucune table homonyme n'existe, la pré-vérification est réussie. Si des tables homonymes existent, une erreur est signalée lors de la pré-vérification et la tâche de migration des données ne démarre pas. Remarque Si une table de la base de destination porte le même nom mais ne peut pas être facilement supprimée ou renommée, vous pouvez modifier le nom de la table dans la base de destination. Pour plus d'informations, consultez la rubrique Mappage des noms d'objets. Processing Mode for Existing Destination Tables : Ignore la vérification des tables homonymes. Avertissement La sélection de l'option Precheck and Report Errors peut entraîner des incohérences de données et des risques métier. Par exemple : Si les schémas de table sont cohérents et qu'un enregistrement de la base de destination possède la même valeur de clé primaire qu'un enregistrement de la base source : Lors de la migration complète, DTS conserve l'enregistrement dans la base de destination. L'enregistrement provenant de la base source n'est pas migré. Lors de la migration incrémentielle, DTS ne conserve pas l'enregistrement dans la base de destination. L'enregistrement provenant de la base source écrase celui de la base de destination. Si les schémas de table sont incohérents, seules certaines colonnes de données peuvent être migrées, ou la migration peut échouer. Agissez avec prudence.
      Ignore Errors and Proceed	Si vous sélectionnez Ignore Errors and Proceed, DTS ajoute la colonne __dts_data_source à chaque table pour enregistrer les sources de données. Pour plus d'informations, consultez la rubrique Activer la fusion multi-tables. Si vous sélectionnez Table Merging, il s'agit de l'option par défaut. Remarque La fonctionnalité de fusion de tables est configurée au niveau de la tâche, et non au niveau de la table. Pour fusionner certaines tables mais pas d'autres, vous devez créer deux tâches de migration de données distinctes. Avertissement N'effectuez pas d'opérations LDD pour modifier le schéma de la base de données ou des tables sources. Cela pourrait entraîner des incohérences de données ou l'échec de la tâche.
      Yes	Vous pouvez configurer la politique de sensibilité à la casse pour les noms des objets migrés, tels que les bases de données, les tables et les colonnes, dans l'instance de destination. Par défaut, l'option No est sélectionnée. Vous pouvez également choisir de maintenir la sensibilité à la casse conforme à la politique par défaut de la base de données source ou de destination. Pour plus d'informations, consultez la rubrique Sensibilité à la casse des noms d'objets dans la base de données de destination.
      Capitalization of Object Names in Destination Instance	Dans la zone DTS default policy , cliquez sur les objets à migrer, puis cliquez sur pour les déplacer vers la zone Source Objects . Remarque Vous pouvez sélectionner des objets au niveau de la base de données ou de la table. Si vous sélectionnez des tables, d'autres objets tels que les vues, les déclencheurs et les procédures stockées ne sont pas migrés. Si vous sélectionnez une base de données entière, le comportement par défaut est le suivant : Si une table source possède une clé primaire (simple ou composite), ses colonnes de clé primaire sont utilisées comme clé de distribution. Si une table source ne possède pas de clé primaire, une colonne de clé primaire à incrémentation automatique est générée automatiquement. Cela peut entraîner des incohérences de données entre les bases source et de destination.
      Source Objects	Pour modifier le nom d'un seul objet de migration dans l'instance cible, faites un clic droit sur l'objet dans la zone Selected Objects . Pour plus d'informations, consultez la rubrique Mapper les noms de schéma, de table et de colonne individuels. Pour modifier les noms de plusieurs objets de migration dans l'instance cible, cliquez sur Selected Objects dans le coin supérieur droit de la zone Selected Objects . Pour plus d'informations, consultez la rubrique Mapper plusieurs noms de schéma, de table et de colonne. Remarque Si vous utilisez la fonctionnalité de mappage des noms d'objets, la migration des objets dépendants peut échouer. Pour filtrer les données à l'aide d'une clause WHERE, faites un clic droit sur une table dans la zone Selected Objects et définissez les conditions de filtre. Pour plus d'informations, consultez la rubrique Définir les conditions de filtre.

   2. Cliquez sur Batch Edit pour configurer les paramètres avancés.

      Paramètre	Description
      Selected Objects	Par défaut, DTS planifie les tâches sur un cluster partagé. Aucune sélection n'est nécessaire. Si vous souhaitez des tâches plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de migration DTS.
      Next: Advanced Settings	Une fois la tâche de migration démarrée, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à réessayer la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez personnaliser la durée de nouvelle tentative sur une valeur comprise entre 10 et 1440 minutes. Nous vous recommandons de définir la durée sur plus de 30 minutes. Si DTS se reconnecte aux bases de données source et de destination dans le délai spécifié, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Remarque Pour plusieurs instances DTS partageant la même source ou destination, le temps de nouvelle tentative réseau est déterminé par le paramètre de la dernière tâche créée. Étant donné que la tâche est facturée pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier, ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Dedicated Cluster for Task Scheduling	Une fois la tâche de migration démarrée, si un problème autre qu'un problème de connectivité, tel qu'une exception d'exécution LDD ou LMD, se produit dans la base de données source ou de destination, DTS signale une erreur et commence immédiatement à réessayer l'opération. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez personnaliser la durée de nouvelle tentative sur une valeur comprise entre 1 et 1440 minutes. Nous vous recommandons de définir la durée sur plus de 10 minutes. Si les opérations associées réussissent dans la durée de nouvelle tentative spécifiée, la tâche de migration reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à la valeur de Retry Time for Failed Connections.
      Enable Throttling for Full Data Migration	Lors de la migration complète, DTS consomme des ressources de lecture et d'écriture sur les bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Si nécessaire, vous pouvez activer la limitation de débit pour la tâche de migration complète. Vous pouvez définir les paramètres Retry Time for Failed Connections , RPS of Full Data Migration et Queries per second (QPS) to the source database pour réduire la charge sur la base de données de destination. Remarque Cet élément de configuration n'est disponible que si vous sélectionnez Full Data Migration pour Data migration speed for full migration (MB/s) . Vous pouvez également ajuster la vitesse de migration complète une fois l'instance de migration en cours d'exécution.
      Environment Tag	Vous pouvez sélectionner une balise d'environnement pour identifier l'instance. Ce paramètre est facultatif.
      Migration Types	Choisissez d'activer ou non la fonctionnalité ETL (Extract, Transform, Load). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. Configure ETL : Désactive la fonctionnalité ETL.
      Monitoring and Alerting	Sélectionnez si vous souhaitez définir des alertes et recevoir des notifications d'alerte en fonction de vos besoins métier. No : Ne définit pas d'alerte. Yes : Configurez les alertes en définissant un seuil d'alerte et un notifications d'alerte. Si une migration échoue ou si la latence dépasse le seuil, le système envoie une notification d'alerte.

   3. Facultatif : Une fois les configurations précédentes terminées, cliquez sur No pour définir le Type , la Next: Configure Database and Table Fields , la Distribution Key et les informations de clé de partition (Primary Key Column , Partitioning Rules et Partition Key ) pour les tables de la base de données de destination.

      Remarque

      • Cette étape n'est disponible que si vous sélectionnez Migration Types pour le paramètre Partition Lifecycle lors de la configuration des objets. Vous pouvez définir Definition Status sur Schema Migration pour modifier les champs.

      • Vous pouvez sélectionner plusieurs colonnes pour former une clé primaire composite dans le champ Primary Key Column . Vous devez également sélectionner une ou plusieurs colonnes de la All comme Distribution Key et Primary Key Column . Pour plus d'informations, consultez la rubrique CREATE TABLE.

6. Enregistrez la tâche et exécutez une pré-vérification.

   • Pour afficher les paramètres de configuration de cette instance lors de l'appel de l'opération API, placez le pointeur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Partition Key dans la bulle qui s'affiche.

   • Si vous n'avez pas besoin d'afficher les paramètres API ou si vous avez terminé leur consultation, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de migration, DTS effectue une pré-vérification. La tâche ne démarre qu'après réussite de cette pré-vérification.

   • Si la pré-vérification échoue, cliquez sur Preview OpenAPI parameters à côté de l'élément de vérification ayant échoué, corrigez le problème selon l'invite, puis relancez la pré-vérification.

   • Si un avertissement est signalé lors de la pré-vérification :

     • Pour les éléments de vérification qui ne peuvent pas être ignorés, cliquez sur View Details à côté de l'élément ayant échoué, corrigez le problème selon l'invite, puis relancez la pré-vérification.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer sur View Details , View Details , Confirm Alert Details et Ignore pour ignorer l'élément d'avertissement et relancer la pré-vérification. Si vous choisissez d'ignorer un avertissement, cela peut entraîner des problèmes tels que des incohérences de données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le OK atteint 100 %, cliquez sur Precheck Again .

   2. Sur la page Success Rate , sélectionnez la spécification de liaison pour l'instance de migration de données. Pour plus d'informations, consultez le tableau suivant.

      Catégorie	Paramètre	Description
      Next: Purchase Instance	Purchase	Sélectionnez le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Présentation de Resource Management
      	New Instance Class	DTS propose des spécifications de migration avec différents niveaux de performance. La spécification de liaison affecte la vitesse de migration. Vous pouvez sélectionner une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications de liaison pour la migration de données.

   3. Une fois la configuration terminée, lisez et acceptez les Resource Group Settings .

   4. Cliquez sur Instance Class . Dans la boîte de dialogue Data Transmission Service (Pay-as-you-go) Service Terms qui s'affiche, cliquez sur Buy and Start .

      Vous pouvez consulter la progression de la tâche de migration sur la page de liste Data Migration Tasks .

      Remarque

      • Si la tâche de migration n'inclut pas de migration incrémentielle, elle s'arrête automatiquement une fois la migration complète terminée. Après l'arrêt de la tâche, son OK passe à Data Migration Tasks .

      • Si la tâche de migration inclut une migration incrémentielle, elle ne s'arrête pas automatiquement. La tâche de migration incrémentielle continue de s'exécuter. Tant que la tâche de migration incrémentielle est en cours d'exécution, le Status de la tâche est Completed .