ApsaraDB for SelectDB:Migration des données

Cette rubrique explique comment utiliser la fonctionnalité de migration des données pour effectuer une migration complète depuis une source de données externe vers ApsaraDB for SelectDB.

Présentation de la fonctionnalité

La fonctionnalité de migration des données prend en charge la migration complète depuis les sources de données suivantes vers ApsaraDB for SelectDB :

• Apache Doris

• SelectDB

• StarRocks

Prérequis

• Préparez les informations de connexion au cluster source, notamment l'adresse, le port, le nom d'utilisateur et le mot de passe.

• Préparez un bucket Object Storage Service (OSS) temporaire pour la mise en zone tampon des données. Récupérez son endpoint et ses informations d'autorisation. La tâche de migration utilise ce bucket OSS pour stocker temporairement les données et les nettoie automatiquement une fois la tâche terminée.

Procédure

Accédez à la page Data Migration

1. Connectez-vous à la console ApsaraDB for SelectDB.

2. Dans le coin supérieur gauche de la page, sélectionnez la région où réside votre instance.

3. Sur la page Instances, cliquez sur l'Instance ID cible pour accéder à la page Instance Details.

4. Cliquez sur Data Development and Management (Studio) dans le menu de gauche de la page, puis cliquez sur data migration.

   Remarque

   Lors de la première utilisation de Data Development and Management, le système vous invite à ajouter votre adresse IP publique locale au groupe de liste d'autorisation d'adresses IP webui_whitelist. Lisez attentivement l'invite et cliquez sur OK.

Créer une tâche de migration

Sur la page Data Migration, cliquez sur Create Migration Task et suivez l'assistant pour terminer la configuration étape par étape.

1. Configurez le cluster source et les informations de base de la tâche

   Dans le volet de navigation de gauche, accédez au module de migration et cliquez sur Create Migration Task. Saisissez les informations requises comme indiqué, puis cliquez sur Next pour vérifier la connectivité.

   • Task Name et Description : saisissez un nom et une description personnalisés pour la tâche.

   • Source Cluster Connection Information : saisissez l'endpoint, le port JDBC, le port HTTP, le nom d'utilisateur et le mot de passe du cluster source.

2. Configurez le stockage d'objets temporaire

   Sélectionnez le fournisseur de services cloud pour le stockage d'objets, puis saisissez l'Object Storage Endpoint et les Authorization Information correspondants.

3. Sélectionnez les objets à migrer

   Sélectionnez les bases de données et les tables à migrer. Vous pouvez sélectionner plusieurs objets à la fois ou utiliser la zone de recherche pour les filtrer. Vous pouvez également utiliser la fonctionnalité Data Filtering pour définir des conditions de filtre pour des tables spécifiques et migrer uniquement les données qui répondent à ces conditions. La tâche de migration crée automatiquement les tables correspondantes dans ApsaraDB for SelectDB de destination en fonction du schéma de table de la source ; il n'est donc pas nécessaire de créer la table au préalable. Si vous vous connectez à ApsaraDB for SelectDB via JDBC (protocole MySQL) et exécutez une instruction INSERT pour écrire des données, une erreur Table does not exist est renvoyée lorsque la table de destination n'existe pas. Dans ce cas, vous devez exécuter CREATE TABLE pour créer le schéma de table avant d'écrire les données.

4. Paramètres avancés

   Configurez les métriques de performance pour la tâche de migration :

   • Cluster : sélectionnez la ressource de calcul pour exécuter la tâche de migration.

   • Table-level concurrency : définissez le nombre de tables à migrer simultanément.

   • In-table concurrency : définissez le nombre de partitions de données (Tablets) concurrentes à migrer au sein d'une seule table.

5. Precheck and start

   Le système effectue une pré-vérification de la configuration. Une fois la pré-vérification réussie, démarrez la tâche de migration.

Cohérence des données

La cohérence du schéma de table et des données après la migration dépend du type de champ :

• Les champs standards, tels que INT, VARCHAR et DECIMAL, conservent un schéma de table et des données cohérents.

• Les champs d'agrégation BITMAP et HLL ne prennent pas en charge la migration directe. Vous devez recréer la table sur la destination et réimporter les données en utilisant les fonctions correspondantes :

  • Champs BITMAP : spécifiez le type d'agrégation BITMAP_UNION lors de la création de la table et utilisez la fonction bitmap_hash() pour importer les données.

  • Champs HLL : spécifiez le type d'agrégation HLL_UNION lors de la création de la table et utilisez la fonction hll_hash() pour importer les données.

Une fois la migration terminée, comparez le schéma de table (noms des colonnes, types et contraintes) et l'intégrité des données (nombre de lignes et contenu des données) entre la source et la destination pour confirmer que le résultat de la migration répond à vos attentes.

Consulter et gérer les tâches de migration

Après avoir démarré une tâche de migration, la page redirige automatiquement vers la liste Data Migration. Vous pouvez consulter et gérer toutes les tâches de migration ici.

• Afficher la liste des tâches : sur la page Data Migration, consultez les informations de base de toutes les tâches, telles que Name, Data Source, Status et Created At.

• Afficher les détails de la tâche : cliquez sur le bouton dans la colonne Actions d'une tâche pour ouvrir la page des détails de la tâche. Vous pouvez y examiner la progression de la migration, les détails au niveau des tables et les informations de configuration.