ApsaraDB for SelectDB:Migrer des données depuis une base de données Doris

Prérequis

• Exigences relatives à OSS :

  • OSS est activé. Pour plus d'informations, consultez Activer OSS.

  • L'utilisateur RAM utilisé pour accéder à OSS dispose des permissions de lecture et d'écriture sur les objets OSS. Pour plus d'informations sur l'attribution des permissions, consultez Vue d'ensemble des permissions et du contrôle d'accès.

• Exigences relatives au compte :

  Vous avez créé un compte de base de données. Pour plus d'informations, consultez Gestion des comptes.

Préparatifs

Créez un bucket dans OSS. Pour plus d'informations, consultez Créer des buckets.

Dans cet exemple, le bucket est nommé test-selectdb.

Étape 1 : Exporter les données source

1. Connectez-vous au cluster source.

   Pour savoir comment vous connecter à une base de données Doris auto-gérée, consultez Connexion via le protocole MySQL - Apache Doris.

2. (Facultatif) Préparez des données d'exemple.

   Si vos données sont déjà prêtes pour la migration, ignorez cette étape.

   1. Créez une base de données.

      Exécutez l'instruction suivante pour créer une base de données :

      CREATE DATABASE source_db;

   2. Créez une table.

      Exécutez l'instruction suivante pour créer une table :

      CREATE TABLE IF NOT EXISTS source_tb (
          `c1` int(11) NULL,
          `c2` string NULL,
          `c3` bigint NULL
      )
      DISTRIBUTED BY HASH(c1) BUCKETS 20
      PROPERTIES("replication_num" = "1");

   3. Insérez des données d'exemple.

      INSERT INTO source_tb VALUES
          (1, 'doris', 18),
          (2, 'nereids', 20),
          (3, 'pipelibe', 99999),
          (4, 'Apache', 122123455),
          (5, null, null);

   4. Vérifiez les données.

      Exécutez l'instruction suivante pour vérifier les données d'exemple :

      SELECT * FROM `source_tb` limit 10;

      Le résultat suivant est retourné :

      +--------------+--------------+--------------+
      | c1           | c2           | c3           |
      +--------------+--------------+--------------+
      | 1            | doris        | 18           |
      | 3            | pipelibe     | 99999        |
      | 5            |              |              |
      | 2            | nereids      | 20           |
      | 4            | Apache       | 122123455    |
      +--------------+--------------+--------------+

3. Sauvegardez l'instruction CREATE TABLE de la table source.

   Utilisez l'instruction SHOW CREATE TABLE pour afficher et sauvegarder l'instruction de création de la table cible. Voici un exemple :

   SHOW CREATE TABLE source_tb ;

   Le résultat suivant est retourné :

   +-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | Table           | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
   +-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | source_tb       | CREATE TABLE `source_tb` (
                           `c1` int NULL,
                           `c2` text NULL,
                           `c3` bigint NULL
                         ) ENGINE=OLAP
                         DUPLICATE KEY(`c1`)
                         DISTRIBUTED BY HASH(`c1`) BUCKETS 20
                         PROPERTIES (
                         "file_cache_ttl_seconds" = "0",
                         "is_being_synced" = "false",
                         "storage_medium" = "hdd",
                         "storage_format" = "V2",
                         "inverted_index_storage_format" = "V2",
                         "light_schema_change" = "true",
                         "disable_auto_compaction" = "false",
                         "enable_single_replica_compaction" = "false",
                         "group_commit_interval_ms" = "10000",
                         "group_commit_data_bytes" = "134217728"
                         ); |
   +-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   Rows returned: [1], Time taken: [22ms]

4. Exportez les données vers le bucket OSS.

   Exécutez l'instruction EXPORT pour exporter les données vers le bucket OSS.

   Syntaxe :

   EXPORT TABLE table_name
   [PARTITION (p1[,p2])]
   [WHERE]
   TO export_path
   [opt_properties]
   WITH S3
   [s3_properties];

   Le tableau suivant décrit les paramètres.

   Paramètre	Obligatoire	Description
   table_name	Oui	Nom de la table dont vous souhaitez exporter les données.
   partition	Non	Spécifie les partitions de la table à exporter.
   where	Non	Filtre les données à exporter.
   export_path	Oui	Chemin où les fichiers exportés sont stockés. Il peut s'agir d'un répertoire ou d'un répertoire avec un préfixe de fichier, par exemple s3://path/to/my_file_.
   opt_properties	Non	Spécifie les propriétés de la tâche d'exportation. Pour plus d'informations, consultez Syntaxe de opt_properties.
   s3_properties	Oui	Spécifie les propriétés liées au protocole S3. Pour plus d'informations, consultez Syntaxe de s3_properties.

   Syntaxe de opt_properties :

   [PROPERTIES ("key"="value", ...)]

   Vous pouvez spécifier les paramètres suivants.

   Paramètre	Obligatoire	Description
   label	Non	Libellé de la tâche d'exportation. Si aucun libellé n'est spécifié, le système en génère un automatiquement.
   column_separator	Non	Délimiteur de colonne pour les données exportées. La valeur par défaut est \t. Ce paramètre prend en charge les caractères multi-octets et s'applique uniquement au format de fichier CSV.
   line_delimiter	Non	Délimiteur de ligne pour les données exportées. La valeur par défaut est \n et ce paramètre prend en charge les caractères multi-octets. Il s'applique uniquement au format de fichier CSV.
   columns	Non	Spécifie les colonnes de la table à exporter.
   format	Non	Format de fichier des données exportées. Formats pris en charge : parquet, orc, csv, csv_with_names et csv_with_names_and_types. Le format par défaut est csv.
   max_file_size	Non	Taille maximale d'un seul fichier exporté. Si le jeu de résultats dépasse cette taille, il est divisé en plusieurs fichiers. Plage de valeurs : de 5 Mo à 2 Go Valeur par défaut : 1 Go Lorsque vous définissez le format d'exportation sur ORC (c'est-à-dire lorsque le paramètre format_as est ORC), la taille réelle du fichier fractionné est de ceil (max_file_size/64) * 64 Mo.
   parallelism	Non	Niveau de parallélisme de la tâche d'exportation. La valeur par défaut est 1. Une tâche d'exportation lance un nombre de threads égal à la valeur de parallélisme pour exécuter des instructions select into outfile. (Si la valeur de parallélisme est supérieure au nombre de tablets de la table, le système ajuste automatiquement le parallélisme au nombre de tablets. Ainsi, chaque instruction select into outfile gère un tablet).
   delete_existing_files	Non	Indique s'il faut supprimer tous les fichiers du chemin de destination. false (par défaut) : Ne supprime pas les fichiers du chemin de destination. true : Supprime tous les fichiers du répertoire spécifié par export_path, puis exporte les données vers ce répertoire. Par exemple : Si "file_path" = "/user/tmp", tous les fichiers et répertoires dans "/user/" seront supprimés. Si "file_path" = "/user/tmp/", tous les fichiers et répertoires dans "/user/tmp/" sont supprimés. Avertissement Définir delete_existing_files = true est une opération risquée. Nous vous recommandons d'utiliser ce paramètre uniquement dans un environnement de test. Pour utiliser le paramètre delete_existing_files, ouvrez un ticket auprès du support technique Alibaba Cloud. Ce paramètre ne prend effet qu'après l'ajout de la configuration enable_delete_existing_files = true au fichier fe.conf et le redémarrage du FE par l'équipe technique SelectDB.
   with_bom	Non	La valeur par défaut est false. Si elle est définie sur true, les fichiers exportés sont encodés en UTF-8 avec un indicateur d'ordre des octets (BOM). Ce paramètre est valide uniquement pour les formats de fichiers liés au CSV.
   timeout	Non	Délai d'expiration de la tâche d'exportation. La valeur par défaut est de 2 heures. Unité : secondes.

   Syntaxe de s3_properties :

   ("key"="value"[,...])

   Vous pouvez spécifier les paramètres suivants.

   Paramètre	Obligatoire	Description
   s3.endpoint	Oui	Endpoint de la destination de stockage compatible S3. Cet exemple utilise Alibaba Cloud OSS pour la migration. Dans ce cas, ce paramètre correspond à l'endpoint d'accès aux données OSS. Pour obtenir l'endpoint, consultez Régions et endpoints. Important Assurez-vous que le bucket OSS et votre instance ApsaraDB for SelectDB se trouvent dans la même région.
   s3.access_key	Oui	AccessKey ID de la destination de stockage compatible S3. Cet exemple utilise Alibaba Cloud OSS pour la migration. Il s'agit de l'AccessKey ID de l'utilisateur RAM utilisé pour accéder à OSS.
   s3.secret_key	Oui	AccessKey secret de la destination de stockage compatible S3. Cet exemple utilise Alibaba Cloud OSS pour la migration. Il s'agit de l'AccessKey secret de l'utilisateur RAM qui accède à OSS.
   s3.region	Oui	Région de la destination de stockage compatible S3. Puisque cet exemple utilise Alibaba Cloud OSS pour la migration, ce paramètre correspond à la région du bucket OSS. Pour savoir comment obtenir la région, consultez Régions et endpoints.
   use_path_style	Non	La valeur par défaut est false. Par défaut, le SDK S3 utilise le style virtual-hosted pour l'accès. Cependant, certains systèmes de stockage objet peuvent ne pas prendre en charge l'accès de style virtual-hosted. Vous pouvez ajouter le paramètre use_path_style pour forcer l'accès de style path. Remarque Les URI prennent actuellement en charge trois schémas : http://, https:// et s3://. Si vous utilisez http:// ou https://, le paramètre use_path_style détermine si l'accès de style path est utilisé pour la cible du protocole S3. Si vous utilisez s3://, la cible S3 sera accessible via le style virtual-hosted.

   L'exemple de code suivant illustre cette syntaxe :

   EXPORT TABLE  source_tb  -- Export data from the source_tb table.
               TO "s3://test-selectdb/test/"  -- Export data to the test folder in the test-selectdb bucket.
               PROPERTIES (
                   "label" = "test_export", -- A label for the job.
                   "format" = "orc",   -- The storage format of the file is ORC.
                   "max_file_size" = '2048MB', -- The size for splitting files.
                   'parallelism' = '10'  -- The export parallelism is 10.
               ) WITH s3 (
                   "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",  -- The URL for accessing the OSS bucket.
                   "s3.region" = "oss-cn-hangzhou",  -- The region of the OSS bucket.
                   "s3.secret_key"="yourAccessKeySecret",  -- The AccessKey secret of the RAM user for accessing OSS.
                   "s3.access_key" = "LTAI****************"  -- The AccessKey ID of the RAM user for accessing OSS.
               );

5. Vérifiez que les données ont bien été exportées.

   Vous pouvez vérifier l'exportation des données de l'une des manières suivantes :

   • Exécutez une instruction.

     Dans un client connecté à Doris, exécutez l'instruction suivante pour vérifier l'état de l'exportation :

     SHOW export;

     • Exportation réussie : Si le champ State affiche FINISHED, l'exportation a réussi.

     • Échec de l'exportation : Si le champ State du résultat affiche CANCELLED, l'exportation des données a échoué. Consultez les informations dans ErrorMsg pour diagnostiquer la cause de l'échec.

   • Utilisez la console OSS.

     Connectez-vous à la console OSS et vérifiez si les fichiers correspondants ont été générés dans le chemin d'exportation spécifié.

Étape 2 : Importer les données

1. Connectez-vous au cluster de destination. Pour plus d'informations, consultez Se connecter à une instance ApsaraDB for SelectDB via DMS.

2. Créez la table de destination.

3. Créez une base de données.

   1. (Facultatif) Créez une base de données.

      Si vous disposez déjà d'une base de données de destination, ignorez cette étape.

      Exécutez l'instruction suivante pour créer une base de données :

      CREATE DATABASE aim_db;

   2. Créez une table.

      Exécutez l'instruction CREATE TABLE que vous avez sauvegardée lors de l'étape d'exportation.

      L'exemple de code suivant illustre cette opération :

      CREATE TABLE IF NOT EXISTS aim_tb (
          `c1` int(11) NULL,
          `c2` string NULL,
          `c3` bigint NULL
      ) ENGINE=OLAP
      DUPLICATE KEY(`c1`)
      DISTRIBUTED BY HASH(c1) BUCKETS 20
      PROPERTIES("replication_num" = "1");

4. Importez les données.

   Utilisez S3 load pour importer les données OSS dans SelectDB. Pour la syntaxe de S3 load et d'autres exemples, consultez OSS Load.

   L'exemple de code suivant illustre cette opération :

    LOAD LABEL label_1  -- A unique identifier for the job. You can specify a custom name.
                   (
                       DATA INFILE("s3://test-selectdb/test/59ab2e9dc4ec4c04-9e50e45a6fda2c8e_0.orc")  -- The OSS path of the data file exported in the previous step.
                       INTO TABLE aim_tb  -- The name of the table to which you want to import data.
                       FORMAT AS ORC   -- The format of the import file, which must be the same as the exported file format.
                   )
                   WITH S3
                   (
                       "AWS_PROVIDER" = "OSS",
                       "AWS_REGION" = "oss-cn-hangzhou",  -- The region of the OSS bucket.
                       "AWS_ENDPOINT" = "oss-cn-hangzhou-internal.aliyuncs.com",  -- The URL for accessing the OSS bucket.
                       "AWS_ACCESS_KEY" = "LTAI****************",  -- The AccessKey ID of the RAM user for accessing OSS.
                       "AWS_SECRET_KEY"="yourAccessKeySecret"  -- The AccessKey secret of the RAM user for accessing OSS.
                   )
                   PROPERTIES
                   (
                       "timeout" = "3600"   -- The timeout period for the import job.
                   );

5. Vérifiez les résultats de l'importation.

   Vous pouvez vérifier les résultats de l'importation de l'une des manières suivantes :

   • Exécutez une instruction.

     Sur un client connecté à SelectDB, exécutez l'instruction suivante pour vérifier l'état de l'importation.

     SHOW load;

     Importation réussie : Si le champ State du résultat affiche FINISHED, l'importation des données a réussi.

   • Interrogez la table de destination. L'exemple de code suivant illustre cette opération :

     SELECT * FROM `aim_tb` limit 10;

     Le résultat suivant est retourné :

     +--------------+--------------+--------------+
     | c1           | c2           | c3           |
     +--------------+--------------+--------------+
     | 1            | doris        | 18           |
     | 3            | pipelibe     | 99999        |
     | 5            |              |              |
     | 2            | nereids      | 20           |
     | 4            | Apache       | 122123455    |
     +--------------+--------------+--------------+

     Les données de la table de destination correspondent aux données source de l'Étape 1 : Exporter les données source, ce qui confirme la réussite de l'importation.

Prérequis

• Assurez-vous que la connectivité réseau est établie entre l'instance Doris et l'instance SelectDB.

  • L'instance Doris et l'instance SelectDB doivent se trouver dans le même VPC. Si elles sont dans des VPC différents, résolvez d'abord le problème de connectivité réseau. Pour plus d'informations, consultez Comment résoudre les problèmes de connectivité réseau entre une instance SelectDB et une source de données ?

  • L'adresse IP de l'instance Doris a été ajoutée à la liste d'autorisation de SelectDB. Pour plus d'informations, consultez Configurer une liste d'autorisation.

  • Si l'instance Doris utilise une liste d'autorisation, ajoutez la plage d'adresses IP de l'instance SelectDB à la liste d'autorisation de l'instance Doris.

    • Pour obtenir la plage IP du VPC où réside votre instance SelectDB, consultez Comment trouver le bloc CIDR IP du VPC où se trouve mon instance ApsaraDB for SelectDB ?

    • Pour obtenir l'adresse IP publique de votre instance SelectDB, utilisez la commande ping sur son endpoint public SelectDB.

• La version de SelectDB ne doit pas être inférieure à celle de Doris.

  Remarque

  SelectDB est un entrepôt de données temps réel cloud natif basé sur Doris. Pour connaître la correspondance entre leurs versions, consultez les Notes de version du noyau.

• Vous maîtrisez les catalogs et leurs opérations de base. Pour plus d'informations, consultez Data lakehouse.

Environnement d'exemple

Cet exemple migre les données de la table doris_t dans la base de données doris_db de Doris vers la table test_doris2SelectDB dans la base de données test_db de SelectDB. Modifiez les paramètres selon vos besoins réels. L'environnement d'exemple est le suivant :

• Base de données de destination : test_db

• Table de destination : test_doris2SelectDB

• Base de données source : doris_db

• Table source : doris_t

Préparer les données source

Connectez-vous à votre base de données Doris source et effectuez les opérations suivantes :

1. Créez une base de données.

   CREATE DATABASE doris_db;

2. Créez une table.

   CREATE TABLE doris_t
   (
       id int,
       name string,
       age int
   )
   DISTRIBUTED BY HASH(id) BUCKETS 4
   PROPERTIES("replication_num" = "1");

3. Insérez des données.

   INSERT INTO doris_t VALUES
   (1, 'Alice', 25),
   (2, 'Bob', 30),
   (3, 'Charlie', 35),
   (4, 'David', 40),
   (5, 'Eve', 45);

Procédure

1. Connectez-vous à l'instance SelectDB. Pour plus d'informations, consultez Se connecter à une instance Cloud Database SelectDB via un client MySQL.

2. Créez un catalog JDBC pour la base de données Doris.

   CREATE CATALOG doris_catalog PROPERTIES (
    "type"="jdbc",
    "user"="root",
    "password"="123456",
    "jdbc_url" = "jdbc:mysql://127.0.0.1:9030/doris_db",
    "driver_url" = "mysql-connector-java-8.0.25.jar",
    "driver_class" = "com.mysql.cj.jdbc.Driver"
   )

   Paramètre	Obligatoire	Valeur par défaut	Description
   user	Oui	Aucune	Nom d'utilisateur du compte de la base de données Doris.
   password	Oui	Aucune	Mot de passe du compte de la base de données Doris.
   jdbc_url	Oui	Aucune	Chaîne de connexion JDBC, qui doit inclure l'adresse de connexion de la base de données Doris. Format : jdbc:mysql://<host>:<port>/<database> host : Adresse IP de la base de données Doris. port : Numéro de port de la base de données Doris. database : Nom de la base de données à laquelle vous souhaitez accéder. Exemple : jdbc:mysql://127.0.0.1:9030/doris_db
   driver_url	Oui	Aucune	Nom du fichier JAR du pilote JDBC. Remarque Nous vous recommandons d'utiliser mysql-connector-java-8.0.25.jar. Si vous souhaitez utiliser un autre fichier JAR, ouvrez un ticket de support.
   driver_class	Oui	Aucune	Nom de classe du pilote JDBC. Le paramètre recommandé est com.mysql.cj.jdbc.Driver.
   lower_case_table_names Remarque Ce paramètre est renommé lower_case_meta_names dans la version 4.0.	Non	"false"	Indique s'il faut synchroniser les noms de bases de données et de tables de la source de données JDBC externe en minuscules. true : Permet d'interroger des bases de données et des tables dont les noms ne sont pas en minuscules en maintenant un mappage entre les noms en minuscules et leurs noms réels dans le système distant. Dans ce cas, les noms de bases de données, de tables et de colonnes sont tous convertis en minuscules. false : Ne permet pas d'interroger des bases de données et des tables dont les noms ne sont pas en minuscules. Important Pour SelectDB 3.0 : Lorsque le paramètre lower_case_table_names du FE est défini sur 1 ou 2, le paramètre lower_case_table_names du Catalog doit être défini sur true. Lorsque le paramètre lower_case_table_names du FE est défini sur 0, le paramètre du Catalog peut être true ou false. Pour SelectDB 4.0 : Lorsque le paramètre lower_case_table_names du FE est défini sur 0 ou 2, les noms de bases de données, de tables ou de colonnes ne sont pas convertis. Lorsque le paramètre lower_case_table_names du FE est défini sur 1, les noms de tables sont convertis en minuscules, tandis que les noms de bases de données et de colonnes ne le sont pas.
   only_specified_database	Non	"false"	Indique s'il faut synchroniser uniquement la base de données spécifiée. true : Synchronise uniquement la base de données spécifiée dans l'URL JDBC. false : Synchronise toutes les bases de données accessibles via l'URL JDBC.
   include_database_list	Non	""	Lorsque only_specified_database=true, spécifiez une ou plusieurs bases de données à synchroniser, séparées par des virgules. Les noms de bases de données sont sensibles à la casse.
   exclude_database_list	Non	""	Lorsque only_specified_database=true, spécifiez les bases de données à exclure de la synchronisation, séparées par des virgules. Les noms de bases de données sont sensibles à la casse.
   meta_names_mapping	Non	""	Si une source de données externe contient des noms identiques à la casse près, comme DORIS et doris, Doris signale une erreur lors de l'interrogation du Catalog en raison de l'ambiguïté. Pour résoudre ce conflit, configurez le paramètre meta_names_mapping. Pour plus d'informations, consultez Synchronisation des noms en minuscules. Important Ce paramètre s'applique uniquement à la version 4.0 de SelectDB.

3. Consultez les catalogs.

   SHOW CATALOGS; -- Check whether the catalog was created successfully.

   Le résultat suivant est retourné :

   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
   | CatalogId    | CatalogName  | Type     | IsCurrent | CreateTime              | LastUpdateTime      | Comment                |
   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
   | 436009309195 | doris_catalog | jdbc      |           | 2024-08-06 17:09:08.058 | 2024-07-19 18:04:37 |                        |
   |            0 | internal     | internal | yes       | UNRECORDED              | NULL                | Doris internal catalog |
   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+

4. (Facultatif) Basculez vers le catalog externe doris_catalog.

   Vous pouvez consulter et accéder aux données du catalog externe doris_catalog de la même manière que pour les données du catalog interne.

   Remarque

   Actuellement, ApsaraDB for SelectDB ne prend en charge que les opérations de lecture sur les données d'un External Catalog.

   SWITCH doris_catalog;

5. (Facultatif) Basculez vers le catalog interne.

   Si vous n'avez pas effectué l'étape 4, ignorez cette étape.

   SWITCH internal;

6. (Facultatif) Créez une base de données.

   Si vous disposez déjà d'une base de données de destination, ignorez cette étape.

   CREATE database test_db;

7. Basculez vers la base de données de destination.

   USE test_db;

8. Créez une table.

   Si la table de destination existe déjà, assurez-vous que ses types de données de colonnes correspondent correctement à ceux de la table source.

   Si vous n'avez pas de table de destination, assurez-vous que les types de données des colonnes correspondent correctement à ceux de la table source Doris lors de la création de la table.

   Pour plus d'informations sur le mappage des colonnes, consultez Mappages des types de données.

   CREATE TABLE test_doris2SelectDB
   (
       id int,
       name string,
       age int
   )
   DISTRIBUTED BY HASH(id) BUCKETS 4
   PROPERTIES("replication_num" = "1");

9. Migrez les données.

   INSERT INTO test_doris2SelectDB SELECT *  FROM doris_catalog.doris_db.doris_t;

10. Vérifiez l'importation des données.

    SELECT *  FROM test_doris2SelectDB;