AnalyticDB:Import MaxCompute data by using external tables

Import standard

1. Ouvrez l'éditeur SQL. Connectez-vous à la console AnalyticDB for MySQL. Dans le coin supérieur gauche, sélectionnez une région. Dans le volet de navigation de gauche, cliquez sur Clusters, recherchez et cliquez sur l'ID du cluster, puis choisissez Job Development > SQL Development.

2. Créez une base de données externe.

   CREATE EXTERNAL DATABASE adb_external_db;

3. Créez une table externe mappée à la table source MaxCompute.

   Remarque

   • Les colonnes de la table externe doivent correspondre exactement à celles de la table source MaxCompute : mêmes noms de champs, même nombre de champs, même ordre des champs et types de données compatibles. Pour tous les paramètres TABLE_PROPERTIES , consultez la rubrique CREATE EXTERNAL TABLE.

   Paramètre	Description
   ENGINE='ODPS'	Spécifie MaxCompute comme moteur de stockage.
   endpoint	Le point de terminaison VPC de MaxCompute. Seuls les points de terminaison VPC sont pris en charge. Consultez la rubrique Points de terminaison VPC pour obtenir les points de terminaison par région.
   accessid	L'AccessKey ID disposant des autorisations de lecture sur le projet MaxCompute.
   accesskey	L'AccessKey Secret correspondant à l'AccessKey ID.
   partition_column	Le nom de la colonne de partition. Omettez ce paramètre si la table source MaxCompute n'est pas partitionnée.
   project_name	Le nom de l'espace de travail MaxCompute.
   table_name	Le nom de la table source dans MaxCompute.

   CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_db.test_adb (
       id int,
       name varchar(1023),
       age int,
       dt string
   ) ENGINE='ODPS'
   TABLE_PROPERTIES='{
   "accessid":"yourAccessKeyID",
   "endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
   "accesskey":"yourAccessKeySecret",
   "partition_column":"dt",
   "project_name":"odps_project",
   "table_name":"odps_nopart_import_test"
   }';

   Paramètres clés :

4. Vérifiez la table externe en interrogeant les données.

   SELECT * FROM adb_external_db.test_adb;

   Résultat attendu :

   +------+-------+------+---------+
   | id   | name  | age  |   dt    |
   +------+-------+------+---------+
   |    1 | james |   10 |  202207 |
   |    2 | bond  |   20 |  202207 |
   |    3 | jack  |   30 |  202207 |
   |    4 | lucy  |   40 |  202207 |
   +------+-------+------+---------+

5. Créez une base de données et une table de destination dans AnalyticDB for MySQL.

   Remarque

   La table de destination et la table externe doivent présenter le même ordre de champs et le même nombre de champs, avec des types de données compatibles.

   CREATE DATABASE adb_demo;

   CREATE TABLE IF NOT EXISTS adb_demo.adb_import_test(
       id int,
       name string,
       age int,
       dt string,
       PRIMARY KEY(id,dt)
   )
   DISTRIBUTED BY HASH(id)
   PARTITION BY VALUE('dt');

6. Importez les données. Choisissez l'une des méthodes suivantes :

   • **Méthode 1 — INSERT INTO :** importe les données et ignore les lignes dont les clés primaires sont dupliquées (équivalent à INSERT IGNORE INTO). Consultez la rubrique INSERT INTO.

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     Pour importer uniquement à partir d'une partition spécifique :

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb
     WHERE dt = '202207';

   • **Méthode 2 — INSERT OVERWRITE INTO :** écrase toutes les données existantes dans la table de destination.

     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

   • **Méthode 3 — INSERT OVERWRITE INTO asynchrone :** soumet l'import en tant que tâche en arrière-plan. Ajoutez l'indicateur /*+ direct_batch_load=true*/ pour accélérer la tâche. Consultez la rubrique Écritures asynchrones.

     SUBMIT JOB
     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     La commande renvoie un ID de tâche :

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |
     +---------------------------------------+

     Utilisez l'ID de tâche pour surveiller ou annuler la tâche. Consultez la rubrique Soumettre une tâche d'import asynchrone.

Import élastique

L'import élastique exécute l'import au sein d'une tâche Serverless Spark, réduisant ainsi l'impact sur les charges de travail en temps réel. Cette fonctionnalité nécessite Milvus V3.1.10.0 ou version ultérieure, ainsi qu'un groupe de ressources de tâche configuré.

1. Ouvrez l'éditeur SQL. Connectez-vous à la console AnalyticDB for MySQL. Dans le coin supérieur gauche, sélectionnez une région. Dans le volet de navigation de gauche, cliquez sur Clusters, recherchez et cliquez sur l'ID du cluster, puis choisissez Job Development > SQL Development.

2. Créez une base de données (ignorez cette étape si elle existe déjà).

   CREATE DATABASE adb_demo;

3. Créez une table externe.

   Remarque

   • Le nom de la table externe doit correspondre au nom du projet MaxCompute. Sinon, la création de la table externe échoue.

   • L'import élastique nécessite la création de tables externes avec CREATE TABLE (et non CREATE EXTERNAL TABLE).

   • Les colonnes de la table externe doivent correspondre exactement à celles de la table source MaxCompute : mêmes noms de champs, même nombre de champs, même ordre des champs et mêmes types de données.

   CREATE TABLE IF NOT EXISTS test_adb
   (
       id int,
       name string,
       age int,
       dt string
   )
   ENGINE='ODPS'
   TABLE_PROPERTIES='{
   "endpoint":"http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api",
   "accessid":"yourAccessKeyID",
   "accesskey":"yourAccessKeySecret",
   "partition_column":"dt",
   "project_name":"odps_project",
   "table_name":"odps_nopart_import_test"
   }';

   Pour obtenir les descriptions des paramètres TABLE_PROPERTIES , consultez la rubrique Descriptions des paramètres.

4. Vérifiez la table externe en interrogeant les données.

   SELECT * FROM adb_demo.test_adb;

5. Créez la table de destination dans AnalyticDB for MySQL.

   Remarque

   La table de destination et la table externe doivent avoir les mêmes noms de champs, le même nombre de champs, le même ordre des champs et les mêmes types de données.

   CREATE TABLE IF NOT EXISTS adb_import_test
   (
       id int,
       name string,
       age int,
       dt string,
       PRIMARY KEY(id,dt)
   )
   DISTRIBUTED BY HASH(id)
   PARTITION BY VALUE('dt') LIFECYCLE 30;

6. Importez les données à l'aide de l'une des méthodes suivantes. Les deux méthodes utilisent les paramètres d'indicateur elastic_load et elastic_load_configs pour activer et configurer la tâche d'import élastique. Définissez elastic_load sur true pour activer l'import élastique (valeur par défaut : false). Utilisez elastic_load_configs pour spécifier les paramètres de configuration entre crochets [ ] ; séparez plusieurs paramètres par | . Le paramètre elastic_load_configs accepte les paramètres suivants :

   • Méthode 1 — Import élastique synchrone :

     /*+ elastic_load=true, elastic_load_configs=[adb.load.resource.group.name=resource_group]*/
     INSERT OVERWRITE INTO adb_demo.adb_import_test SELECT * FROM adb_demo.test_adb;

   • Méthode 2 — Import élastique asynchrone :

     Important

     Les files d'attente de priorité ne sont pas prises en charge pour les tâches d'import élastique asynchrone.

     /*+ elastic_load=true, elastic_load_configs=[adb.load.resource.group.name=resource_group]*/
     SUBMIT JOB INSERT OVERWRITE INTO adb_demo.adb_import_test SELECT * FROM adb_demo.test_adb;

     La commande renvoie un ID de tâche. Utilisez-le pour surveiller ou annuler la tâche. Consultez la rubrique Soumettre une tâche d'import asynchrone.

   Paramètre	Obligatoire	Description
   adb.load.resource.group.name	Oui	Nom du groupe de ressources de tâche qui exécute la tâche d'import élastique.
   adb.load.job.max.acu	Non	Ressources maximales allouées à la tâche d'import élastique. Unité : unités de calcul AnalyticDB (ACU). Minimum : 5 ACU. Par défaut : nombre de shards plus 1. Pour interroger le nombre de shards : SELECT count(1) FROM information_schema.kepler_meta_shards;
   spark.driver.resourceSpec	Non	Type de ressource du pilote Spark. Par défaut : small . Consultez la colonne Type dans le tableau des spécifications des ressources Spark .
   spark.executor.resourceSpec	Non	Type de ressource de l'exécuteur Spark. Par défaut : large . Consultez la colonne Type dans le tableau des spécifications des ressources Spark .
   spark.adb.executorDiskSize	Non	Capacité disque de l'exécuteur Spark. Valeurs valides : (0, 100]. Unité : Go. Par défaut : 10 Go. Consultez la rubrique Spécifier les ressources du pilote et de l'exécuteur .

7. (Facultatif) Vérifiez que la tâche s'est exécutée en tant que tâche d'import élastique.

   SELECT job_name, (job_type = 3) AS is_elastic_load
   FROM INFORMATION_SCHEMA.kepler_meta_async_jobs
   WHERE job_name = "2023081818010602101701907303151******";

   Résultat attendu :

   +---------------------------------------+------------------+
   | job_name                              | is_elastic_load  |
   +---------------------------------------+------------------+
   | 2023081517195203101701907203151****** |       1          |
   +---------------------------------------+------------------+

   La valeur is_elastic_load = 1 indique une tâche d'import élastique. La valeur is_elastic_load = 0 indique une tâche d'import standard.