AnalyticDB:Exporter des données vers HDFS

Étape 1 : Se connecter au cluster AnalyticDB for MySQL

Connectez-vous au cluster. Pour plus de détails, consultez la rubrique Connexion à un cluster AnalyticDB for MySQL.

Étape 2 : Créer une base de données source et une table

Cet exemple utilise une base de données nommée adb_demo comme source.

1. Créez la base de données source. Pour plus de détails, consultez la rubrique Créer une base de données.

2. Créez une table source nommée adb_hdfs_import_source dans adb_demo :

   CREATE TABLE IF NOT EXISTS adb_hdfs_import_source
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);

3. Insérez des données de test :

   INSERT INTO adb_hdfs_import_source VALUES ("1", "a"), ("2", "b"), ("3", "c");

Étape 3 : Créer une table externe

Créez une table externe dans adb_demo qui mappe le dossier de destination dans Apsara File Storage for HDFS. AnalyticDB for MySQL prend en charge deux types de tables externes : standard et partitionnée.

Table externe standard

Une table externe standard exporte toutes les données dans un seul répertoire sans sous-répertoires de partition. Les exemples suivants montrent comment créer une table externe standard pour les formats CSV et Parquet.

Format CSV :

CREATE TABLE IF NOT EXISTS hdfs_import_external
(
    uid string,
    other string
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
    "format":"csv",
    "delimiter":",",
    "hdfs_url":"hdfs://172.17.***.***:9000/adb/hdfs_output_test_csv_data"
}';

Format Parquet :

CREATE TABLE IF NOT EXISTS hdfs_import_external
(
    uid string,
    other string
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
    "format":"parquet",
    "hdfs_url":"hdfs://172.17.***.***:9000/adb/hdfs_output_test_csv_data"
}';

Table externe partitionnée

Une table externe partitionnée organise les données exportées dans des sous-répertoires de partition en fonction des valeurs des colonnes de partition. Définissez à la fois les colonnes ordinaires (telles que uid et other) et les colonnes de partition (telles que p1, p2 et p3) dans l'instruction CREATE TABLE.

CREATE TABLE IF NOT EXISTS hdfs_import_external_par
(
    uid string,
    other string,
    p1 date,
    p2 int,
    p3 varchar
)
ENGINE='HDFS'
TABLE_PROPERTIES='{
    "format":"csv",
    "delimiter":",",
    "hdfs_url":"hdfs://172.17.***.***:9000/adb/hdfs_output_test_csv_data",
    "partition_column":"p1, p2, p3"
}';

Pour la syntaxe complète, consultez les sections Créer une table externe Apsara File Storage for HDFS et Créer une table externe partitionnée Apsara File Storage for HDFS de la rubrique Utiliser des tables externes pour importer des données dans Data Warehouse Edition.

Étape 4 : Exporter des données

Utilisez l'une des méthodes d'exportation décrites dans les annexes pour exécuter une tâche d'exportation :

• Méthodes d'exportation pour les tables externes standard

• Méthodes d'exportation pour les tables externes partitionnées

INSERT INTO

Chaque exécution ajoute un nouveau fichier au répertoire de destination HDFS sans supprimer les fichiers existants.

Syntaxe :

INSERT INTO <target_table>
SELECT <col_name> FROM <source_table>;

Exemple :

INSERT INTO hdfs_import_external
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

col1, col2, col3 représentent toutes les colonnes de la table externe.

REPLACE INTO

Équivalent à INSERT INTO pour les tables externes HDFS. Les tables externes n'ayant pas de clés primaires, REPLACE INTO ajoute un nouveau fichier au répertoire de destination au lieu de remplacer les lignes.

Syntaxe :

REPLACE INTO <target_table>
SELECT <col_name> FROM <source_table>;

Exemple :

REPLACE INTO hdfs_import_external
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

INSERT OVERWRITE

Supprime tous les fichiers du répertoire de destination avant d'écrire les nouvelles données.

Syntaxe :

INSERT OVERWRITE <target_table>
SELECT <col_name> FROM <source_table>;

Exemple :

INSERT OVERWRITE hdfs_import_external
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

SUBMIT JOB INSERT OVERWRITE (asynchrone)

Exécute l'exportation par écrasement de manière asynchrone et renvoie immédiatement un ID de tâche. Utilisez cette méthode pour les exportations volumineuses qui bloqueraient autrement la session.

Syntaxe :

SUBMIT JOB INSERT OVERWRITE <target_table>
SELECT <col_name> FROM <source_table>;

Exemple :

SUBMIT JOB INSERT OVERWRITE hdfs_import_external
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

L'ID de tâche renvoyé identifie la tâche asynchrone :

+---------------------------------------+
| job_id                                |
+---------------------------------------+
| 2020112122202917203100908203303****** |
+---------------------------------------+

Pour vérifier l'état de la tâche, consultez la rubrique Soumettre une tâche d'importation de manière asynchrone.

INSERT INTO PARTITION

Chaque exécution ajoute un nouveau fichier au répertoire de partition correspondant.

Partition entièrement statique — toutes les valeurs de partition sont spécifiées explicitement :

INSERT INTO <target_table> PARTITION(par1=val1, par2=val2, ...)
SELECT <col_name> FROM <source_table>;

Exemple :

INSERT INTO hdfs_import_external_par PARTITION(p1='2021-05-06', p2=1, p3='test')
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

Partition statique-dynamique — certaines valeurs de partition sont statiques, tandis que d'autres sont dérivées du résultat de la requête :

Les colonnes de partition statiques doivent apparaître avant les colonnes de partition dynamiques dans la clause PARTITION .

INSERT INTO <target_table> PARTITION(par1=val1, par2, ...)
SELECT <col_name> FROM <source_table>;

Exemple :

INSERT INTO hdfs_import_external_par PARTITION(p1='2021-05-27', p2, p3)
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

Partition entièrement dynamique — les valeurs de partition sont dérivées du résultat de la requête ; aucune clause PARTITION n'est nécessaire :

INSERT INTO <target_table>
SELECT <col_name> FROM <source_table>;

Exemple :

INSERT INTO hdfs_import_external_par
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

REPLACE INTO PARTITION

Équivalent à INSERT INTO PARTITION pour les tables externes HDFS. Les tables externes n'ayant pas de clés primaires, REPLACE INTO PARTITION ajoute un nouveau fichier au lieu de remplacer les lignes.

Partition entièrement statique :

REPLACE INTO <target_table> PARTITION(par1=val1, par2=val2, ...)
SELECT <col_name> FROM <source_table>;

Exemple :

REPLACE INTO hdfs_import_external_par PARTITION(p1='2021-05-06', p2=1, p3='test')
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

Partition statique-dynamique :

Les colonnes de partition statiques doivent apparaître avant les colonnes de partition dynamiques dans la clause PARTITION .

REPLACE INTO <target_table> PARTITION(par1=val1, par2, ...)
SELECT <col_name> FROM <source_table>;

Exemple :

REPLACE INTO hdfs_import_external_par PARTITION(p1='2021-05-06', p2, p3)
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

Partition entièrement dynamique :

REPLACE INTO <target_table>
SELECT <col_name> FROM <source_table>;

Exemple :

REPLACE INTO hdfs_import_external_par
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

INSERT OVERWRITE PARTITION

Écrase les données existantes dans les répertoires de partition spécifiés. Les partitions non couvertes par l'instruction ne sont pas affectées. La clause optionnelle IF NOT EXISTS ignore les partitions contenant déjà des données.

Syntaxe :

INSERT OVERWRITE <target_table> PARTITION(par1=val1, par2=val2, ...) [IF NOT EXISTS]
SELECT <col_name> FROM <source_table>;

Exemple :

INSERT OVERWRITE hdfs_import_external_par PARTITION(p1='2021-05-06', p2=1, p3='test') IF NOT EXISTS
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

IF NOT EXISTS empêche l'écriture de données dans une partition qui contient déjà des données, laissant son contenu existant intact.

SUBMIT JOB INSERT OVERWRITE (asynchrone)

Exécute l'exportation par écrasement de partition de manière asynchrone et renvoie immédiatement un ID de tâche.

Syntaxe :

SUBMIT JOB INSERT OVERWRITE <target_table>
SELECT <col_name> FROM <source_table>;

Exemple :

SUBMIT JOB INSERT OVERWRITE hdfs_import_external_par PARTITION(p1='2021-05-06', p2=1, p3='test') IF NOT EXISTS
SELECT col1, col2, col3 FROM adb_hdfs_import_source;

L'ID de tâche renvoyé identifie la tâche asynchrone :

+---------------------------------------+
| job_id                                |
+---------------------------------------+
| 2020112122202917203100908203303****** |
+---------------------------------------+

Pour vérifier l'état de la tâche, consultez la rubrique Soumettre une tâche d'importation de manière asynchrone.