E-MapReduce:Importer et exporter des données entre OSS et ClickHouse

Importation avec le moteur de table S3

Le moteur de table S3 de ClickHouse lit les données dans un format spécifique à partir d'un chemin OSS donné. La syntaxe est la suivante :

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
  name1 [type1] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1],
  name2 [type2] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr2] [compression_codec] [TTL expr2],
  ...
)
ENGINE = S3(path, [access_key_id, access_key_secret,] format, [compression]);

1. Créez une table pour lire les données depuis OSS.

   1. Téléchargez le fichier de données d'exemple orders.csv et téléversez-le dans le répertoire racine d'un compartiment OSS nommé test.

   2. Exécutez la commande suivante pour créer une table OSS utilisant le moteur de table S3.

      CREATE DATABASE IF NOT EXISTS oss ON CLUSTER cluster_emr;
      CREATE TABLE oss.orders_oss
      (
        uid UInt32,
        date DateTime,
        skuId UInt32,
        order_revenue UInt32
      ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

      Remarque

      Le chemin de données d'exemple http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv représente le fichier orders.csv dans un compartiment nommé test dans la région cn-beijing.

2. Exécutez la commande suivante pour importer les données dans la table product.orders_all.

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     oss.orders_oss;

3. Exécutez les commandes suivantes pour afficher les données dans les tables et vérifier la cohérence des données :

   • Affichez les données de la table orders_all.

     SELECT count(1) FROM product.orders_all;

   • Affichez les données de la table orders_oss.

     SELECT count(1) FROM oss.orders_oss;

Importation avec une fonction de table S3

La fonction de table S3 de ClickHouse lit les données à partir d'un chemin OSS spécifié et renvoie une table avec une structure définie. La syntaxe est la suivante :

s3(path, [access_key_id, access_key_secret,] format, structure, [compression])

1. Utilisez la fonction de table S3 pour importer des données dans le cluster ClickHouse.

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32');

2. Exécutez les commandes suivantes pour afficher les données dans les tables et vérifier la cohérence des données :

   • Affichez les données de la table orders_all.

     SELECT count(1) FROM product.orders_all;

   • Affichez les données de la table orders_oss.

     SELECT count(1) FROM oss.orders_oss;

Exportation avec le moteur de table S3

1. Exécutez la commande suivante pour créer une table S3.

   CREATE TABLE oss.orders_oss
   (
     uid UInt32,
     date DateTime,
     skuId UInt32,
     order_revenue UInt32
   ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

2. Exécutez la commande suivante pour écrire les données dans la table.

   -- Assume the business table is product.orders_all
   INSERT INTO oss.orders_oss
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   Remarque

   Lorsque ClickHouse exporte des données, il crée un fichier au chemin spécifié et y écrit les données. Par défaut, l'exportation échoue si le fichier existe déjà. Sur les versions EMR-5.8.0, EMR-3.45.0 et ultérieures, vous pouvez configurer les paramètres pour modifier ce comportement.

3. Consultez les données dans la console OSS.

Exportation avec une fonction de table S3

1. Exécutez la commande suivante pour exporter les données.

   INSERT INTO FUNCTION
   s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32')
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   Remarque

   Lorsque ClickHouse exporte des données, il crée un fichier au chemin spécifié et y écrit les données. Par défaut, l'exportation échoue si le fichier existe déjà. Sur les versions EMR-5.8.0, EMR-3.45.0 et ultérieures, vous pouvez configurer les paramètres pour modifier ce comportement.

2. Consultez les données dans la console OSS.