E-MapReduce:Impor dan ekspor data antara OSS dan ClickHouse

Impor dengan mesin tabel S3

Mesin tabel S3 ClickHouse membaca data dalam format tertentu dari path OSS yang ditentukan. Sintaksnya adalah sebagai berikut:

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
  name1 [type1] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1],
  name2 [type2] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr2] [compression_codec] [TTL expr2],
  ...
)
ENGINE = S3(path, [access_key_id, access_key_secret,] format, [compression]);

1. Buat tabel untuk membaca data dari OSS.

   1. Unduh file data sampel orders.csv dan unggah ke direktori root bucket OSS bernama test.

   2. Jalankan perintah berikut untuk membuat tabel OSS yang menggunakan mesin tabel S3.

      CREATE DATABASE IF NOT EXISTS oss ON CLUSTER cluster_emr;
      CREATE TABLE oss.orders_oss
      (
        uid UInt32,
        date DateTime,
        skuId UInt32,
        order_revenue UInt32
      ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

      Catatan

      Path data contoh http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv merepresentasikan file orders.csv dalam bucket bernama test di wilayah cn-beijing.

2. Jalankan perintah berikut untuk mengimpor data ke tabel product.orders_all.

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     oss.orders_oss;

3. Jalankan perintah berikut untuk melihat data dalam tabel dan memverifikasi konsistensi data:

   • Lihat data dalam tabel orders_all.

     SELECT count(1) FROM product.orders_all;

   • Lihat data dalam tabel orders_oss.

     SELECT count(1) FROM oss.orders_oss;

Impor dengan fungsi tabel S3

Fungsi tabel S3 ClickHouse membaca data dari path OSS yang ditentukan dan mengembalikan tabel dengan struktur yang telah didefinisikan. Sintaksnya adalah sebagai berikut:

s3(path, [access_key_id, access_key_secret,] format, structure, [compression])

1. Gunakan fungsi tabel S3 untuk mengimpor data ke kluster ClickHouse.

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32');

2. Jalankan perintah berikut untuk melihat data dalam tabel dan memverifikasi konsistensi data:

   • Lihat data dalam tabel orders_all.

     SELECT count(1) FROM product.orders_all;

   • Lihat data dalam tabel orders_oss.

     SELECT count(1) FROM oss.orders_oss;

Ekspor dengan mesin tabel S3

1. Jalankan perintah berikut untuk membuat tabel S3.

   CREATE TABLE oss.orders_oss
   (
     uid UInt32,
     date DateTime,
     skuId UInt32,
     order_revenue UInt32
   ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

2. Jalankan perintah berikut untuk menulis data ke tabel.

   -- Assume the business table is product.orders_all
   INSERT INTO oss.orders_oss
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   Catatan

   Ketika ClickHouse mengekspor data, file dibuat di path yang ditentukan dan data ditulis ke dalamnya. Secara default, ekspor gagal jika file sudah ada. Pada EMR-5.8.0, EMR-3.45.0, dan versi lebih baru, Anda dapat mengonfigurasi parameter untuk mengubah perilaku ini.

3. Lihat data di OSS console.

Ekspor dengan fungsi tabel S3

1. Jalankan perintah berikut untuk mengekspor data.

   INSERT INTO FUNCTION
   s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32')
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   Catatan

   Ketika ClickHouse mengekspor data, file dibuat di path yang ditentukan dan data ditulis ke dalamnya. Secara default, ekspor gagal jika file sudah ada. Pada EMR-5.8.0, EMR-3.45.0, dan versi lebih baru, Anda dapat mengonfigurasi parameter untuk mengubah perilaku ini.

2. Lihat data di OSS console.