E-MapReduce：Impor dan ekspor data antara OSS dan ClickHouse

Gunakan mesin tabel S3 untuk mengimpor data

Mesin tabel Hadoop Distributed File System (HDFS) ClickHouse dapat membaca file data dalam format tertentu dari alamat OSS yang ditentukan. Sintaks:

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
  name1 [type1] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1],
  name2 [type2] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr2] [compression_codec] [TTL expr2],
  ...
)
ENGINE = S3(path, [access_key_id, access_key_secret,] format, [compression]);

1. Buat tabel untuk membaca data dari OSS.

   1. Unduh objek contoh orders.csv dan unggah objek tersebut ke OSS. Dalam contoh ini, objek diunggah ke direktori root bucket OSS bernama test.

   2. Eksekusi pernyataan berikut untuk membuat tabel OSS dan gunakan mesin tabel S3:

      CREATE DATABASE IF NOT EXISTS oss ON CLUSTER cluster_emr;
      CREATE TABLE oss.orders_oss
      (
        uid UInt32,
        date DateTime,
        skuId UInt32,
        order_revenue UInt32
      ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

      Catatan

      Dalam kode contoh, http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv adalah path ke objek orders.csv dalam bucket OSS bernama test di wilayah China (Beijing).

2. Eksekusi pernyataan berikut untuk mengimpor data ke tabel product.orders_all:

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     oss.orders_oss;

3. Eksekusi pernyataan berikut untuk melihat data dalam tabel dan memeriksa konsistensi data:

   • Kueri data dalam tabel orders_all.

     SELECT count(1) FROM product.orders_all;

   • Kueri data dalam tabel orders_oss.

     SELECT count(1) FROM oss.orders_oss;

Gunakan fungsi tabel S3 untuk mengimpor data

Fungsi tabel S3 ClickHouse dapat membaca file data dari alamat HDFS yang ditentukan dan mengembalikan tabel dengan skema yang ditentukan. Sintaks:

s3(path, [access_key_id, access_key_secret,] format, structure, [compression])

1. Gunakan fungsi tabel S3 untuk mengimpor data ke kluster ClickHouse.

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32');

2. Eksekusi pernyataan berikut untuk melihat data dalam tabel dan memeriksa konsistensi data:

   • Kueri data dalam tabel orders_all.

     SELECT count(1) FROM product.orders_all;

   • Kueri data dalam tabel orders_oss.

     SELECT count(1) FROM oss.orders_oss;

Gunakan mesin tabel S3 untuk mengekspor data

1. Eksekusi pernyataan berikut untuk membuat tabel S3:

   CREATE TABLE oss.orders_oss
   (
     uid UInt32,
     date DateTime,
     skuId UInt32,
     order_revenue UInt32
   ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

2. Eksekusi pernyataan berikut untuk menulis data ke tabel:

   -- Dalam contoh ini, tabel bisnis product.orders_all digunakan.
   INSERT INTO oss.orders_oss
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   Catatan

   Selama ekspor data, ClickHouse membuat objek dalam path terkait dan menulis data ke objek tersebut. Secara default, jika objek tempat Anda ingin menulis data sudah ada di OSS, ekspor data gagal. Anda dapat mengonfigurasi parameter untuk kluster EMR versi V5.8.0, V3.45.0, dan versi minor terbaru mereka untuk mencegah kegagalan.

3. Lihat data di Konsol OSS.

Gunakan fungsi tabel HDFS untuk mengekspor data

1. Eksekusi pernyataan berikut untuk mengekspor data:

   INSERT INTO FUNCTION
   s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32')
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   Catatan

   Selama ekspor data, ClickHouse membuat objek dalam path terkait dan menulis data ke objek tersebut. Secara default, jika objek tempat Anda ingin menulis data sudah ada di OSS, ekspor data gagal. Anda dapat mengonfigurasi parameter untuk kluster EMR versi V5.8.0, V3.45.0, dan versi minor terbaru mereka untuk mencegah kegagalan.

2. Lihat data di Konsol OSS.