E-MapReduce：OSS與ClickHouse間的資料匯入與匯出

通過S3表引擎匯入資料

ClickHouse的HDFS表引擎能夠從指定OSS地址讀取特定格式的檔案資料，文法如下：

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
  name1 [type1] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1],
  name2 [type2] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr2] [compression_codec] [TTL expr2],
  ...
)
ENGINE = S3(path, [access_key_id, access_key_secret,] format, [compression]);

1. 建表從OSS當中讀取資料

   1. 下載並上傳樣本資料orders.csv至OSS中，本文將檔案上傳名為test的OSS Bucket的根目錄下。

   2. 執行以下命令建立OSS表，設定表引擎為S3表引擎。

      CREATE DATABASE IF NOT EXISTS oss ON CLUSTER cluster_emr;
      CREATE TABLE oss.orders_oss
      (
        uid UInt32,
        date DateTime,
        skuId UInt32,
        order_revenue UInt32
      ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

      說明

      樣本中的資料目錄http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv，表示cn-beijing地區下名稱為test的Bucket中的orders.csv檔案。

2. 執行以下命令將資料匯入product.orders_all表中。

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     oss.orders_oss;

3. 您可以通過以下命令查看錶中資料，驗證資料一致性：

   • 查看錶orders_all的資料。

     SELECT count(1) FROM product.orders_all;

   • 查看錶orders_oss的資料。

     SELECT count(1) FROM oss.orders_oss;

通過S3表函數匯入資料

ClickHouse的S3表函數能夠從指定HDFS地址讀取檔案資料，返回指定結構的表，文法如下：

s3(path, [access_key_id, access_key_secret,] format, structure, [compression])

1. 使用S3表函數將資料匯入至ClickHouse叢集。

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32');

2. 您可以通過以下命令查看錶中資料，驗證資料一致性：

   • 查看錶orders_all的資料。

     SELECT count(1) FROM product.orders_all;

   • 查看錶orders_oss的資料。

     SELECT count(1) FROM oss.orders_oss;

通過S3表引擎匯出資料

1. 執行以下命令，建立S3表。

   CREATE TABLE oss.orders_oss
   (
     uid UInt32,
     date DateTime,
     skuId UInt32,
     order_revenue UInt32
   ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

2. 執行以下命令，向表中寫入資料。

   --假設業務表為product.orders_all
   INSERT INTO oss.orders_oss
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   說明

   ClickHouse在資料匯出時會在相應地址上建立檔案並寫入資料，預設在檔案已存在情況下匯出失敗。EMR-5.8.0、EMR-3.45.0之後的版本可通過配置參數來避免此問題。

3. 在OSS管理主控台上查看資料。

通過HDFS表函數匯出資料

1. 執行以下命令匯出資料。

   INSERT INTO FUNCTION
   s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32')
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   說明

   ClickHouse在資料匯出時會在相應地址上建立檔案並寫入資料，預設在檔案已存在情況下匯出失敗。EMR-5.8.0、EMR-3.45.0之後的版本可通過配置參數來避免此問題。

2. 在OSS管理主控台上查看資料。