E-MapReduce:OSS と ClickHouse 間でのデータのインポートおよびエクスポート

S3 テーブルエンジンを使用したインポート

ClickHouse の S3 テーブルエンジンは、指定された OSS パスから特定の形式でデータを読み取ります。構文は次のとおりです：

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
  name1 [type1] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1],
  name2 [type2] [NULL|NOT NULL] [DEFAULT|MATERIALIZED|ALIAS expr2] [compression_codec] [TTL expr2],
  ...
)
ENGINE = S3(path, [access_key_id, access_key_secret,] format, [compression]);

1. OSS からデータを読み取るテーブルを作成します。

   1. サンプルデータファイル orders.csv をダウンロードし、test という名前の OSS バケットのルートディレクトリにアップロードします。

   2. 次のコマンドを実行して、S3 テーブルエンジンを使用する OSS テーブルを作成します。

      CREATE DATABASE IF NOT EXISTS oss ON CLUSTER cluster_emr;
      CREATE TABLE oss.orders_oss
      (
        uid UInt32,
        date DateTime,
        skuId UInt32,
        order_revenue UInt32
      ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

      説明

      サンプルデータパス http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv は、cn-beijing リージョンの test という名前のバケット内の orders.csv ファイルを表します。

2. 次のコマンドを実行して、product.orders_all テーブルにデータをインポートします。

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     oss.orders_oss;

3. 次のコマンドを実行して、テーブル内のデータを表示し、データ整合性を検証します。

   • orders_all テーブルのデータを表示します。

     SELECT count(1) FROM product.orders_all;

   • orders_oss テーブルのデータを表示します。

     SELECT count(1) FROM oss.orders_oss;

S3 テーブル関数を使用したインポート

ClickHouse の S3 テーブル関数は、指定された OSS パスからデータを読み取り、定義された構造を持つテーブルを返します。構文は次のとおりです：

s3(path, [access_key_id, access_key_secret,] format, structure, [compression])

1. S3 テーブル関数を使用して、ClickHouse クラスターにデータをインポートします。

   INSERT INTO product.orders_all
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32');

2. 次のコマンドを実行して、テーブル内のデータを表示し、データ整合性を検証します。

   • orders_all テーブルのデータを表示します。

     SELECT count(1) FROM product.orders_all;

   • orders_oss テーブルのデータを表示します。

     SELECT count(1) FROM oss.orders_oss;

S3 テーブルエンジンを使用したエクスポート

1. 次のコマンドを実行して、S3 テーブルを作成します。

   CREATE TABLE oss.orders_oss
   (
     uid UInt32,
     date DateTime,
     skuId UInt32,
     order_revenue UInt32
   ) ENGINE = S3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv', '<access_key_id>', '<access_key_secret>', 'CSV');

2. 次のコマンドを実行して、テーブルにデータを書き込みます。

   -- ビジネス テーブルが product.orders_all であると仮定します
   INSERT INTO oss.orders_oss
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   説明

   ClickHouse がデータをエクスポートする際、指定されたパスにファイルを作成し、そのファイルにデータを書き込みます。デフォルトでは、ファイルが既に存在する場合、エクスポートに失敗します。EMR-5.8.0 以降、または EMR-3.45.0 以降では、パラメーターを設定してこの動作を変更できます。

3. OSS コンソールでデータを表示します。

S3 テーブル関数を使用したエクスポート

1. 次のコマンドを実行して、データをエクスポートします。

   INSERT INTO FUNCTION
   s3('http://test.oss-cn-beijing-internal.aliyuncs.com/orders.csv',
         '<your-access-key>',
         '<your-access-secret>',
         'CSV',
         'uid UInt32, date DateTime, skuId UInt32, order_revenue UInt32')
   SELECT
     uid,
     date,
     skuId,
     order_revenue
   FROM
     product.orders_all;

   説明

   ClickHouse がデータをエクスポートする際、指定されたパスにファイルを作成し、そのファイルにデータを書き込みます。デフォルトでは、ファイルが既に存在する場合、エクスポートに失敗します。EMR-5.8.0 以降、または EMR-3.45.0 以降では、パラメーターを設定してこの動作を変更できます。

2. OSS コンソールでデータを表示します。