ApsaraDB for ClickHouse:clickhouse-client を使用したデータインポート

この例では、Alibaba Cloud ClickHouse の default データベースの test_tbl_distributed テーブルに CSV ファイルをインポートします。パラメーターを実際の値に置き換えてください:

• インポート先データベース： default

• インポート先テーブル： test_tbl_distributed

• ソースデータファイル： testData.csv

ステップ 1： データの準備

clickhouse-client のインストールディレクトリに、次の内容で testData.csv を作成します。

1,田中,32,shanghai,http://example.com
2,佐藤,22,beijing,http://example.com
3,鈴木,23,shenzhen,http://example.com
4,高橋,45,hangzhou,http://example.com
5,伊藤,14,shanghai,http://example.com
6,渡辺,25,hangzhou,http://example.com
7,山本,45,shanghai,http://example.com
8,中村,26,shanghai,http://example.com
9,小林,27,shenzhen,http://example.com
10,加藤,37,shanghai,http://example.com

ステップ 2： テーブルの作成

1. データベースに接続します。

   Alibaba Cloud ClickHouse は Data Management Service (DMS) と統合されています。DMS を使用して ClickHouse クラスターに接続する。

   その他のクライアントについては、「データベースへの接続」をご参照ください。

2. クラスターのエディションに基づいてテーブルを作成します。

   重要

   列の順序とデータ型は、ソースファイルと一致している必要があります。

   Enterprise Edition ではローカルテーブルのみが必要です。 Community-Compatible Edition では、分散テーブルも必要になる場合があります。 構文リファレンスについては、「CREATE TABLE」をご参照ください。

   Enterprise Edition

   CREATE TABLE test_tbl_local ON cluster default 
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = MergeTree()
   ORDER BY id;

   このステートメントを実行したときにエラーメッセージ "ON CLUSTER is not allowed for Replicated database" が表示された場合は、「マイナーエンジンバージョンをアップグレード」してエラーを修正できます。

   Community-Compatible Edition

   クラスターのレプリカタイプに基づいてエンジンを選択します。

   重要

   デュアルレプリカクラスターでテーブルを作成する場合、MergeTree エンジンファミリーの Replicated エンジンを使用する必要があります。 デュアルレプリカクラスターで非 Replicated エンジンを使用してテーブルを作成すると、レプリカ間でデータをレプリケートできず、データの不整合が発生する可能性があります。

   シングルレプリカ

   1. ローカルテーブルを作成します。

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = MergeTree()
      ORDER BY id;

   2. (オプション) 分散テーブルを作成します。

      ローカルテーブルのみが必要な場合は、このステップをスキップしてください。

      マルチノードクラスターに推奨します。

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

   デュアルレプリカ

   1. ローカルテーブルを作成します。

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
      order by id;

   2. (オプション) 分散テーブルを作成します。

      ローカルテーブルのみが必要な場合は、このステップをスキップしてください。

      マルチノードクラスターに推奨します。

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

ステップ 3： データのインポート

clickhouse-client のインストールディレクトリから次のコマンドを実行します。

インポートを高速化するには、ソースファイルを分割し、複数のクライアントを並行して実行してください。

マルチノードクラスターの場合は、分散テーブルにインポートしてください。

cat <file_name> | ./clickhouse-client --host=<host> --port=<port> --user=<user> --password=<password> --query="INSERT INTO <table_name> FORMAT <file_type>";

ステップ 4： インポート結果の確認

1. クラスターに接続します。

   詳細については、「DMS を使用した ClickHouse クラスターへの接続」をご参照ください。

2. クエリ文を実行します。

   重要

   マルチノードの Community-Compatible Edition クラスターでは、分散テーブルにクエリを実行してすべてのデータを表示してください。 ローカルテーブルは、1 つのノードからのデータのみを返します。

   SELECT * FROM test_tbl_distributed; 

   期待される出力：

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1            | 田中                | 32            | shanghai       | http://example.com   |
   | 2            | 佐藤                | 22            | beijing        | http://example.com   |
   | 3            | 鈴木                | 23            | shenzhen       | http://example.com   |
   | 4            | 高橋                | 45            | hangzhou       | http://example.com   |
   | 5            | 伊藤                | 14            | shanghai       | http://example.com   |
   | 6            | 渡辺                | 25            | hangzhou       | http://example.com   |
   | 7            | 山本                | 45            | shanghai       | http://example.com   |
   | 8            | 中村                | 26            | shanghai       | http://example.com   |
   | 9            | 小林                | 27            | shenzhen       | http://example.com   |
   | 10           | 加藤                | 37            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+