ApsaraDB for ClickHouse:clickhouse-client を使用したデータインポート

このトピックでは、CSV ファイルから ApsaraDB for ClickHouse クラスターの分散テーブルにデータをインポートする方法の例を示します。実際には、ビジネス要件に合わせてパラメーターを変更してください。この例では、次の環境を使用します：

• インポート先データベース：default

• インポート先テーブル：test_tbl_distributed

• ソースデータファイル：testData.csv

ステップ 1：データの準備

clickhouse-client のインストールディレクトリに、testData.csv という名前のファイルを作成し、次のデータを追加します。

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com
4,jess,45,hangzhou,http://example.com
5,jack,14,shanghai,http://example.com
6,tomy,25,hangzhou,http://example.com
7,lucy,45,shanghai,http://example.com
8,tengyin,26,shanghai,http://example.com
9,wangli,27,shenzhen,http://example.com
10,xiaohua,37,shanghai,http://example.com

ステップ 2：テーブルの作成

1. データベースに接続します。

   DMS を使用して ClickHouse クラスターに接続できます。

   他のクライアントを使用している場合は、「データベースへの接続」をご参照ください。

2. クラスターのエディションに基づいてテーブルを作成します。

   重要

   インポート先テーブルの列の順序とデータ型がソースファイルのデータと完全に一致しない場合、データインポートが失敗する可能性があります。インポートする前に、テーブルスキーマがファイルの構造に対応していることを必ず確認してください。

   Enterprise Edition クラスターではローカルテーブルの作成のみが必要ですが、コミュニティ互換版クラスターでは、環境と要件に基づいて分散テーブルを作成する必要がある場合があります。以下はステートメントの例です。テーブル作成構文の詳細については、「CREATE TABLE」をご参照ください。

   Enterprise Edition

   CREATE TABLE test_tbl_local ON cluster default 
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = MergeTree()
   ORDER BY id;

   Enterprise Edition クラスターでテーブルを作成する際に、ON CLUSTER is not allowed for Replicated database というエラーが発生することがあります。これは古いマイナーバージョンにおける既知の問題です。この問題を修正するには、クラスターのマイナーエンジンバージョンをアップグレードしてください。

   コミュニティ互換版

   シングルレプリカクラスターとデュアルレプリカクラスターではエンジンが異なります。レプリカのタイプに基づいてエンジンを選択してください。

   重要

   デュアルレプリカ版のクラスターでテーブルを作成する場合、MergeTree ファミリーの Replicated テーブルエンジンを使用する必要があります。非レプリケートテーブルエンジンを使用すると、レプリカ間でデータが複製されず、データの不整合が発生する可能性があります。

   シングルレプリカ

   1. ローカルテーブルの作成

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = MergeTree()
      ORDER BY id;

   2. (オプション) 分散テーブルの作成

      ローカルテーブルにのみデータをインポートする必要がある場合は、このステップをスキップできます。

      マルチノードクラスターがある場合は、分散テーブルを作成することを推奨します。

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

   デュアルレプリカ

   1. ローカルテーブルの作成

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
      order by id;

   2. (オプション) 分散テーブルの作成

      ローカルテーブルにのみデータをインポートする必要がある場合は、このステップをスキップできます。

      マルチノードクラスターがある場合は、分散テーブルを作成することを推奨します。

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

ステップ 3：データのインポート

clickhouse-client のインストールディレクトリで、次のコマンドを実行します。

データインポートを高速化するために、ソースファイルを複数の部分に分割し、複数のクライアントプロセスを実行して各部分を並行してインポートすることができます。

マルチノードクラスターがある場合は、分散テーブルにデータをインポートすることを推奨します。

cat <file_name> | ./clickhouse-client --host=<host> --port=<port> --user=<user> --password=<password> --query="INSERT INTO <table_name> FORMAT <file_type>";

ステップ 4：結果の検証

1. クラスターに接続します。

2. クエリ文を実行します。

   重要

   マルチノードのコミュニティ互換版クラスターでは、常に分散テーブルをクエリしてください。ローカルテーブルを直接クエリすると、単一ノードからの結果しか返されないため、データが不完全になります。

   SELECT * FROM test_tbl_local;

   次の結果が返されます。

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1            | yang                | 32            | shanghai       | http://example.com   |
   | 2            | wang                | 22            | beijing        | http://example.com   |
   | 3            | xiao                | 23            | shenzhen       | http://example.com   |
   | 4            | jess                | 45            | hangzhou       | http://example.com   |
   | 5            | jack                | 14            | shanghai       | http://example.com   |
   | 6            | tomy                | 25            | hangzhou       | http://example.com   |
   | 7            | lucy                | 45            | shanghai       | http://example.com   |
   | 8            | tengyin             | 26            | shanghai       | http://example.com   |
   | 9            | wangli              | 27            | shenzhen       | http://example.com   |
   | 10           | xiaohua             | 37            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+