ApsaraDB for ClickHouse:clickhouse-client を使用してデータをインポートする

この例では、ApsaraDB for ClickHouse クラスターのデフォルトデータベースにある test_tbl_distributed 分散テーブルに CSV ファイルをインポートする方法を示します。ビジネス要件に基づいてパラメーターを変更できます。サンプル環境:

• 宛先データベース: default

• 宛先テーブル: test_tbl_distributed

• データソース: testData.csv ファイル

ステップ 1: データを準備する

clickhouse-client がインストールされているディレクトリに、testData.csv という名前の CSV ファイルを作成し、次のデータをファイルに書き込みます。

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com
4,jess,45,hangzhou,http://example.com
5,jack,14,shanghai,http://example.com
6,tomy,25,hangzhou,http://example.com
7,lucy,45,shanghai,http://example.com
8,tengyin,26,shanghai,http://example.com
9,wangli,27,shenzhen,http://example.com
10,xiaohua,37,shanghai,http://example.com

ステップ 2: テーブルを作成する

1. データベースに接続します。

   ApsaraDB for ClickHouse は Data Management (DMS) と統合されており、クラスターへの接続が容易になります。 DMS を使用してクラスターに接続する方法の詳細については、「DMS を使用して ApsaraDB for ClickHouse クラスターに接続する」をご参照ください。

   別のクライアントを使用する場合は、「データベースの接続性」をご参照ください。

2. クラスターエディションに基づいてテーブルを作成します。

   重要

   テーブルフィールドとテーブルフィールドのデータ型、およびテキストフィールドとテキストフィールドのデータ型のマッピングに注意してください。宛先テーブルの列の順序とデータ型が、ソーステキストの列の順序とデータ型と完全に一致していることを確認してください。そうしないと、データのインポート中にエラーが発生する可能性があります。

   Enterprise Edition クラスターの場合、ローカルテーブルのみを作成する必要があります。 Community 互換クラスターの場合、ビジネス要件に基づいて分散テーブルを作成する必要がある場合があります。次のサンプル文は、テーブルの作成方法の例を示しています。詳細については、「CREATE TABLE」をご参照ください。

   Enterprise Edition

   CREATE TABLE test_tbl_local ON cluster default 
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = MergeTree()
   ORDER BY id;

   上記の文を実行したときに ON CLUSTER is not allowed for Replicated database というエラーメッセージが表示された場合は、クラスターのマイナーエンジンバージョンを更新して問題を解決できます。詳細については、「マイナーエンジンバージョンを更新する」をご参照ください。

   Community 互換エディション

   シングルレプリカエディションとデュアルレプリカエディションで使用されるテーブルエンジンは異なります。使用するレプリカタイプに基づいてテーブルエンジンを選択します。

   重要

   ダブルレプリカエディションクラスターでテーブルを作成する場合は、テーブルで MergeTree ファミリーのレプリケートテーブルエンジンを使用していることを確認してください。テーブルで非レプリケートテーブルエンジンを使用すると、テーブル上のデータはレプリカ間でレプリケートされません。これにより、データの不整合が発生する可能性があります。

   シングルレプリカエディション

   1. ローカルテーブルを作成します。

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = MergeTree()
      ORDER BY id;

   2. オプション。分散テーブルを作成します。

      ローカルテーブルにのみデータをインポートする場合は、この手順をスキップします。

      クラスターがマルチノードクラスターの場合は、分散テーブルを作成することをお勧めします。

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

   デュアルレプリカエディション

   1. ローカルテーブルを作成します。

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
      order by id;

   2. オプション。分散テーブルを作成します。

      ローカルテーブルにのみデータをインポートする場合は、この手順をスキップします。

      クラスターがマルチノードクラスターの場合は、分散テーブルを作成することをお勧めします。

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

ステップ 3: サンプルデータをインポートする

clickhouse-client がインストールされているディレクトリで、次のコマンドを実行します。

データインポートを高速化するには、元のファイルを等しいセグメントに分割し、複数のクライアントプロセスを起動し、セグメントを同時にインポートできます。

クラスターがマルチノードクラスターの場合は、分散テーブルにデータをインポートすることをお勧めします。

cat <file_name> | ./clickhouse-client --host=<host> --port=<port> --user=<user> --password=<password> --query="INSERT INTO <table_name> FORMAT <file_type>";

ステップ 4: インポート結果を表示する

1. クラスターに接続します。

   DMS を使用してクラスターに接続します。詳細については、「DMS を使用して ApsaraDB for ClickHouse クラスターに接続する」をご参照ください。

2. 次のクエリ文を実行します。

   重要

   クラスターが Community 互換エディションを実行し、複数のノードが含まれている場合は、分散テーブルをクエリしてすべてのノードから完全なデータを取得することをお勧めします。分散されていないテーブルをクエリすると、クラスター内の単一ノードからのみデータを取得できます。これは、インポートしたデータよりも少なくなります。

   SELECT * FROM test_tbl_local; 

   次のクエリ結果が返されます。

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1            | yang                | 32            | shanghai       | http://example.com   |
   | 2            | wang                | 22            | beijing        | http://example.com   |
   | 3            | xiao                | 23            | shenzhen       | http://example.com   |
   | 4            | jess                | 45            | hangzhou       | http://example.com   |
   | 5            | jack                | 14            | shanghai       | http://example.com   |
   | 6            | tomy                | 25            | hangzhou       | http://example.com   |
   | 7            | lucy                | 45            | shanghai       | http://example.com   |
   | 8            | tengyin             | 26            | shanghai       | http://example.com   |
   | 9            | wangli              | 27            | shenzhen       | http://example.com   |
   | 10           | xiaohua             | 37            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+