ApsaraDB for ClickHouse:Impor data menggunakan clickhouse-client

Contoh ini mengimpor file CSV ke tabel test_tbl_distributed dalam database default di Alibaba Cloud ClickHouse. Ganti parameter berikut dengan nilai aktual Anda:

• Database tujuan: default

• Tabel tujuan: test_tbl_distributed

• File data sumber: testData.csv

Langkah 1: Siapkan data

Di direktori instalasi clickhouse-client, buat file testData.csv dengan konten berikut.

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com
4,jess,45,hangzhou,http://example.com
5,jack,14,shanghai,http://example.com
6,tomy,25,hangzhou,http://example.com
7,lucy,45,shanghai,http://example.com
8,tengyin,26,shanghai,http://example.com
9,wangli,27,shenzhen,http://example.com
10,xiaohua,37,shanghai,http://example.com

Langkah 2: Buat tabel

1. Hubungkan ke database.

   Alibaba Cloud ClickHouse terintegrasi dengan Data Management Service (DMS). Hubungkan ke kluster ClickHouse menggunakan DMS.

   Klien lainnya: Hubungkan ke database.

2. Buat tabel sesuai edisi kluster Anda.

   Penting

   Urutan kolom dan tipe data harus sesuai dengan file sumber.

   Edisi Perusahaan hanya memerlukan tabel lokal. Edisi Kompatibel Komunitas mungkin juga memerlukan tabel terdistribusi. Referensi sintaksis CREATE TABLE.

   Edisi Perusahaan

   CREATE TABLE test_tbl_local ON cluster default 
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = MergeTree()
   ORDER BY id;

   Jika Anda menerima pesan error ON CLUSTER is not allowed for Replicated database saat menjalankan pernyataan ini, Anda dapat meningkatkan versi mesin minor untuk memperbaiki error tersebut.

   Edisi kompatibel komunitas

   Pilih engine berdasarkan jenis replika kluster Anda.

   Penting

   Saat membuat tabel di kluster dual-replika, Anda harus menggunakan engine Replicated dari family engine MergeTree. Jika Anda membuat tabel dengan engine non-Replicated di kluster dual-replika, data tidak dapat direplikasi antar replika, yang dapat menyebabkan inkonsistensi data.

   Single-replica

   1. Buat tabel lokal.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = MergeTree()
      ORDER BY id;

   2. (Opsional) Buat tabel terdistribusi.

      Lewati langkah ini jika Anda hanya memerlukan tabel lokal.

      Disarankan untuk kluster multi-node.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

   Two-replica

   1. Buat tabel lokal.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
      order by id;

   2. (Opsional) Buat tabel terdistribusi.

      Lewati langkah ini jika Anda hanya memerlukan tabel lokal.

      Disarankan untuk kluster multi-node.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

Langkah 3: Impor data

Jalankan perintah berikut dari direktori instalasi clickhouse-client.

Untuk mempercepat impor, pisahkan file sumber dan jalankan beberapa klien secara paralel.

Untuk kluster multi-node, impor ke tabel terdistribusi.

cat <file_name> | ./clickhouse-client --host=<host> --port=<port> --user=<user> --password=<password> --query="INSERT INTO <table_name> FORMAT <file_type>";

Langkah 4: Verifikasi hasil impor

1. Hubungkan ke kluster.

   Hubungkan ke kluster ClickHouse menggunakan DMS.

2. Jalankan pernyataan kueri.

   Penting

   Pada kluster Edisi Kompatibel Komunitas multi-node, kueri tabel terdistribusi untuk melihat semua data. Tabel lokal hanya mengembalikan data dari satu node.

   SELECT * FROM test_tbl_local; 

   Output yang diharapkan:

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1            | yang                | 32            | shanghai       | http://example.com   |
   | 2            | wang                | 22            | beijing        | http://example.com   |
   | 3            | xiao                | 23            | shenzhen       | http://example.com   |
   | 4            | jess                | 45            | hangzhou       | http://example.com   |
   | 5            | jack                | 14            | shanghai       | http://example.com   |
   | 6            | tomy                | 25            | hangzhou       | http://example.com   |
   | 7            | lucy                | 45            | shanghai       | http://example.com   |
   | 8            | tengyin             | 26            | shanghai       | http://example.com   |
   | 9            | wangli              | 27            | shenzhen       | http://example.com   |
   | 10           | xiaohua             | 37            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+