ApsaraDB for ClickHouse：Impor data menggunakan clickhouse-client

Topik ini memberikan contoh cara mengimpor data dari file CSV ke tabel terdistribusi dalam kluster ApsaraDB for ClickHouse. Dalam praktiknya, sesuaikan parameter sesuai kebutuhan bisnis Anda. Contoh ini menggunakan lingkungan berikut:

• Database tujuan: default

• Tabel tujuan: test_tbl_distributed

• File data sumber: testData.csv

Langkah 1: Siapkan data

Di direktori instalasi clickhouse-client, buat file bernama testData.csv dan tambahkan data berikut ke dalamnya.

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com
4,jess,45,hangzhou,http://example.com
5,jack,14,shanghai,http://example.com
6,tomy,25,hangzhou,http://example.com
7,lucy,45,shanghai,http://example.com
8,tengyin,26,shanghai,http://example.com
9,wangli,27,shenzhen,http://example.com
10,xiaohua,37,shanghai,http://example.com

Langkah 2: Buat tabel

1. Hubungkan ke database.

   Anda dapat menggunakan DMS untuk menghubungkan ke kluster ClickHouse.

   Jika Anda menggunakan klien lain, lihat Hubungkan ke database.

2. Buat tabel berdasarkan edisi kluster Anda.

   Penting

   Pengimporan data dapat gagal jika urutan kolom dan tipe data di tabel tujuan tidak persis sesuai dengan data di file sumber. Selalu verifikasi bahwa skema tabel sesuai dengan struktur file sebelum melakukan impor.

   Kluster Edisi Perusahaan hanya memerlukan pembuatan tabel lokal, sedangkan kluster Edisi Kompatibel Komunitas mungkin perlu membuat tabel terdistribusi berdasarkan lingkungan dan kebutuhan Anda. Berikut adalah contoh pernyataan. Untuk informasi selengkapnya tentang sintaks pembuatan tabel, lihat CREATE TABLE.

   Edisi Perusahaan

   CREATE TABLE test_tbl_local ON cluster default 
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = MergeTree()
   ORDER BY id;

   Saat membuat tabel di kluster Edisi Perusahaan, Anda mungkin mendapatkan error ON CLUSTER is not allowed for Replicated database. Ini merupakan masalah yang diketahui pada versi minor lama. Untuk memperbaikinya, tingkatkan versi mesin minor kluster Anda.

   Edisi Kompatibel Komunitas

   Mesin untuk kluster satu-replika dan dua-replika berbeda. Pilih mesin berdasarkan tipe replika Anda.

   Penting

   Saat membuat tabel di kluster Edisi Dua-replika, Anda harus menggunakan mesin tabel Replicated dari family MergeTree. Jika Anda menggunakan mesin tabel non-replikasi, data tidak dapat direplikasi antar-replika, yang dapat menyebabkan inkonsistensi data.

   Satu-replika

   1. Buat tabel lokal.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = MergeTree()
      ORDER BY id;

   2. (Opsional) Buat tabel terdistribusi.

      Jika Anda hanya perlu mengimpor data ke tabel lokal, langkah ini dapat dilewati.

      Jika Anda memiliki kluster multi-node, kami menyarankan Anda membuat tabel terdistribusi.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

   Dua-replika

   1. Buat tabel lokal.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
      order by id;

   2. (Opsional) Buat tabel terdistribusi.

      Jika Anda hanya perlu mengimpor data ke tabel lokal, langkah ini dapat dilewati.

      Jika Anda memiliki kluster multi-node, kami menyarankan Anda membuat tabel terdistribusi.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

Langkah 3: Impor data

Di direktori instalasi clickhouse-client, jalankan perintah berikut.

Untuk mempercepat impor data, Anda dapat membagi file sumber menjadi beberapa bagian dan menjalankan beberapa proses klien secara paralel untuk mengimpor bagian-bagian tersebut.

Jika Anda memiliki kluster multi-node, kami menyarankan Anda mengimpor data ke tabel terdistribusi.

cat <file_name> | ./clickhouse-client --host=<host> --port=<port> --user=<user> --password=<password> --query="INSERT INTO <table_name> FORMAT <file_type>";

Langkah 4: Verifikasi hasil

1. Hubungkan ke kluster.

2. Jalankan pernyataan kueri.

   Penting

   Pada kluster Edisi Kompatibel Komunitas multi-node, selalu kueri tabel terdistribusi. Mengkueri tabel lokal secara langsung hanya mengembalikan hasil dari satu node saja, sehingga data Anda tidak lengkap.

   SELECT * FROM test_tbl_local;

   Hasil berikut dikembalikan.

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1            | yang                | 32            | shanghai       | http://example.com   |
   | 2            | wang                | 22            | beijing        | http://example.com   |
   | 3            | xiao                | 23            | shenzhen       | http://example.com   |
   | 4            | jess                | 45            | hangzhou       | http://example.com   |
   | 5            | jack                | 14            | shanghai       | http://example.com   |
   | 6            | tomy                | 25            | hangzhou       | http://example.com   |
   | 7            | lucy                | 45            | shanghai       | http://example.com   |
   | 8            | tengyin             | 26            | shanghai       | http://example.com   |
   | 9            | wangli              | 27            | shenzhen       | http://example.com   |
   | 10           | xiaohua             | 37            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+