Hologres：Impor data dari ClickHouse

Pemetaan tipe data

Migrasi metadata

Migrasi metadata melibatkan migrasi pernyataan DDL yang digunakan untuk membuat tabel. Untuk memigrasikan metadata, lakukan langkah-langkah berikut:

1. Jalankan pernyataan berikut pada klien ClickHouse untuk menanyakan database di kluster ClickHouse Anda.

   Catatan

   Database bernama system dalam hasil kueri adalah database sistem. Database ini tidak perlu dimigrasi dan dapat dilewati.

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW databases"  > database.list;

   Tabel berikut menjelaskan parameter.

   Parameter	Deskripsi
   host	Titik akhir kluster ClickHouse.
   port	Nomor port kluster ClickHouse.
   username	Nama pengguna akun yang Anda gunakan untuk masuk ke kluster ClickHouse. Pengguna harus memiliki izin untuk mengeksekusi pernyataan DML tertentu, termasuk izin baca, tulis, dan pengaturan. Pengguna juga harus memiliki izin untuk mengeksekusi pernyataan DDL.
   password	Kata sandi akun yang Anda gunakan untuk masuk ke kluster ClickHouse.

2. Jalankan pernyataan berikut pada klien ClickHouse untuk menanyakan tabel di kluster ClickHouse Anda.

   Catatan

   Anda dapat melewati tabel yang dikembalikan dengan nama yang dimulai dengan .inner. karena tabel-tabel ini adalah representasi internal dari tampilan materialisasi.

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW tables from <database_name>" > table.list;

   Tabel berikut menjelaskan parameter.

   Parameter	Deskripsi
   host	Titik akhir kluster ClickHouse.
   port	Nomor port kluster ClickHouse.
   username	Nama pengguna akun yang Anda gunakan untuk masuk ke kluster ClickHouse. Pengguna harus memiliki izin untuk mengeksekusi pernyataan DML tertentu, termasuk izin baca, tulis, dan pengaturan. Pengguna juga harus memiliki izin untuk mengeksekusi pernyataan DDL.
   password	Kata sandi akun yang Anda gunakan untuk masuk ke kluster ClickHouse.
   database_name	Nama database tempat tabel yang akan dimigrasi berada.

   Anda juga dapat menjalankan pernyataan berikut untuk menanyakan nama semua database dan tabel di kluster ClickHouse:

   select distinct database, name from system.tables where database != 'system';

3. Jalankan pernyataan berikut pada klien ClickHouse untuk mengekspor pernyataan DDL yang digunakan untuk membuat tabel di kluster ClickHouse:

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW CREATE TABLE <database_name>.<table_name>"  > table.sql;

   Anda juga dapat menjalankan pernyataan berikut untuk menanyakan tabel sistem:

   SELECT * FROM system.tables
   where database = '<database_name>' and engine != 'Distributed';

   Tabel berikut menjelaskan konversi bidang tabel sistem di ClickHouse saat metadata dimigrasikan dari ClickHouse ke Hologres.

   Parameter	Deskripsi
   database	Database di ClickHouse, yang sesuai dengan skema di Hologres yang menggunakan sintaks PostgreSQL. Pernyataan create database "<database_name>"; di ClickHouse sesuai dengan pernyataan create schema "<schema_name>"; di Hologres.
   name	Nama tabel ClickHouse. Tidak diperlukan konversi.
   engine	Hologres tidak memiliki tabel terdistribusi. Tabel di Hologres tidak diklasifikasikan menjadi tabel terdistribusi dan tabel lokal. Tabel di Hologres adalah tabel individu untuk penyimpanan dan kueri terdistribusi. Saat Anda menanyakan tabel sistem di database ClickHouse, Anda harus melewati tabel yang memenuhi kondisi engine='Distributed'.
   is_temporary	Menentukan apakah tabel tersebut merupakan tabel sementara di ClickHouse. Tabel sementara tidak perlu dimigrasi. Selain itu, Hologres tidak mendukung tabel sementara.
   data_paths metadata_path metadata_modification_time	Bidang-bidang ini dapat diabaikan.
   dependencies_database dependencies_table	Bidang-bidang ini diperlukan saat menggunakan tampilan dan tampilan materialisasi. Di Hologres, tampilan dengan dependensi harus dibuat sebelum tabel dasar dibuat. Hologres tidak mendukung tampilan materialisasi.
   create_table_query	Pernyataan DDL yang digunakan untuk membuat tabel sumber ClickHouse. Untuk membuat tabel tujuan Hologres, pernyataan tersebut harus dikonversi menjadi pernyataan DDL yang menggunakan sintaks PostgreSQL.
   engine_full	Detail mesin. Bidang ini dapat diabaikan.
   partition_key	Kolom kunci partisi tabel ClickHouse, yang sesuai dengan kolom kunci partisi tabel Hologres. Misalnya, jika parameter partition_key tabel ClickHouse disetel ke col1, Anda harus menambahkan klausa partition by list (col1); ke pernyataan yang digunakan untuk membuat tabel Hologres.
   sorting_key	Kunci urutan tabel ClickHouse. Kunci urutan sesuai dengan kunci segmen atau kunci pengelompokan tabel Hologres.
   primary_key	Kunci utama tabel ClickHouse. Kunci utama sesuai dengan kunci utama dalam pernyataan DDL yang digunakan untuk membuat tabel Hologres.
   sampling_key	Kunci yang digunakan untuk pengambilan sampel. Pernyataan DDL Hologres tidak mendukung pengambilan sampel.
   storage_policy	Kebijakan penyimpanan database ClickHouse. Bidang ini dapat diabaikan.

4. Konversikan pernyataan DDL yang digunakan untuk membuat tabel sumber ClickHouse menjadi pernyataan yang digunakan untuk membuat tabel tujuan Hologres. Hologres kompatibel dengan sintaks PostgreSQL.

   Anda harus mengonversi pernyataan DDL berdasarkan deskripsi konversi bidang dalam tabel sebelumnya dan bagian Pemetaan Tipe Data dalam topik ini. Contoh:

   • Konversikan pernyataan DDL yang digunakan untuk membuat tabel lineitem di kluster ClickHouse menjadi pernyataan DDL yang digunakan untuk membuat tabel tujuan Hologres.

     • Kode contoh berikut menunjukkan pernyataan DDL yang digunakan untuk membuat tabel lineitem di kluster ClickHouse:

       -- lineitem on ClickHouse
       CREATE TABLE lineitem_local ON CLUSTER default(
         l_orderkey            UInt64,
         l_partkey             UInt32,
         l_suppkey             UInt32,
         l_linenumber          UInt32,
         l_quantity            decimal(15,2),
         l_extendedprice       decimal(15,2),
         l_discount            decimal(15,2),
         l_tax                 decimal(15,2),
         l_returnflag          LowCardinality(String),
         l_linestatus          LowCardinality(String),
         l_shipdate            Date,
         l_commitdate          Date,
         l_receiptdate         Date,
         l_shipinstruct        LowCardinality(String),
         l_shipmode            LowCardinality(String),
         l_comment             LowCardinality(String)
       ) ENGINE = MergeTree
       PARTITION BY toYear(l_shipdate)
       ORDER BY (l_orderkey, l_linenumber);
       
       CREATE TABLE lineitem on cluster default as lineitem_local ENGINE = Distributed(default, default, lineitem_local, l_orderkey);

     • Kode contoh berikut menunjukkan pernyataan DDL yang telah dikonversi yang digunakan untuk membuat tabel tujuan Hologres:

       -- lineitem on Hologres
       -- buat grup tabel dengan 32 shard
       CALL hg_create_table_group ('lineitem_tg', 32);
       BEGIN;
       CREATE TABLE LINEITEM
       (
           L_ORDERKEY      BIGINT         NOT NULL,
           L_PARTKEY       INT         NOT NULL,
           L_SUPPKEY       INT         NOT NULL,
           L_LINENUMBER    INT         NOT NULL,
           L_QUANTITY      DECIMAL(15,2) NOT NULL,
           L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
           L_DISCOUNT      DECIMAL(15,2) NOT NULL,
           L_TAX           DECIMAL(15,2) NOT NULL,
           L_RETURNFLAG    TEXT        NOT NULL,
           L_LINESTATUS    TEXT        NOT NULL,
           L_SHIPDATE      TIMESTAMPTZ NOT NULL,
           L_COMMITDATE    TIMESTAMPTZ NOT NULL,
           L_RECEIPTDATE   TIMESTAMPTZ NOT NULL,
           L_SHIPINSTRUCT  TEXT        NOT NULL,
           L_SHIPMODE      TEXT        NOT NULL,
           L_COMMENT       TEXT        NOT NULL,
           PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
       );
       CALL set_table_property('LINEITEM', 'clustering_key', 'L_SHIPDATE,L_ORDERKEY');
       CALL set_table_property('LINEITEM', 'segment_key', 'L_SHIPDATE');
       CALL set_table_property('LINEITEM', 'table_group', 'lineitem_tg');
       CALL set_table_property('LINEITEM', 'distribution_key', 'L_ORDERKEY');
       -- kolom dengan LowCardinality
       CALL set_table_property('LINEITEM', 'bitmap_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
       -- kolom dengan LowCardinality
       CALL set_table_property('LINEITEM', 'dictionary_encoding_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
       CALL set_table_property('LINEITEM', 'time_to_live_in_seconds', '31536000');
       COMMIT;

   • Konversikan pernyataan DDL yang digunakan untuk membuat tabel customer di kluster ClickHouse menjadi pernyataan DDL yang digunakan untuk membuat tabel tujuan Hologres.

     • Kode contoh berikut menunjukkan pernyataan DDL yang digunakan untuk membuat tabel lineitem di kluster ClickHouse:

       -- customer on ClickHouse
       CREATE TABLE customer_local ON CLUSTER default(
         c_custkey             UInt32,
         c_name                String,
         c_address             String,
         c_nationkey           UInt32,
         c_phone               LowCardinality(String),
         c_acctbal             decimal(15,2),
         c_mktsegment          LowCardinality(String),
         c_comment             LowCardinality(String)
       ) ENGINE = MergeTree
       ORDER BY (c_custkey);
       
       CREATE TABLE customer on cluster default as customer_local
       ENGINE = Distributed(default, default, customer_local, c_custkey);

     • Kode contoh berikut menunjukkan pernyataan DDL yang telah dikonversi yang digunakan untuk membuat tabel tujuan Hologres:

       -- customer on Hologres
       BEGIN;
       CREATE TABLE CUSTOMER (
           C_CUSTKEY    INT    NOT NULL PRIMARY KEY,
           C_NAME       TEXT   NOT NULL,
           C_ADDRESS    TEXT   NOT NULL,
           C_NATIONKEY  INT    NOT NULL,
           C_PHONE      TEXT   NOT NULL,
           C_ACCTBAL    DECIMAL(15,2) NOT NULL,
           C_MKTSEGMENT TEXT   NOT NULL,
           C_COMMENT    TEXT   NOT NULL
       );
       CALL set_table_property('CUSTOMER', 'distribution_key', 'C_CUSTKEY');
       CALL set_table_property('CUSTOMER', 'table_group', 'lineitem_tg');
       CALL set_table_property('CUSTOMER', 'bitmap_columns', 'C_CUSTKEY,C_NATIONKEY,C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
       CALL set_table_property('CUSTOMER', 'dictionary_encoding_columns', 'C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
       CALL set_table_property('CUSTOMER', 'time_to_live_in_seconds', '31536000');
       COMMIT;

5. Jalankan pernyataan berikut pada klien PostgreSQL untuk mengimpor pernyataan DDL yang telah dikonversi ke instans Hologres tujuan:

   PGUSER="<username>" PGPASSWORD="<password>" psql -h "<host>" -p "<port>" -d "<database_name>" -f table.sql;

Migrasi data

Contoh berikut menunjukkan cara mengekspor data yang ingin Anda migrasikan dari kluster ClickHouse sebagai file dan mengimpor file ke instans Hologres. Untuk menggunakan metode ini, lakukan langkah-langkah berikut:

1. Jalankan pernyataan berikut pada klien ClickHouse untuk mengekspor data dari kluster ClickHouse ke file CSV lokal:

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>"  --query="select * from <database_name>.<table_name> FORMAT CSV"  > table.csv;

   Tabel berikut menjelaskan parameter.

   Parameter	Deskripsi
   host	Titik akhir kluster ClickHouse.
   port	Nomor port kluster ClickHouse.
   username	Nama pengguna akun yang Anda gunakan untuk masuk ke kluster ClickHouse. Pengguna harus memiliki izin untuk mengeksekusi pernyataan DML tertentu, termasuk izin baca, tulis, dan pengaturan. Pengguna juga harus memiliki izin untuk mengeksekusi pernyataan DDL.
   password	Kata sandi akun yang Anda gunakan untuk masuk ke kluster ClickHouse.
   database_name	Nama database tempat tabel yang akan dimigrasi berada.
   table_name	Nama tabel yang ingin Anda migrasikan dari kluster ClickHouse.

2. Jalankan pernyataan berikut pada klien PostgreSQL untuk mengimpor file CSV lokal ke instans Hologres:

   PGUSER="<username>" PGPASSWORD="<password>" psql -h "<host>" -p "<port>" -d "<database_name>" -c "COPY <schema_name>.<table_name> FROM STDIN (FORMAT 'csv')" < table.csv;

   Tabel berikut menjelaskan parameter.

   Parameter	Deskripsi
   username	Nama pengguna akun yang Anda gunakan untuk masuk ke instans Hologres. Pengguna harus memiliki izin untuk mengeksekusi pernyataan DML tertentu, termasuk izin baca, tulis, dan pengaturan. Pengguna juga harus memiliki izin untuk mengeksekusi pernyataan DDL. Nama pengguna biasanya adalah ID AccessKey akun Alibaba Cloud Anda. Anda dapat mengarahkan pointer ke foto profil di sudut kanan atas konsol Hologres dan memilih Manajemen AccessKey untuk mendapatkan ID AccessKey.
   password	Kata sandi akun yang Anda gunakan untuk masuk ke instans Hologres. Kata sandi biasanya adalah rahasia AccessKey akun Alibaba Cloud Anda. Anda dapat mengarahkan pointer ke foto profil di sudut kanan atas konsol Hologres dan memilih Manajemen AccessKey untuk mendapatkan rahasia AccessKey.
   host	Titik akhir instans Hologres. Anda dapat memperoleh informasi ini dari bagian Network Information halaman detail instans di konsol Hologres.
   port	Nomor port instans Hologres. Anda dapat memperoleh informasi ini dari bagian Network Information halaman detail instans di konsol Hologres.
   database_name	Nama database Hologres ke mana file CSV lokal akan diimpor.
   schema_name	Nama skema Hologres ke mana file CSV lokal akan diimpor. Nilai default: public.
   table_name	Nama tabel Hologres ke mana file CSV lokal akan diimpor.

3. Kueri data yang diimpor pada instans Hologres untuk memverifikasi apakah impor berhasil.

Sinkronkan semua data dari database ClickHouse ke Hologres dalam mode offline

Anda dapat menggunakan tugas sinkronisasi yang disediakan oleh DataWorks Data Integration untuk menyinkronkan semua data dari database ClickHouse ke Hologres dalam mode offline. Untuk informasi lebih lanjut, lihat Sinkronkan Data dari Beberapa Tabel di Database ApsaraDB for ClickHouse ke Hologres dalam Mode Offline.

Konversi pernyataan kueri data

Pernyataan kueri data di Hologres menggunakan sintaks PostgreSQL, sedangkan yang di ClickHouse menggunakan sintaks kustom. Sintaks SQL ClickHouse sebagian kompatibel dengan sintaks SQL standar American National Standards Institute (ANSI). Sintaks SQL Hologres dan ClickHouse secara keseluruhan serupa tetapi memiliki perbedaan dalam detail. Oleh karena itu, Anda perlu mengonversi pernyataan kueri data, terutama fungsi-fungsi seperti fungsi skalar dan fungsi jendela dalam pernyataan kueri data.

Kompatibilitas fungsi

Sintaks banyak fungsi dasar di Hologres sama dengan sintaks fungsi dasar di ClickHouse. Hologres mendukung beberapa fungsi ClickHouse atau fungsi ClickHouse yang memiliki semantik yang sama dengan fungsi Hologres. Untuk informasi lebih lanjut tentang kompatibilitas fungsi antara Hologres dan ClickHouse, lihat Fungsi ClickHouse yang Didukung.