Hologres:ClickHouse からのインポート

データ型のマッピング

メタデータ移行

メタデータ移行とは、主にテーブル作成のための DDL 文の移行を指します。

1. ClickHouse クライアントで、次のコマンドを実行してソース ClickHouse インスタンス内のデータベースを一覧表示します。

   説明

   システムデータベースが結果に表示されますが、移行する必要はありません。除外してください。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW databases"  > database.list;

   パラメーターの説明は次のとおりです。

   パラメーター	説明
   host	ソース ClickHouse インスタンスのアドレス。
   port	ソース ClickHouse インスタンスのポート。
   username	ソース ClickHouse インスタンスにログインするためのアカウント。DML の読み書き権限、設定権限、および DDL 権限が必要です。
   password	ソース ClickHouse インスタンスへのログインに使用するアカウントのパスワード。

2. ClickHouse クライアントで、次のコマンドを実行してソース ClickHouse インスタンス内のテーブルを一覧表示します。

   説明

   .inner. で始まるテーブルはマテリアライズドビューの内部テーブルであり、移行する必要はありません。除外してください。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW tables from <database_name>" > table.list;

   パラメーターの説明は次のとおりです。

   パラメーター	説明
   host	ソース ClickHouse インスタンスのアドレス。
   port	ソース ClickHouse インスタンスのポート。
   username	ソース ClickHouse インスタンスにログインするためのアカウント。DML の読み書き権限、設定権限、および DDL 権限が必要です。
   password	ソース ClickHouse インスタンスへのログインに使用するアカウントのパスワード。
   database_name	ソース ClickHouse インスタンスで移行するテーブルを含むデータベースの名前。

   また、次のコマンドを実行して、ソース ClickHouse インスタンス内のすべてのデータベース名とテーブル名をクエリすることもできます。

   select distinct database, name from system.tables where database != 'system';

3. ClickHouse クライアントで、次のコマンドを実行して、ソース ClickHouse インスタンスからテーブル作成用の DDL をエクスポートします。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>" --query="SHOW CREATE TABLE <database_name>.<table_name>"  > table.sql;

   また、system.tables メタデータテーブルを直接クエリすることもできます。

   SELECT * FROM system.tables
   where database = '<database_name>' and engine != 'Distributed';

   system.tables のフィールド変換ルールは次のとおりです。

   フィールド	説明
   database	ClickHouse のデータベースは Hologres (PostgreSQL 構文) のスキーマにマッピングされます。 たとえば、ClickHouse コマンド create database "<database_name>"; は Hologres コマンド create schema "<schema_name>"; にマッピングされます。
   name	テーブル名。変更は不要です。
   engine	Hologres には分散テーブルの概念や、ローカルテーブルと分散テーブルの区別がありません。 すべてのテーブルは、分散ストレージと分散クエリを備えた単一テーブルです。 したがって、engine='Distributed' のテーブルは除外してください。
   is_temporary	一時テーブルは移行する必要はありません。 Hologres は現在、一時テーブルをサポートしていません。
   data_paths metadata_path metadata_modification_time	無視します。
   dependencies_database dependencies_table	依存関係は、ビューやマテリアライズドビューで共通の考慮事項です。 Hologres では、依存関係のあるビューは、そのベーステーブルの前に作成する必要があります。 Hologres は現在、マテリアライズドビューをサポートしていないことに注意してください。
   create_table_query	ソース ClickHouse テーブルの DDL。Hologres DDL (PostgreSQL 構文) に変換します。
   engine_full	詳細なエンジン情報。無視します。
   partition_key	Hologres のパーティションキー列にマッピングされます。 ClickHouse の partition_key が col1 の場合、Hologres のテーブル作成文に partition by list (col1); を追加します。
   sorting_key	Hologres のセグメントキーとクラスタリングキーのインデックスにマッピングされます。
   primary_key	プライマリキー。Hologres DDL 構文の Primary Key 句にマッピングされます。
   sampling_key	Hologres DDL はサンプリングをサポートしていません。
   storage_policy	ストレージポリシー。無視します。

4. ソース ClickHouse DDL を Hologres 構文 (PostgreSQL SQL 標準と互換) に変換します。

   system.tables のフィールド変換ルールとデータ型のマッピングに基づいて DDL を変換します。 以下に例を示します。

   • lineitem という名前のテーブルの DDL を ClickHouse から Hologres に変換します。

     • ClickHouse インスタンスでテーブルを作成するための DDL は次のとおりです。

       -- lineitem on ClickHouse
       CREATE TABLE lineitem_local ON CLUSTER default(
         l_orderkey            UInt64,
         l_partkey             UInt32,
         l_suppkey             UInt32,
         l_linenumber          UInt32,
         l_quantity            decimal(15,2),
         l_extendedprice       decimal(15,2),
         l_discount            decimal(15,2),
         l_tax                 decimal(15,2),
         l_returnflag          LowCardinality(String),
         l_linestatus          LowCardinality(String),
         l_shipdate            Date,
         l_commitdate          Date,
         l_receiptdate         Date,
         l_shipinstruct        LowCardinality(String),
         l_shipmode            LowCardinality(String),
         l_comment             LowCardinality(String)
       ) ENGINE = MergeTree
       PARTITION BY toYear(l_shipdate)
       ORDER BY (l_orderkey, l_linenumber);
       
       CREATE TABLE lineitem on cluster default as lineitem_local ENGINE = Distributed(default, default, lineitem_local, l_orderkey);

     • 変換後の Hologres インスタンスでテーブルを作成するための DDL は次のとおりです。

       -- lineitem on Hologres
       -- 32 シャードのテーブルグループを作成します
       CALL hg_create_table_group ('lineitem_tg', 32);
       BEGIN;
       CREATE TABLE LINEITEM
       (
           L_ORDERKEY      BIGINT         NOT NULL,
           L_PARTKEY       INT         NOT NULL,
           L_SUPPKEY       INT         NOT NULL,
           L_LINENUMBER    INT         NOT NULL,
           L_QUANTITY      DECIMAL(15,2) NOT NULL,
           L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
           L_DISCOUNT      DECIMAL(15,2) NOT NULL,
           L_TAX           DECIMAL(15,2) NOT NULL,
           L_RETURNFLAG    TEXT        NOT NULL,
           L_LINESTATUS    TEXT        NOT NULL,
           L_SHIPDATE      TIMESTAMPTZ NOT NULL,
           L_COMMITDATE    TIMESTAMPTZ NOT NULL,
           L_RECEIPTDATE   TIMESTAMPTZ NOT NULL,
           L_SHIPINSTRUCT  TEXT        NOT NULL,
           L_SHIPMODE      TEXT        NOT NULL,
           L_COMMENT       TEXT        NOT NULL,
           PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
       );
       CALL set_table_property('LINEITEM', 'clustering_key', 'L_SHIPDATE,L_ORDERKEY');
       CALL set_table_property('LINEITEM', 'segment_key', 'L_SHIPDATE');
       CALL set_table_property('LINEITEM', 'table_group', 'lineitem_tg');
       CALL set_table_property('LINEITEM', 'distribution_key', 'L_ORDERKEY');
       -- LowCardinality の列
       CALL set_table_property('LINEITEM', 'bitmap_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
       -- LowCardinality の列
       CALL set_table_property('LINEITEM', 'dictionary_encoding_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
       CALL set_table_property('LINEITEM', 'time_to_live_in_seconds', '31536000');
       COMMIT;

   • customer という名前のテーブルの DDL を ClickHouse から Hologres に変換します。

     • 次の DDL 文は、ClickHouse インスタンスにテーブルを作成します。

       -- customer on ClickHouse
       CREATE TABLE customer_local ON CLUSTER default(
         c_custkey             UInt32,
         c_name                String,
         c_address             String,
         c_nationkey           UInt32,
         c_phone               LowCardinality(String),
         c_acctbal             decimal(15,2),
         c_mktsegment          LowCardinality(String),
         c_comment             LowCardinality(String)
       ) ENGINE = MergeTree
       ORDER BY (c_custkey);
       
       CREATE TABLE customer on cluster default as customer_local
       ENGINE = Distributed(default, default, customer_local, c_custkey);

     • 変換後の Hologres インスタンスでテーブルを作成するための DDL は次のとおりです。

       -- customer on Hologres
       BEGIN;
       CREATE TABLE CUSTOMER (
           C_CUSTKEY    INT    NOT NULL PRIMARY KEY,
           C_NAME       TEXT   NOT NULL,
           C_ADDRESS    TEXT   NOT NULL,
           C_NATIONKEY  INT    NOT NULL,
           C_PHONE      TEXT   NOT NULL,
           C_ACCTBAL    DECIMAL(15,2) NOT NULL,
           C_MKTSEGMENT TEXT   NOT NULL,
           C_COMMENT    TEXT   NOT NULL
       );
       CALL set_table_property('CUSTOMER', 'distribution_key', 'C_CUSTKEY');
       CALL set_table_property('CUSTOMER', 'table_group', 'lineitem_tg');
       CALL set_table_property('CUSTOMER', 'bitmap_columns', 'C_CUSTKEY,C_NATIONKEY,C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
       CALL set_table_property('CUSTOMER', 'dictionary_encoding_columns', 'C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
       CALL set_table_property('CUSTOMER', 'time_to_live_in_seconds', '31536000');
       COMMIT;

5. PSQL クライアントで、次のコマンドを実行して、変換された DDL をターゲット Hologres インスタンスにインポートします。

   PGUSER="<username>" PGPASSWORD="<password>" psql -h "<host>" -p "<port>" -d "<database_name>" -f table.sql;

データ移行

ソースインスタンスからファイルにデータをエクスポートし、それをターゲット Hologres インスタンスにインポートするには、次の手順に従います。

1. ClickHouse クライアントで、次のコマンドを実行して、ソースインスタンスからローカル CSV ファイルにデータをエクスポートします。

   clickhouse-client --host="<host>" --port="<port>" --user="<username>" --password="<password>"  --query="select * from <database_name>.<table_name> FORMAT CSV"  > table.csv;

   パラメーターの説明は次のとおりです。

   パラメーター	説明
   host	ソース ClickHouse インスタンスのアドレス。
   port	ソース ClickHouse インスタンスのポート。
   username	ソース ClickHouse インスタンスにログインするためのアカウント。DML の読み書き権限、設定権限、および DDL 権限が必要です。
   password	ソース ClickHouse インスタンスへのログインに使用するアカウントのパスワード。
   database_name	ソース ClickHouse インスタンスで移行するテーブルを含むデータベースの名前。
   table_name	ソース ClickHouse インスタンスから移行するテーブルの名前。

2. PSQL クライアントで、次のコマンドを実行して、ローカル CSV ファイルを Hologres インスタンスにインポートします。

   PGUSER="<username>" PGPASSWORD="<password>" psql -h "<host>" -p "<port>" -d "<database_name>" -c "COPY <schema_name>.<table_name> FROM STDIN (FORMAT 'csv')" < table.csv;

   パラメーターの説明は次のとおりです。

   パラメーター	説明
   username	ターゲット Hologres インスタンスにログインするためのアカウント。DML の読み書き権限、設定権限、および DDL 権限が必要です。 通常、これは Alibaba Cloud アカウントの AccessKey ID です。 AccessKey 管理から取得できます。
   password	ターゲット Hologres インスタンスへのログインに使用するアカウントのパスワード。 通常、これは Alibaba Cloud アカウントの AccessKey Secret です。 AccessKey 管理から取得できます。
   host	Hologres インスタンスのサーバーアドレス。 管理コンソールにログインし、インスタンス詳細ページに移動して、Network Information で確認できます。
   port	Hologres インスタンスのポート。 管理コンソールにログインし、インスタンス詳細ページに移動して、Network Information で確認できます。
   database_name	データの移行先となる Hologres インスタンス内のデータベースの名前。
   schema_name	データの移行先となる Hologres インスタンス内のスキーマの名前。 指定しない場合、デフォルトは public です。
   table_name	データの移行先となる Hologres インスタンス内のテーブルの名前。

3. Hologres でインポートされたデータをクエリして、データが正常にインポートされたことを確認します。

ClickHouse からのオフラインでのデータベース全体の同期

DataWorks データ統合ソリューションを使用して、ClickHouse データベース全体をオフラインで Hologres に同期できます。 詳細については、「ClickHouse データベース全体をオフラインで Hologres に同期する」をご参照ください。

クエリ文の移行

Hologres はクエリに PostgreSQL 構文を使用しますが、ClickHouse は独自の構文を使用し、これは部分的に ANSI SQL と互換性があります。 両者は概ね似ていますが、詳細が異なります。 したがって、クエリ文を移行する必要があります。 一般的な移行には、スカラー関数、ウィンドウ関数、その他の関数名が含まれます。

関数の互換性

Hologres と ClickHouse は、同じ構文を持つ多くの基本関数を共有しています。 他の ClickHouse 関数については、Hologres は同じ関数または意味的に同等な代替手段をサポートしています。 関数の互換性の詳細については、「ClickHouse 互換関数」をご参照ください。