ApsaraDB for ClickHouse:セルフマネージドから Community-Compatible ClickHouse への移行

ステップ 1：セルフマネージドクラスターでシステムテーブルを有効化

コンソール移行では、セルフマネージドクラスターの system.part_log および system.query_log を、config.xml で正しく有効化および設定する必要があります。

<part_log>
    <database>system</database>
    <table>part_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</part_log>

<query_log>
    <database>system</database>
    <table>query_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

DROP TABLE system.part_log;
DROP TABLE system.query_log;

ステップ 2：送信先クラスターで互換性を設定

送信先クラスターを、セルフマネージドクラスターと同じ互換性レベルで構成します。これにより、移行後の変更を最小限に抑えられます。

1. 両方のクラスターのバージョンを確認します。

   SELECT version();

2. バージョンが異なる場合は、送信先クラスターの互換性パラメーターを、セルフマネージドクラスターのバージョンに合わせて設定します。例：

   SET GLOBAL compatibility = '22.8';

ステップ 3（任意）：MaterializedMySQL エンジンの有効化

セルフマネージドクラスターに MaterializedMySQL エンジンを使用するテーブルがある場合は、送信先クラスターで以下のコマンドを実行します。

SET GLOBAL allow_experimental_database_materialized_mysql = 1;

ClickHouse コミュニティは、MaterializedMySQL エンジンのメンテナンスを中止しました。移行後は、Data Transmission Service (DTS) を使用して MySQL データを ReplacingMergeTree テーブルと同期してください。詳細については、「シームレスな統合を使用して ApsaraDB RDS for MySQL から ApsaraDB for ClickHouse クラスターへデータを同期する」および「ApsaraDB RDS for MySQL から ApsaraDB for ClickHouse クラスターへデータを同期する」をご参照ください。

ステップ 4：移行タスクの作成

1. ApsaraDB for ClickHouse コンソール にログインします。

2. クラスター ページで、Community-compatible Edition のクラスター を選択し、送信先クラスター ID をクリックします。

3. 左側のナビゲーションウィンドウで、データ移行および同期 ＞ ClickHouse からの移行 をクリックします。

4. 移行タスクの作成 をクリックします。

5. ソースクラスターの接続設定を構成します。ソースクラスターの IP アドレスおよびポートを取得するには：replica_num = 1 は最初のレプリカセットを選択します。必要に応じて、他のレプリカセットを選択できます。

   クロスアカウントまたはクロスリージョンの移行

   クロスアカウントまたはクロスリージョンの Alibaba Cloud ClickHouse インスタンス： ``sql SELECT shard_num, replica_num, host_address AS ip, port FROM system.clusters WHERE cluster = 'default' AND replica_num = 1; ``

   Alibaba Cloud 外のインスタンスの移行

   Alibaba Cloud 外の ClickHouse インスタンス： ``sql SELECT shard_num, replica_num, host_address AS ip, port FROM system.clusters WHERE cluster = '<cluster_name>' AND replica_num = 1; ``

   ソースクラスターのパラメーター

   ソースクラスターの設定：

   フィールド	説明	例
   ソースアクセス方法	Express Connect、VPN Gateway、Smart Access Gateway、または ECS インスタンス上のセルフマネージド ClickHouse クラスター を選択します。	—
   クラスター名	ソースクラスターの名前。数字および小文字のみ使用可能です。	source
   ソースクラスター名	SELECT * FROM system.clusters; から取得した内部クラスター名。	default
   VPC IP アドレス	各シャードの TCP IP:PORT のペアをカンマ区切りで指定します。VPC ドメイン名または SLB アドレスは使用しないでください。形式： IP:PORT,IP:PORT,...	192.168.0.5:9000,192.168.0.6:9000
   データベースアカウント	ソースクラスターのアカウント。	test
   データベースパスワード	ソースクラスターのアカウントのパスワード。	—

   送信先クラスターのパラメーター

   送信先クラスターの設定：

   フィールド	説明
   データベースアカウント	送信先クラスターのアカウント。
   データベースパスワード	送信先クラスターのアカウントのパスワード。

   

6. 接続テストと続行 をクリックします。テストが失敗した場合は、接続設定を修正して再試行してください。

7. 移行内容を確認し、次へ：事前検出および同期の開始 をクリックします。

8. システムが 3 つの事前チェックを実行します。すべてのチェックが成功した場合：いずれかのチェックが失敗した場合は、「事前チェックのエラーメッセージと解決策」のエラー案内に従って対応してください。

   1. 影響に関するプロンプトをよくお読みください。

   2. 完了 をクリックして、タスクを作成および開始します。

   チェック項目	要件
   インスタンス状態検出	どちらのクラスターにも、実行中の管理タスク（スケールアウト、アップグレード、スペックダウン）がないこと。
   ストレージ容量検出	送信先クラスターのストレージ容量 ≥ セルフマネージドクラスターの使用済み容量 × 1.2。
   ローカルテーブルおよび分散テーブル検出	セルフマネージドクラスターの各ローカルテーブルには、対応する分散テーブルが 1 つだけ存在すること。

   

ステップ 5：移行の完了可能性の評価

ソースクラスターの書き込み速度が 20 MB/s 未満の場合は、このステップをスキップできます。

ソースクラスターの書き込み速度が 20 MB/s を超える場合は、送信先クラスターが追従できるかどうかを確認します。

1. 送信先クラスターの ディスクスループット メトリックを確認します。詳細については、「クラスターモニタリング情報の表示」をご参照ください。

2. 書き込み速度を比較します。

   • 送信先の書き込み速度 > ソースの書き込み速度：移行は 成功する可能性が高い です。ステップ 6 に進んでください。

   • 送信先の書き込み速度 < ソースの書き込み速度：移行は 失敗する可能性が高い です。タスクをキャンセルし、「手動移行」をご利用ください。

ステップ 6：移行タスクの監視

1. ApsaraDB for ClickHouse コンソール にログインします。

2. クラスター ページで、Community-compatible Edition のクラスター を選択し、送信先クラスター ID をクリックします。

3. 左側のナビゲーションウィンドウで、データ移行および同期 ＞ ClickHouse からの移行 をクリックします。

4. タスクのステータスおよび 実行中の情報 列を監視します。

タスクの詳細を表示するには、詳細の表示 を 操作 列でクリックします。詳細ページには、移行済みのテーブルスキーマ、データベース構造、およびエラーメッセージが表示されます。

タスクが終了した後（ステータス：完了またはキャンセル）、詳細の表示 ページはクリアされます。その後も移行済みのテーブルスキーマを表示するには、以下のコマンドを実行してください。

SELECT `database`, `name`, `engine_full`
FROM `system`.`tables`
WHERE `database` NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema');

タスクのステータス：

ステップ 7：書き込みの停止および Kafka および RabbitMQ テーブルの処理

業務トラフィックを送信先クラスターに切り替える前に、セルフマネージドクラスターへのすべての書き込みを停止し、送信先で Kafka および RabbitMQ のテーブルを手動で作成します。

1. セルフマネージドクラスター で、処理対象のテーブルを特定します。

   SELECT * FROM system.tables WHERE engine IN ('RabbitMQ', 'Kafka');

2. 各テーブルの DDL を取得します。

   SHOW CREATE TABLE <target_table_name>;

3. 送信先クラスター で、DDL ステートメントを実行してテーブルを作成します。「DMS を使用した ClickHouse クラスターへの接続」で接続手順をご確認ください。

4. セルフマネージドクラスター で、Kafka および RabbitMQ のテーブルを削除します。

ステップ 8：移行の完了

セルフマネージドクラスターへの書き込みを停止した後、移行を完了します。これにより、残りのデータが移行され、データ量のチェックが実行され、未処理のデータベースおよびテーブルスキーマが移行されます。

1. ApsaraDB for ClickHouse コンソール にログインします。

2. クラスター ページで、Community-compatible Edition のクラスター を選択し、送信先クラスター ID をクリックします。

3. 左側のナビゲーションウィンドウで、データ移行および同期 ＞ ClickHouse からの移行 をクリックします。

4. タスクの 操作 列で、移行の完了 をクリックします。

5. ダイアログボックスで、OK をクリックします。

ステップ 9：非 MergeTree テーブルのデータ移行

移行タスクは、非 MergeTree テーブル（外部テーブル、Log テーブル）のテーブルスキーマをコピーしますが、そのデータはコピーしません。データは手動で移行する必要があります。

1. セルフマネージドクラスター で、手動でデータ移行が必要なテーブルを特定します。

   SELECT
       `database` AS database_name,
       `name` AS table_name,
       `engine`
   FROM `system`.`tables`
   WHERE (`engine` NOT LIKE '%MergeTree%')
     AND (`engine` != 'Distributed')
     AND (`engine` != 'MaterializedView')
     AND (`engine` NOT IN ('Kafka', 'RabbitMQ'))
     AND (`database` NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema'))
     AND (`database` NOT IN (
         SELECT `name`
         FROM `system`.`databases`
         WHERE `engine` IN ('MySQL', 'MaterializedMySQL', 'MaterializeMySQL', 'Lazy', 'PostgreSQL', 'MaterializedPostgreSQL', 'SQLite')
     ))

2. 送信先クラスター で、remote 関数を使用してデータを移行します。「remote 関数を使用したデータ移行」（手動移行セクション）をご参照ください。

ステップ 1：テーブルスキーマ（DDL）の移行

送信先の ApsaraDB for ClickHouse クラスターと同じバージョンの clickhouse-client をインストールします。「clickhouse-client」でダウンロード手順をご確認ください。

1. セルフマネージドクラスター内のデータベースを一覧表示します。

   clickhouse-client \
     --host="<old_host>" --port="<old_port>" \
     --user="<old_username>" --password="<old_password>" \
     --query="SHOW databases" > database.list

   system データベースは移行する必要はありません。

2. セルフマネージドクラスター内のテーブルを一覧表示します。以下のいずれかの方法を使用します。

   .inner. で始まるテーブル名は、マテリアライズドビューの内部表現であり、移行する必要はありません。

   clickhouse-client \
     --host="<old_host>" --port="<old_port>" \
     --user="<old_username>" --password="<old_password>" \
     --query="SHOW tables from <database_name>" > table.list

   または、すべてのデータベースおよびテーブルを一度に照会します。

   SELECT DISTINCT database, name FROM system.tables WHERE database != 'system';

3. データベース内のすべてのテーブルの DDL をエクスポートします。

   clickhouse-client \
     --host="<old_host>" --port="<old_port>" \
     --user="<old_username>" --password="<old_password>" \
     --query="SELECT concat(create_table_query, ';') FROM system.tables WHERE database='<database_name>' FORMAT TabSeparatedRaw" > tables.sql

4. 送信先クラスターでターゲットデータベースを作成し、DDL をインポートします。

   パラメーター	説明
   <old_host id="49bc4df282xmg"></old_host>	セルフマネージドクラスターのアドレス。
   <old_port id="875bbc7cbci4e"></old_port>	セルフマネージドクラスターのポート。
   <old_username></old_username>	DML の読み取り／書き込み、設定、DDL の権限を持つアカウント。
   <old_password id="349ed6d40fai6"></old_password>	アカウントのパスワード。
   <new_host>	送信先の ApsaraDB for ClickHouse クラスターのアドレス。
   <new_port>	送信先の ApsaraDB for ClickHouse クラスターのポート。
   <new_username>	DML の読み取り／書き込み、設定、DDL の権限を持つアカウント。
   <new_password>	アカウントのパスワード。

   clickhouse-client \
     --host="<new_host>" --port="<new_port>" \
     --user="<new_username>" --password="<new_password>" \
     -d '<database_name>' --multiquery < tables.sql

ステップ 2：データの移行

3 つのオプションがあります。可能な場合は、パーティション単位の移行をサポートし、リソース使用量を削減できる remote 関数（オプション A）をご利用ください。

clickhouse-client \
  --host="<old_host>" --port="<old_port>" \
  --user="<old_username>" --password="<old_password>" \
  --query="SELECT * FROM <database_name>.<table_name> FORMAT CSV" > table.csv

clickhouse-client \
  --host="<new_host>" --port="<new_port>" \
  --user="<new_username>" --password="<new_password>" \
  --query="INSERT INTO <database_name>.<table_name> FORMAT CSV" < table.csv

clickhouse-client \
  --host="<old_host>" --port="<old_port>" \
  --user="<username>" --password="<password>" \
  --query="SELECT * FROM <database_name>.<table_name> FORMAT CSV" | \
clickhouse-client \
  --host="<new_host>" --port="<new_port>" \
  --user="<username>" --password="<password>" \
  --query="INSERT INTO <database_name>.<table_name> FORMAT CSV"