ApsaraDB for ClickHouse:セルフマネージド ClickHouse クラスターから Community 互換 Edition を実行する ApsaraDB for ClickHouse クラスターへのデータの移行

ステップ 1: セルフマネージドクラスターの システム テーブルを有効にする

移行前に、セルフマネージドクラスターの config.xml ファイルを変更して、システムテーブル system.part_log と system.query_log を有効にし、増分移行を許可する必要があります。

<part_log>
    <database>system</database>
    <table>part_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</part_log>

<query_log>
    <database>system</database>
    <table>query_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

手順 2： セルフマネージドクラスターのバージョンと互換性を持つようにデスティネーションクラスターを構成する

(オプション) 手順 3: MaterializedMySQL エンジンを移行先クラスターで有効にする

セルフマネージドクラスターに MaterializedMySQL エンジンを使用するテーブルが含まれている場合は、次の文を実行して、移行先クラスターで MaterializedMySQL エンジンを有効にします。

SET GLOBAL allow_experimental_database_materialized_mysql = 1;

ステップ 4: 移行タスクを作成する

1. ApsaraDB for ClickHouse コンソール にログオンします。

2. [クラスタ] ページで、[Community 互換エディションのクラスタ] タブをクリックし、管理するクラスタの ID をクリックします。

3. 左側のナビゲーションウィンドウで、データ移行と同期 > セルフマネージド ClickHouse または ApsaraDB For ClickHouse からの移行 を選択します。

4. 表示されるページの左上隅にある [移行タスクの作成] をクリックします。

   1. ソースクラスタとデスティネーションクラスタを構成します。

      [ソースインスタンス情報] セクションと [デスティネーションインスタンス情報] セクションで必要なパラメーターを構成し、[接続テストと続行] をクリックします。

      説明

      接続テストが成功したら、[移行コンテンツ] ステップに進みます。接続テストが失敗した場合は、プロンプトに従ってソースクラスタとデスティネーションクラスタを再構成します。

      

      ソースクラスタを構成する

      パラメーター	説明	例
      ソースアクセス方法	アクセス方法。 Express Connect、VPN Gateway、Smart Access Gateway、または ECS インスタンス上のセルフマネージド ClickHouse を選択します。	Express Connect、VPN Gateway、Smart Access Gateway、または ECS インスタンス上のセルフマネージド ClickHouse
      クラスタ名	ソースクラスタの名前。 値には数字と小文字を含めることができます。	source
      ソースクラスタ名	SELECT * FROM system.clusters; 文を実行して、クラスタ名 を取得する必要があります。	default
      VPC IP アドレス	クラスタ内の各シャードの IP アドレスとポート、または TCP アドレス。複数の値はカンマ (,) で区切ります。 重要 ApsaraDB for ClickHouse クラスタの VPC ドメイン名、または Server Load Balancer (SLB) インスタンスの IP アドレスは使用できません。 形式: IP:PORT,IP:PORT,...... 次のシナリオに基づいて、セルフマネージドクラスタの IP アドレスとポートをクエリできます。 アカウントまたはリージョンをまたがる ApsaraDB for ClickHouse クラスタの移行 セルフマネージドクラスタの IP アドレスとポートをクエリするには、次の SQL 文を実行します。 SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = 'default' and replica_num = 1; 上記の例では、replica_num=1 設定は、最初のレプリカセットが選択されていることを示しています。別のレプリカセットを選択するか、各シャードから 1 つのレプリカを選択してレプリカセットを形成することもできます。 ApsaraDB for ClickHouse 以外のクラスタの移行 セルフマネージドクラスタの IP アドレスが Alibaba Cloud IP アドレスにマッピングされていない場合は、次の SQL 文を実行して、セルフマネージドクラスタの IP アドレスとポートをクエリできます。 SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = '<cluster_name>' and replica_num = 1; パラメーター: cluster_name: デスティネーションクラスタの名前。 replica_num=1: 最初のレプリカセットが選択されます。別のレプリカセットを選択するか、各シャードから 1 つのレプリカを選択してレプリカセットを形成することもできます。 IP アドレスとポートが変換され、Alibaba Cloud IP アドレスとポートにマッピングされている場合は、接続設定に基づいて IP アドレスとポートを構成する必要があります。	192.168.0.5:9000,192.168.0.6:9000
      データベースアカウント	ソースクラスタ内のデータベースアカウントのユーザー名。	test
      データベースパスワード	ソースクラスタ内のデータベースアカウントのパスワード。	test******

      デスティネーションクラスタを構成する

      パラメーター	説明	例
      データベースアカウント	デスティネーションクラスタ内のデータベースアカウントのユーザー名。	test
      データベースパスワード	デスティネーションクラスタ内のデータベースアカウントのパスワード。	test******

   2. 移行コンテンツを確認します。

      表示されるページで、データ移行コンテンツに関する情報を読み、[次へ: 事前検出と同期開始] をクリックします。

   3. システムは移行構成の事前チェックを実行し、事前チェックに合格した後、バックグラウンドで移行タスクを開始します。

      システムは、ソースクラスタとデスティネーションクラスタに対して次の事前チェックを実行します: [インスタンスステータス検出]、[ストレージ容量検出]、および [ローカルテーブルと分散テーブルの検出]。

      • 事前チェックが成功した場合は、次の操作を実行します。

        事前チェックが成功すると、次の図に示す情報が表示されます。

        

        1. クラスタへのデータ移行の影響に関する情報を読みます。

        2. [完了] をクリックします。

           重要

           • 構成を完了すると、タスクが作成され、実行中状態になります。タスクリストでタスクを表示できます。

           • 移行タスクが作成された後、移行タスクを監視する必要があります。移行が完了に近づいたら、セルフマネージドクラスタへのデータの書き込みを停止し、残りのデータベースとテーブルスキーマを移行する必要があります。詳細については、「移行タスクの監視とセルフマネージドクラスタへのデータ書き込みの停止」をご参照ください。

      • 事前チェックが失敗した場合は、画面上の指示に従って問題を解決し、移行タスクパラメーターを再構成する必要があります。次の表に、事前チェック項目と要件を示します。エラーと解決策の詳細については、「移行チェックで報告されたエラーのクエリとトラブルシューティング」をご参照ください。

        項目	要件
        クラスタステータス検出	データを移行する前に、スケールアウト、スペックアップ、またはスペックダウンなどの管理操作がセルフマネージドクラスタとデスティネーションクラスタで実行されていないことを確認してください。セルフマネージドクラスタとデスティネーションクラスタで管理操作が実行されている場合、システムは移行タスクを開始できません。
        ストレージ容量検出	移行タスクが開始される前に、システムはセルフマネージドクラスタとデスティネーションクラスタのストレージ容量を確認します。デスティネーションクラスタのストレージ容量がセルフマネージドクラスタのストレージ容量の少なくとも 1.2 倍であることを確認してください。
        ローカルテーブルと分散テーブルの検出	ローカルテーブル用に分散テーブルが作成されていない場合、または同じローカルテーブル用に複数の分散テーブルがセルフマネージドクラスタに作成されている場合、事前チェックは失敗します。冗長な分散テーブルを削除するか、一意の分散テーブルを作成する必要があります。

remote 関数を使用してデータを移行する

1. （オプション） ApsaraDB for ClickHouse クラスターにデータを移行する際にネットワークトラフィックの消費量を考慮する必要がある場合は、network_compression_method パラメーターを設定して適切な圧縮アルゴリズムを指定することで、トラフィックの消費量を削減できます。

   • 移行先の ApsaraDB for ClickHouse クラスターで network_compression_method パラメーターの値を表示または一時的に変更します。ステートメント例：

   SET network_compression_method = 'ZSTD';

   • 移行先の ApsaraDB for ClickHouse クラスターで network_compression_method パラメーターの値を表示します。ステートメント例：

   SELECT * FROM system.settings WHERE name = 'network_compression_method';

2. 移行先の ApsaraDB for ClickHouse クラスターで次の SQL 文を実行して、データを移行します。

   INSERT INTO <new_database>.<new_table> 
   SELECT * 
   FROM remote('<old_endpoint>', <old_database>.<old_table>, '<username>', '<password>') 
   [WHERE _partition_id = '<partition_id>']
   SETTINGS max_execution_time = 0, max_bytes_to_read = 0, log_query_threads = 0;

   説明

   ApsaraDB for ClickHouse V20.8 の場合、remoteRaw 関数を使用してデータを移行することをお勧めします。データの移行に失敗した場合は、マイナーバージョンアップデートを申請できます。

   INSERT INTO <new_database>.<new_table> 
   SELECT * 
   FROM remoteRaw('<old_endpoint>', <old_database>.<old_table>, '<username>', '<password>')
   [WHERE _partition_id = '<partition_id>']
   SETTINGS max_execution_time = 0, max_bytes_to_read = 0, log_query_threads = 0;

   パラメーター

   重要

   partition_id パラメーターを使用してデータをフィルタリングし、リソース使用量を削減できます。このパラメーターを使用することをお勧めします。

   （オプション）次の SQL 文を実行して、system.parts 内の partition_id パラメーターの値とパーツの数をクエリできます。

   SELECT partition_id, count(*) AS part_count from clusterAllReplicas(default, system, parts) WHERE `database` = '<old_database>' AND `table` = '<old_table>' GROUP BY partition_id ;

   パラメーター	説明
   new_database	移行先クラスターのデータベース名。
   new_table	移行先クラスターのテーブル名。
   old_endpoint	セルフマネージドクラスターのエンドポイント。 セルフマネージドクラスター セルフマネージドクラスターのエンドポイントは、セルフマネージドクラスターのノードの IP アドレス:ポート 形式です。 重要 この場合、ポートは TCP ポートです。 ApsaraDB for ClickHouse クラスター ApsaraDB for ClickHouse クラスターのエンドポイントは、パブリックエンドポイントではなく VPC エンドポイントです。 重要 ポート 3306 は ApsaraDB for ClickHouse Community 互換 Edition クラスターのデフォルトポートであり、ポート 9000 は ApsaraDB for ClickHouse Enterprise Edition クラスターのデフォルトポートです。 Community 互換 Edition クラスター: エンドポイントは VPC エンドポイント:3306 形式です。 例: cc-2zeqhh5v7y6q*****.clickhouse.ads.aliyuncs.com:3306. Enterprise Edition クラスター: エンドポイントは VPC エンドポイント:9000 形式です。 例: cc-bp1anv7jo84ta*****clickhouse.clickhouseserver.rds.aliyuncs.com:9000.
   old_database	セルフマネージドクラスターのデータベース名。
   old_table	セルフマネージドクラスターのテーブル名。
   username	セルフマネージドクラスターのアカウントのユーザー名。
   password	セルフマネージドクラスターのアカウントのパスワード。
   max_execution_time	クエリの最大実行時間。値 0 は制限がないことを示します。
   max_bytes_to_read	クエリ中にソースデータから読み取ることができる最大バイト数。値 0 は制限がないことを示します。
   log_query_threads	クエリスレッドに関する情報を記録するかどうかを指定します。値 0 は、クエリスレッドに関する情報が記録されないことを示します。
   _partition_id	データパーティションの ID。

ファイルをエクスポートおよびインポートしてデータを移行する

セルフマネージドクラスターからファイルをエクスポートし、そのファイルを移行先クラスターにインポートしてデータを移行できます。

• CSV ファイルをエクスポートおよびインポートする

  1. セルフマネージドクラスターから CSV ファイルにデータをエクスポートします。

     clickhouse-client --host="<old host>" --port="<old port>" --user="<old user name>" --password="<old password>"  --query="select * from <database_name>.<table_name> FORMAT CSV"  > table.csv

  2. CSV ファイルを移行先クラスターにインポートします。

     clickhouse-client --host="<new host>" --port="<new port>" --user="<new user name>" --password="<new password>"  --query="insert into <database_name>.<table_name> FORMAT CSV"  < table.csv

• Linux でパイプを使用してストリーミングデータをエクスポートおよびインポートする

  clickhouse-client --host="<old host>" --port="<old port>" --user="<user name>" --password="<password>"  --query="select * from <database_name>.<table_name> FORMAT CSV" | 
  clickhouse-client --host="<new host>" --port="<new port>" --user="<user name>" --password="<password>"   --query="INSERT INTO <database_name>.<table_name> FORMAT CSV"