Data Transmission Service:PolarDB for MySQL クラスターから ApsaraDB for ClickHouse クラスターへのデータ同期

ソースインスタンスの制限

• ソースサーバーには十分なアウトバウンド帯域幅が必要です。帯域幅が不足すると、同期が遅くなります。

• テーブルを同期し、送信先で列の名前を変更または変更する場合、1 つのタスクでサポートされるテーブルは最大 1,000 です。1,000 を超えるテーブルの場合は、複数のタスクに分割するか、データベース全体を同期してください。

• 完全データ同期中にソースで DDL 操作を実行しないでください。実行するとタスクが失敗します。

その他の制限

• DTS は、ソースクラスターから読み取り専用ノードや Object Storage Service (OSS) 外部テーブルを同期しません。

• 標準の MySQL 構文ではない DDL 文は、タスクの失敗やデータ損失の原因となる可能性があります。

• RENAME TABLE はサポートされていません。

• ソースの DATETIME 値は、ClickHouse がサポートする時間範囲内である必要があります (詳細については、「時間範囲」をご参照ください)。

• パーティションキーとして選択されたすべての列は、空でないフィールドである必要があります。

• 1 つの ApsaraDB for ClickHouse クラスターに同期できるデータベースは最大 256 です。

• データベース、テーブル、および列の名前は、ApsaraDB for ClickHouse の命名規則に準拠する必要があります。詳細については、「オブジェクトの命名規則に関する制限」をご参照ください。

• スキーマ同期中、DTS は _sign、_is_deleted、および _version フィールドを送信先テーブルに追加します。[スキーマ同期] を無効にする場合は、送信先テーブルを手動で作成し、これらのフィールドを含めてください。

• 同期中に他のソースから送信先データベースにデータを書き込まないでください。同時書き込みはデータの不整合を引き起こします。

• テーブルレベルで同期されているテーブルに対して DDL を実行する場合、pt-online-schema-change を使用しないでください。代わりに、Data Management (DMS) のロックなし DDL を使用してください。

• 可能な限り、オフピーク時間に同期を実行してください。完全データ同期は、両方のクラスターの読み取りおよび書き込みリソースを使用します。

• タスクが失敗した場合、DTS サポートは 8 時間以内に復元を試み、タスクを再起動したり、タスクパラメーター (データベースパラメーターではない) を変更したりすることがあります。

DML

INSERT、UPDATE、DELETE

DDL

ステップ 1：データ同期ページへ移動

ステップ 2：ソースデータベースとターゲットデータベースの設定

[タスクの作成] をクリックし、次のパラメーターを入力します。

[接続テストと次へ] をクリックします。

DTS サーバーの CIDR ブロックが、ソースおよびターゲットデータベースのセキュリティグループルールに追加されていることを確認してください。詳細については、「DTS サーバーの CIDR ブロックを追加する」をご参照ください。

ステップ 3：同期するオブジェクトの設定

[オブジェクトの設定] ステップで、次のパラメーターを設定します。

オブジェクト名マッピングを使用すると、名前が変更されたオブジェクトに依存するオブジェクトの同期が失敗する可能性があります。

[次へ：詳細設定] をクリックし、次のパラメーターを設定します。

[次へ：データベースとテーブルフィールドの設定] をクリックして、各 ClickHouse 送信先テーブルの [タイプ]、[主キー列]、[ソートキー]、[分散キー]、および[パーティションキー]を設定します。

DTS はデフォルトでこれらのフィールドを自動設定します。変更するには、[定義ステータス] を [すべて] に設定します。

[主キー列] と [ソートキー] は複数の列を受け入れます。[分散キー] は 1 つの列のみを受け入れます。

[パーティションキー] はオプションです。設定した場合、選択されたすべての列は空でないフィールドである必要があります。

ClickHouse テーブルパラメーターの詳細については、「CREATE TABLE」をご参照ください。

ステップ 4：事前チェックの実行

[次へ：タスク設定の保存と事前チェック] をクリックします。

このタスクの API パラメーターをプレビューするには、[次へ：タスク設定の保存と事前チェック] にカーソルを合わせ、[OpenAPI パラメーターのプレビュー] をクリックします。

DTS はタスクを開始する前に事前チェックを実行します。事前チェックが失敗した場合：

• 失敗した項目の横にある [詳細の表示] をクリックし、問題を修正して [再事前チェック] をクリックします。

• 無視できるアラート項目については、[アラート詳細の確認] > [無視] > [OK] をクリックし、その後 [再事前チェック] をクリックします。アラートを無視すると、データの不整合が発生する可能性があります。

ステップ 5：インスタンスの購入

1. [成功率] が [100%] に達するまで待ち、[次へ：インスタンスの購入] をクリックします。

2. [購入] ページで、次のパラメーターを設定します。

1. [Data Transmission Service (従量課金) 利用規約] を読み、選択します。

2. [購入して開始] をクリックし、確認ダイアログボックスで [OK] をクリックします。

タスクがタスクリストに表示されます。そこで進行状況を監視します。

時間範囲

テーブル

送信先テーブルを手動で作成する場合 (スキーマ同期なし)、テーブルは次の要件を満たす必要があります。

• コミュニティ互換エディション：ローカルテーブルと分散テーブルを作成します。分散テーブル名はソーステーブル名と一致する必要があります。ローカルテーブル名は <distributed_table_name>_local 形式に従います。

• Enterprise Edition：ソーステーブルと同じ名前のテーブルを作成します。

フィールド

DTS は、次のメタデータフィールドを送信先テーブルに追加します。

ApsaraDB for ClickHouse コミュニティ互換エディション V23.8 以前

ApsaraDB for ClickHouse Enterprise Edition またはコミュニティ互換エディション V23.8 以降