Data Transmission Service:PolarDB for MySQL クラスターからセルフマネージド Doris データベースへのデータ同期

ソースデータベース

• PRIMARY KEY または UNIQUE 制約を持つテーブルの場合、すべてのフィールドが一意でなければ、移行先に重複データが含まれる可能性があります。

• PRIMARY KEY または UNIQUE 制約がないテーブルについては、[データベース、テーブル、および列の設定] ステップで、[同期タイプ] に [スキーマ同期] を、[エンジン] に [duplicate] を選択します。

• 同期オブジェクトとしてテーブル (データベースではない) を選択し、ターゲットでテーブルまたは列の名前を変更する必要がある場合、単一のタスクでサポートされるテーブルは最大 1,000 です。この制限を超えると、リクエストエラーが発生します。代わりに、複数のタスクを設定するか、データベース全体を同期してください。

• バイナリログの要件：

  • loose_polar_log_bin は ON に設定する必要があります

  • 保持期間：3 日以上 (7 日間を推奨)

• 初期スキーマ同期または初期フルデータ同期中に、データベースまたはテーブルのスキーマを変更する DDL 操作を実行しないでください。DTS はフル同期中にソースデータベースにクエリを実行するため、DDL 操作をブロックする可能性のあるメタデータロックが作成されます。

• 物理バックアップから復元されたデータやカスケード操作によって生成されたデータなど、バイナリログに記録されない操作による変更は、ターゲットに同期されません。これが発生した場合、業務上許容されるのであれば、影響を受けるデータベースまたはテーブルを同期オブジェクトから削除して再追加できます。詳細については、「同期オブジェクトの変更」をご参照ください。

一般的な制限事項

• DTS は、ソース PolarDB for MySQL クラスターの読み取り専用ノードを同期しません。

• DTS は、ソースの Object Storage Service (OSS) 外部テーブルを同期しません。

• 初期フルデータ同期中のプライマリ/スタンバイ切り替えはサポートされていません。切り替えが発生した場合は、同期タスクを再設定してください。

• Doris では、Unique Key Model または Duplicate Key Model を使用するテーブルのみがサポートされています。Duplicate Key Model を使用する場合、DTS は UPDATE および DELETE ステートメントを INSERT ステートメントに変換するため、重複データが発生する可能性があります。必要に応じて、追加の列 _is_deleted、_version、および _record_id を使用して重複排除を行います (詳細はDTS によって追加された列をご参照ください)。

  • データ同期インスタンスで再試行操作が実行される

  • インスタンスが再起動される

  • インスタンスの起動後、同じ行に 2 つ以上の DML 操作が適用される

• [選択したオブジェクト] セクションでは、bucket_count パラメーターのみ指定できます。値は正の整数でなければなりません。デフォルト: [auto]。

• 同期中にターゲットの Doris データベースにクラスターを作成しないでください。これが発生した場合、タスクは失敗します。データ同期インスタンスを再起動して再開してください。

• Doris は、文字で始まるデータベース名とテーブル名のみをサポートします。オブジェクト名マッピング機能を使用して、文字以外で始まるオブジェクトの名前を変更してください。

• データベース、テーブル、または列の名前に漢字が含まれている場合は、オブジェクト名マッピングを使用して名前を変更してください (例：英語名)。そうしないと、タスクが失敗する可能性があります。

• 一度に複数の列を変更する DDL 操作を実行したり、1 つのテーブルに対して DDL 操作を連続して実行したりすることはできません。

• 同期中にターゲットの Doris データベースにバックエンド (BE) ノードを追加しないでください。これが発生した場合、タスクは失敗します。データ同期インスタンスを再起動して再開してください。

• 複数テーブルのマージシナリオ (複数のソーステーブルを 1 つのターゲットテーブルに同期する) では、すべてのソーステーブルのスキーマが同一である必要があります。そうでない場合、データの不整合またはタスクの失敗が発生する可能性があります。

• PolarDB for MySQL の VARCHAR(M) では M は文字長を表しますが、Doris の VARCHAR(N) では N はバイト長を表します。スキーマ同期を使用しない場合は、データ損失を避けるために、Doris の VARCHAR 長を対応する MySQL の VARCHAR 長の 4 倍に設定してください。

• DMS または gh-ost を使用してソースでオンライン DDL 変更を実行する場合、DTS は元の DDL のみをターゲットに同期します。pt-online-schema-change によるオンライン DDL 変更はサポートされておらず、データ損失や同期の失敗につながる可能性があります。

• 初期フルデータ同期中、DTS は両方のデータベースの読み取りおよび書き込みリソースを使用します。事前にパフォーマンスへの影響を評価し、両データベースの CPU 使用率が 30% 未満であるオフピーク時に同期をスケジュールしてください。

• 初期フルデータ同期中の同時 INSERT 操作は、ターゲットテーブルで断片化を引き起こします。フル同期が完了した後、ターゲットテーブルがソーステーブルよりも多くのストレージを占有する可能性があります。

• 同期中は、同期オブジェクトに対して pt-online-schema-change などのツールによるオンライン DDL 操作を実行しないでください。同期失敗の原因となります。

• 同期中に DTS 以外のソースからターゲットデータベースにデータが書き込まれると、ソースとターゲットの間でデータの不整合が発生する可能性があります。

• DTS は、バイナリログの位置を進めるために、ソースで定期的に CREATE DATABASE IF NOT EXISTS \test を実行します。

• 増分同期中、DTS はバッチ戦略を使用し、各同期オブジェクトに 5 秒ごとに最大 1 回書き込みます。これにより、10 秒未満の通常の同期レイテンシーが発生する可能性があります。レイテンシーを短縮するには、DTS コンソールで selectdb.reservoir.timeout.milliseconds パラメーター (範囲: 1,000～10,000 ミリ秒) を調整します。バッチ間隔を短くすると書き込み頻度が増加し、宛先の負荷と応答時間が増加する可能性があります。

• インスタンスに障害が発生した場合、DTS サポートは 8 時間以内に復旧を試みます。復旧中、インスタンスが再起動されたり、そのパラメーターが調整されたりすることがあります。変更されるのは DTS インスタンスのパラメーターのみで、データベースのパラメーターは変更されません。

• VECTOR 型データの同期はサポートされていません。

手順1：データ同期ページへの移動

次のいずれかの方法を使用します。

手順2：ソースデータベースと宛先データベースの設定

1. [タスク作成] をクリックします。

2. [タスク名] を設定します。DTS により名前が自動生成されます。タスクを識別しやすくするために、わかりやすい名前を指定してください。一意の名前である必要はありません。

3. 以下のパラメーターを使用して、ソースデータベースと宛先データベースの接続を設定します。

ソースデータベース (PolarDB for MySQL)

宛先データベース (Doris)

1. [接続性をテストして続行] をクリックします。[DTS サーバーの CIDR ブロック] ダイアログボックスで、[接続性のテスト] をクリックします。

DTS サーバーの CIDR ブロックが、ソースデータベースと宛先データベースの両方のセキュリティ設定に追加されていることを確認してください。詳細については、「ホワイトリストへのDTSサーバーのIPアドレスの追加」をご参照ください。

手順3：同期オブジェクトの選択

1. [オブジェクトの構成] ステップでは、以下を設定します：

1. [次へ: 詳細設定] をクリックし、以下を設定します。

1. (任意) [次へ: データベースとテーブルフィールドを設定] をクリックして、テーブルごとに [主キー列]、[分散キー]、および [エンジン] を指定します。

このステップは、[スキーマ同期] が選択されている場合にのみ使用できます。[定義ステータス] を [すべて] に設定すると、すべてのテーブルが表示されます。

[プライマリキー列] は複数の列をサポートします。[ディストリビューションキー] はプライマリキー列のサブセットである必要があります。

プライマリキーまたは UNIQUE 制約がないテーブルの場合、[エンジン] に [重複] を選択します。そうしないと、タスクが失敗するか、データ損失が発生する可能性があります。

手順4：事前チェックの実行

[次へ: タスク設定の保存と事前チェック] をクリックします。

DTS はタスクを開始する前に事前チェックを実行します。タスクは、すべてのチェックに合格した後にのみ開始されます。

チェックが失敗した場合は、[詳細を表示] をクリックして原因を確認し、問題を修正して、事前チェックを再実行してください。

警告が表示された場合、項目を無視できない場合は修正して再実行し、安全に無視できる場合は [アラート詳細の確認] > [無視] > [OK] > [再度事前チェック] の順にクリックします。アラートを無視すると、データ不整合が発生する可能性があります。

このタスク設定の OpenAPI パラメーターをプレビューするには、[次へ：タスク設定の保存と事前チェック] にポインターを合わせ、[OpenAPI パラメーターのプレビュー] をクリックします。

手順5：インスタンスの購入

1. [成功率] が [100%] に達したら、[次へ: インスタンスの購入] をクリックします。

2. 購入ページで、以下を設定します。

1. [データ転送サービス (従量課金) サービス規約] を読み、選択します。

2. [購入して開始] をクリックし、次にダイアログボックスで [OK] をクリックします。

タスクがタスクリストに表示されます。そこから進捗を監視できます。