ApsaraDB RDS:MySQL インスタンスのデータを DuckDB 分析プライマリインスタンスに同期

注意事項

• RDS for MySQL インスタンスから同期するテーブルには、プライマリキーが設定されている必要があります。

• DTS がフルデータ同期を実行すると、ソースおよび宛先データベースの読み取り・書き込みリソースを消費し、ワークロードが増加します。両方のデータベースの CPU 使用率が 30 % 未満など、オフピーク時間帯にデータ同期を実行することを推奨します。

• データ同期中に、gh-ost や pt-online-schema-change などのツールを使用してソースデータベースの同期対象オブジェクトに対してオンライン DDL 操作を実行しないでください。そうした場合、同期タスクが失敗します。

• 使用制限により、DuckDB ベースの分析プライマリインスタンス クラスターのノードのディスク領域使用率が 80 % を超えると、クラスターはロックされます。同期対象オブジェクトに必要な領域を事前に見積もり、宛先クラスターに十分なストレージ領域があることを確認してください。

• データ同期はプレフィックスインデックスをサポートしていません。ソースデータベースでプレフィックスインデックスを使用している場合、タスクが失敗する可能性があります。

• DTS タスクの実行中に宛先の DuckDB ベースの分析プライマリインスタンス のバックアップが実行されると、タスクは失敗します。

• DuckDB ベースの分析プライマリインスタンス は、データ同期のソースデータベースとして使用できません。

• DML 文に LIMIT 句、UUID() などの非決定性関数、または XA トランザクションが含まれる場合、その操作はレプリケーションにおいて Unsafe（安全でない）と見なされます。これにより、ソースインスタンスと宛先インスタンス間でデータの不整合が発生する可能性があります。DuckDB ベースの分析プライマリインスタンスへのデータ同期時には、このような文の使用を避けてください。

課金

サポートされるソースインスタンスタイプ

データ同期でサポートされるソース MySQL データベースインスタンスタイプは以下のとおりです。

• RDS for MySQL

• ECS インスタンス上の自己管理データベース

• オンプレミスの自己管理データベース

サポートされる SQL 操作

• DDL 操作：CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN、MODIFY COLUMN

• DML 操作：INSERT、UPDATE、DELETE

データベースアカウントの権限

操作手順

1. DTS コンソール にログインします。左側のナビゲーションウィンドウで [データ同期] を選択します。上部のナビゲーションバーで、ご利用のインスタンスが配置されているリージョンを選択します。

2. [データ同期タスク] ページで、[タスクの作成] をクリックします。

3. [同期タスクの作成] > [ソースデータベースと宛先データベースの設定] ページで、ソースデータベースと宛先データベースを設定します。

   ソースインスタンス

   パラメーター	説明
   データベースタイプ	リレーショナルデータベース > MySQL
   アクセスモード	クラウドインスタンス
   インスタンスリージョン	ソースインスタンスのリージョンです。データ同期タスクの購入時に選択され、後から変更できません。
   クロスアカウント同期	いいえ
   インスタンス ID	ソース RDS インスタンスの ID を選択します。
   データベースアカウント	ソース RDS インスタンスのデータベースアカウントです。必要な権限の詳細については、「データベースアカウントの権限」をご参照ください。
   データベースパスワード	データベースアカウントのパスワードです。
   接続方法	ビジネス要件に基づき、[暗号化なし接続] または [SSL 暗号化接続] を選択します。[SSL 暗号化接続] を選択する場合は、事前に RDS インスタンスで SSL 暗号化を有効にしておく必要があります。詳細については、「クラウドネイティブ証明書を使用した SSL 暗号化の有効化」をご参照ください。 重要 現在、[暗号化] は中国本土および中国 (香港) リージョンでのみ設定可能です。

   宛先インスタンス

   パラメーター	説明
   データベースタイプ	データウェアハウス > DuckDB
   アクセスモード	クラウドインスタンス
   インスタンスリージョン	データ同期インスタンスの購入時に選択した宛先インスタンスのリージョンです。このパラメーターは変更できません。
   クロスアカウント同期	いいえ 説明 DTS はクロスリージョンデータ同期をサポートしています。本ドキュメントでは、同一リージョンおよび VPC 内のインスタンス間でのデータ同期を例として説明します。データ同期シナリオの詳細については、「データ同期シナリオの概要」をご参照ください。
   RDS インスタンス ID	宛先 DuckDB インスタンスの ID です。
   データベースアカウント	DuckDB ベースの分析プライマリインスタンス のデータベースアカウントです。必要な権限の詳細については、「データベースアカウントの権限」をご参照ください。
   データベースパスワード	データベースアカウントのパスワードです。
   接続方法	ビジネス要件に基づき、[暗号化なし接続] または [SSL 暗号化接続] を選択します。[SSL 暗号化接続] を選択する場合は、事前に RDS インスタンスで SSL 暗号化を有効にしておく必要があります。詳細については、「クラウドネイティブ証明書を使用した SSL 暗号化の有効化」をご参照ください。 重要 現在、[暗号化] は中国本土および中国 (香港) リージョンでのみ設定可能です。

4. [接続テストと次へ] をクリックします。

5. [DTS サーバーアクセス認可] ダイアログボックスで、[接続テスト] をクリックします。

6. 同期オブジェクトおよび詳細設定を構成します。

   1. [同期オブジェクトの設定] ページで、同期するオブジェクトを構成します。

      パラメーター	説明
      [同期タイプ]	フルデータ同期のみを実行する場合は、[スキーマ同期] および [フルデータ同期] の両方にチェックを入れます。 サービス中断せずにデータ同期を実行する場合は、[スキーマ同期]、[フルデータ同期]、および[増分データ同期] を選択します。 説明 [スキーマ同期] を選択しない場合は、宛先データベースにデータを同期するデータベースおよびテーブルがすでに存在することを確認してください。その後、ビジネス要件に基づき、[選択済みオブジェクト] ボックス内のテーブルおよびカラムマッピング機能を使用します。 データ整合性を確保するため、[増分データ同期] を選択していない場合は、同期中にソースインスタンスに新しいデータを書き込まないでください。
      移行の起動方法	ビジネス要件に基づき、トリガーを移行する方法を選択します。移行対象オブジェクトにトリガーが含まれない場合は、このパラメーターを設定する必要はありません。詳細については、「トリガーの同期または移行方法の設定」をご参照ください。 説明 [スキーマ同期] を [同期タイプ] に選択した場合にのみ、このパラメーターを設定できます。
      [マイグレーション評価の有効化]	この機能は、インデックス長、ストアドプロシージャ、依存テーブルなどのソースおよび宛先データベースのスキーマが要件を満たしているかどうかを評価します。ビジネス要件に基づき、[はい] または [いいえ] を選択できます。 説明 [スキーマ同期] を [同期タイプ] に選択した場合にのみ、このパラメーターを設定できます。 [はい] を選択すると、事前チェックに時間がかかる場合があります。事前チェック中に [評価結果] を確認できます。評価結果は事前チェックの結果に影響しません。
      [同期トポロジー]	[一方向同期] を選択します。
      [既存テーブルの処理モード]	[事前チェックおよびエラー報告]：宛先データベースに同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、チェック項目は合格します。同じ名前のテーブルが存在する場合、事前チェック中にエラーが報告され、データ同期タスクは開始されません。 説明 宛先データベースで同じ名前のテーブルを削除または名前変更できない場合は、宛先データベース内のテーブル名を変更できます。詳細については、「テーブルおよびカラム名のマッピング」をご参照ください。 [無視して続行]：宛先データベース内の同じ名前のテーブルのチェックをスキップします。 警告 [無視して続行] を選択すると、データの不整合が発生し、ビジネスにリスクをもたらす可能性があります。例えば、以下のようなケースがあります。 テーブルスキーマが一致しており、宛先データベースのレコードのプライマリキー値がソースデータベースのレコードと同じである場合。 フルデータ同期中、DTS は宛先クラスター内のレコードを保持します。ソースデータベースのレコードは宛先データベースに同期されません。 増分同期中、DTS は宛先クラスター内のレコードを保持しません。ソースデータベースのレコードが宛先データベースのレコードを上書きします。 テーブルスキーマが不一致である場合。この場合、一部のカラムのデータのみが同期されるか、同期が失敗する可能性があります。慎重に進めてください。
      イベント移行	ソースデータベースからイベントを移行するかどうかを選択します。[はい] を選択する場合は、関連要件に従って後続の操作を実行する必要があります。詳細については、「イベントの同期または移行」をご参照ください。
      [オブジェクト名の大文字小文字の区別]	宛先インスタンス内の同期データベース、テーブル、カラムの名前について、大文字小文字を区別するポリシーを設定できます。デフォルトでは、[DTS デフォルトポリシー] が選択されています。ソースまたは宛先データベースと一致するポリシーを選択することもできます。詳細については、「宛先データベースのオブジェクト名の大文字小文字の区別ポリシー」をご参照ください。
      [ソースオブジェクト]	[ソースオブジェクト] ボックスで、同期するオブジェクトを選択し、 をクリックして [選択済みオブジェクト] ボックスに移動させます。 説明 データベース、テーブル、カラムレベルでオブジェクトを選択できます。テーブルまたはカラムのみを選択した場合、ビュー、トリガー、ストアドプロシージャなどの他のオブジェクトタイプは宛先データベースに同期されません。
      [選択済みオブジェクト]	宛先インスタンス内で同期オブジェクトの名前を変更するには、[選択済みオブジェクト] ボックス内のオブジェクトを右クリックします。詳細については、「テーブルおよびカラム名のマッピング」をご参照ください。 複数の同期オブジェクトの名前を一括で変更するには、[選択済みオブジェクト] ボックスの右上隅にある [一括編集] をクリックします。詳細については、「テーブルおよびカラム名のマッピング」をご参照ください。 説明 データベースまたはテーブルレベルで同期する SQL 操作を選択するには、[選択済みオブジェクト] ボックス内の同期オブジェクトを右クリックし、表示されるダイアログボックスで SQL 操作を選択します。 WHERE 句を使用してデータをフィルターするには、[選択済みオブジェクト] ボックス内のテーブルを右クリックし、表示されるダイアログボックスでフィルター条件を指定します。詳細については、「WHERE 句を使用したデータのフィルター」をご参照ください。

   2. [次へ：詳細設定] をクリックして、詳細パラメーターを設定します。

      本例では、デフォルト設定を使用します。ビジネス要件に基づいてパラメーターを設定することもできます。

      パラメーターの説明

      パラメーター	説明
      [専用クラスター]	デフォルトでは、DTS は共有クラスター上でタスクをスケジューリングするため、選択する必要はありません。タスクの安定性を高めたい場合は、DTS 同期タスクを実行するための専用クラスターを購入できます。詳細については、「DTS 専用クラスター」をご参照ください。
      [オンライン DDL ツールによって生成された一時テーブルのレプリケート]	DMS または gh-ost を使用してソースデータベースでオンライン DDL 操作を実行する場合、オンライン DDL 操作によって生成された一時テーブルデータを同期するかどうかを選択できます。 重要 DTS は pt-online-schema-change などのツールによるオンライン DDL 操作をサポートしていません。これらのツールを使用すると、DTS タスクは失敗します。 [はい]：オンライン DDL 操作によって生成された一時テーブルデータを同期します。 説明 オンライン DDL 操作によって大量の一時テーブルデータが生成された場合、同期タスクの遅延が大きくなる可能性があります。 [いいえ、DMS オンライン DDL に適応]：オンライン DDL 操作によって生成された一時テーブルデータを同期しません。DMS がソースデータベースで実行した元の DDL 文のみを同期します。 説明 このオプションを選択すると、宛先データベースのテーブルがロックされます。 [いいえ、gh-ost に適応]：オンライン DDL 操作によって生成された一時テーブルデータを同期しません。gh-ost がソースデータベースで実行した元の DDL 文のみを同期します。gh-ost のシャドウテーブルおよびゴミテーブルのデフォルト正規表現を使用するか、独自の正規表現を設定することもできます。 説明 このオプションを選択すると、宛先データベースのテーブルがロックされます。
      アカウント移行	ソースデータベースのアカウント情報を同期するかどうかを選択します。[はい] を選択する場合は、同期するアカウントを選択し、その権限を確認する必要があります。権限付与方法の詳細については、「データベースアカウントの移行」をご参照ください。
      [接続失敗時の再試行時間]	同期タスクの開始後、ソースまたは宛先データベースへの接続が失敗した場合、DTS はエラーを報告し、直ちに接続を再試行します。デフォルトの再試行時間は 720 分です。10 分から 1,440 分の範囲でカスタム時間を指定できます。30 分以上の時間を指定することを推奨します。指定された再試行時間内に DTS がデータベースに再接続できた場合、タスクは自動的に再開されます。それ以外の場合は、タスクは失敗します。 説明 DTS インスタンス A および DTS インスタンス B のように、同じソースまたは宛先を持つ複数の DTS インスタンスがある場合、インスタンス A のネットワーク再試行時間を 30 分、インスタンス B のネットワーク再試行時間を 60 分に設定すると、短い方の 30 分が両方のインスタンスに適用されます。 DTS は接続再試行中のタスクランタイムに対して課金します。ビジネス要件に基づいてカスタム再試行時間を指定するか、ソースおよび宛先データベースインスタンスをリリースしたらすぐに DTS インスタンスをリリースすることを推奨します。
      [その他のエラーの再試行時間]	タスク開始後、ソースまたは宛先データベースで DDL または DML 実行エラーなどの接続以外のエラーが発生した場合、DTS はエラーを報告し、直ちに操作を再試行します。デフォルトの再試行時間は 10 分です。1 分から 1,440 分の範囲でカスタム時間を指定できます。10 分以上の時間を指定することを推奨します。指定された再試行時間内に操作が成功した場合、タスクは自動的に再開されます。それ以外の場合は、タスクは失敗します。 重要 [その他のエラーの再試行時間] の値は、[接続失敗時の再試行時間] の値より小さくする必要があります。
      [フル同期時のデータ転送速度制限]	フルデータ同期中、DTS はソースおよび宛先データベースの読み取り・書き込みリソースを消費し、データベースのワークロードが増加する可能性があります。宛先データベースへの負荷を軽減するために、[ソースデータベースの QPS 制限]、[フル同期の RPS 制限]、および [フル同期の BPS 制限 (MB/s)] を設定して、フル同期タスクのデータ転送速度を制限できます。 説明 [フルデータ同期] を [同期タイプ] に選択した場合にのみ、このパラメーターを設定できます。
      [増分同期時のデータ転送速度制限]	宛先データベースへの負荷を軽減するために、[増分同期の RPS 制限] および [増分同期の BPS 制限 (MB/s)] を設定して、増分同期タスクのデータ転送速度を制限することもできます。
      ハートビートテーブル SQL の削除	DTS インスタンスの実行中にソースデータベースにハートビート SQL 情報を書き込むかどうかを選択します。 [はい]：ソースデータベースにハートビート SQL 情報を書き込みません。DTS インスタンスに遅延が表示される可能性があります。 [いいえ]：ソースデータベースにハートビート SQL 情報を書き込みます。これにより、ソースデータベースの物理バックアップやクローンなどの機能に影響を与える可能性があります。
      [環境タグ]	インスタンスの環境を識別するためのタグを選択できます。
      シナリオタグ	インスタンスのユースケースを識別するためのタグを選択できます。
      [ETL の設定]	抽出・変換・書き出し (ETL) 機能を設定するかどうかを選択します。ETL の詳細については、「ETL とは」をご参照ください。 [はい]：ETL 機能を設定します。テキストボックスにデータ処理文を入力します。詳細については、「DTS 移行または同期タスクでの ETL の設定」をご参照ください。 [いいえ]：ETL 機能を設定しません。
      [機密データのスキャンおよびマスキング]	機密データのスキャンおよびマスキング機能を有効にして、転送データ内の機密情報を特定および処理します。

   3. [次へ：データ検証の設定] をクリックします。

      データ検証機能を使用する場合は、ビジネス要件に基づいてデータ検証方法を選択します。他のパラメーターはデフォルト設定のままにするか、必要に応じて設定できます。詳細については、「データ検証タスクの設定」をご参照ください。

      説明

      スキーマ検証を選択すると、スキーマが同期された後でも検証プロセスでデータの不整合エラーが報告される場合があります。これは過去の互換性の問題によるものです。このアラートは実質的な警告ではなく、実際の同期結果には影響しません。誤検知を防ぐため、データ検証中にスキーマ検証を有効にしないことを推奨します。

      パラメーターの説明

      パラメーター	説明
      [フル検証モード]	[サンプリング行の全フィールド検証]：サンプリング率を設定して、サンプリングされたデータに対して全フィールド検証を実行します。値は 10 ～ 100 の整数である必要があります。 [行数検証]：フルデータ同期タスクの行数を検証します。データ内容は検証されません。 説明 [行数検証] モードは無料です。[サンプリング行の全フィールド検証] モードは、検証されたデータ量に基づいて課金されます。
      [フル検証スケジュール]	[今すぐ開始] のみがサポートされています。
      完全検証タイムアウト	[未設定]：フル検証タスクがタイムアウトしても、強制終了されません。 [設定]：フル検証タスクを終了するまでの遅延時間です。タイマーはフル検証タスクの開始後に起動します。指定された時間内に検証タスクが完了しない場合、強制終了されます。値は 1 ～ 72 の整数である必要があります。
      完全検証ベースライン	[デフォルト]：ソースおよび宛先データベースの和集合をベースラインとして使用し、データ整合性を検証します。 [ソース]：ソースデータベースをベースラインとして使用し、そのデータが宛先データベースのデータと一致しているかどうかを検証します。宛先データベースにのみ存在するデータは検証されません。 [宛先]：宛先データベースをベースラインとして使用し、そのデータがソースデータベースのデータと一致しているかどうかを検証します。ソースデータベースにのみ存在するデータは検証されません。
      [フル検証の最大 RPS]	フルデータ検証はデータベースの読み取りリソースを消費します。1 秒あたりの読み取り行数およびデータ量を指定して、フル検証タスクのデータ転送速度を制限し、データベースへの負荷を軽減できます。 説明 値が 0 の場合、制限はありません。[フル検証の最大 RPS] および [フル検証の最大 BPS (byte/s)] の両方が 0 に設定されている場合、データ転送速度の制限は適用されません。
      [フル検証の最大 BPS (byte/s)]
      [増分検証ベースライン]	検証する DML 操作をフィルターできます。
      [検証オブジェクト]	[選択済みオブジェクト] ボックスで、検証したくないオブジェクトを選択し、 をクリックして削除します。 説明 デフォルトでは、DTS が同期するオブジェクトを [選択済みオブジェクト] ボックスに移動します。
      完全検証アラート	[未設定]：アラートは設定されません。 [設定]：アラートを設定します。アラートルールも選択および設定する必要があります。アラートルールは以下のとおりです。 フル検証タスクが失敗した場合にアラートがトリガーされます。 フル検証タスクで不整合データ量が指定されたしきい値以上になった場合にアラートがトリガーされます。
      [増分検証アラート]	[未設定]：アラートは設定されません。 [設定]：アラートを設定します。アラートルールも選択および設定する必要があります。アラートルールは以下のとおりです。 増分検証タスクが失敗した場合にアラートがトリガーされます。 増分検証タスクで不整合レコード数が、指定された統計期間の連続回数において指定されたしきい値以上になった場合にアラートがトリガーされます。 増分検証タスクの遅延が、指定された統計期間の連続回数において指定されたしきい値以上になった場合にアラートがトリガーされます。

   4. [次へ：タスクの保存と事前チェック] をクリックします。

7. [事前チェック合格率] が 100 % に達したら、[次へ：購入] をクリックします。

   説明

   • 同期タスクを開始する前に、事前チェックが実行されます。事前チェックに合格した後でのみ、タスクを開始できます。

   • 事前チェックが失敗した場合は、失敗した確認項目の横にある アイコンをクリックして詳細を確認します。

     • 原因に基づいて問題を修正し、再度事前チェックを実行します。

     • 警告をトリガーした項目を修正する必要がない場合は、[承認] をクリックした後、[無視して事前チェックを再実行] をクリックして、これらの項目をスキップし、再度事前チェックを実行します。

8. [購入] ページで、データ同期インスタンスの [課金方法] および [リンク仕様] を選択します。

   カテゴリ	パラメーター	説明
   [基本情報]	課金方法	サブスクリプション：インスタンスを使用する前に支払いを行う必要があります。長期利用に適しており、従量課金よりもコスト効率が高くなります。サブスクリプション期間が長いほど、割引率が高くなります。 従量課金：1 時間単位で課金されます。短期利用に適しています。コストを削減するために、いつでもインスタンスをリリースできます。
   	リソースグループ	インスタンスが属するリソースグループです。デフォルト値は [デフォルトリソースグループ] です。詳細については、「Resource Management とは」をご参照ください。
   	リンク仕様	DTS は、異なるパフォーマンスレベルを提供するリンク仕様を提供しています。リンク仕様は同期速度に影響します。ビジネスシナリオに基づいて仕様を選択できます。詳細については、「データ同期リンクの仕様」をご参照ください。
   	サブスクリプション期間	サブスクリプション課金方法を使用する場合は、サブスクリプション期間および購入するインスタンス数を選択します。サブスクリプション期間は 1 ～ 9 ヶ月または 1、2、3、5 年です。 説明 このパラメーターは、[課金方法] が [サブスクリプション] に設定されている場合にのみ利用可能です。

9. [Data Transmission Service (従量課金) 利用規約] を読み、同意し、[購入して開始] をクリックした後、[確認] ダイアログボックスで [OK] をクリックします。

10. 購入が完了すると、[データ同期タスク] ページにリダイレクトされます。新規タスクの ID をクリックして詳細ページに移動し、左側のナビゲーションウィンドウで [タスク管理] をクリックして、同期の進捗状況を確認します。

フィールドタイプ変更による同期失敗の修正

データ同期中にソーステーブルのフィールドタイプが変更されると、タスクは失敗します。以下の手順に従って、手動で問題を解決してください。

1. 宛先インスタンスで、失敗したテーブル A (例：customer) を基に新しいテーブル B (例：customer_new) を作成し、必要に応じてテーブル B のフィールドタイプを調整します。

2. INSERT INTO SELECT コマンドを実行して、テーブル A のデータをテーブル B にコピーします。両方のテーブルのデータが一致していることを確認してください。

3. 元の失敗したテーブルを名前変更または削除し、新しいテーブルを元のテーブル名 (例：customer) に名前変更します。

4. DTS コンソールで、データ同期タスクを再起動します。

関連ドキュメント

• DuckDB ベースの分析プライマリインスタンスの概要

• DuckDB ベースの分析プライマリインスタンスの作成および接続

• DuckDB ベースの分析プライマリインスタンスの構成変更

• RDS for MySQL 高可用性インスタンスに DuckDB ベースの分析用読み取り専用インスタンスを追加