このトピックでは、Data Transmission Service (DTS) を使用して PolarDB for MySQL クラスタから AnalyticDB for MySQL V3.0 クラスタにデータを同期する方法について説明します。データ同期後、AnalyticDB for MySQL を使用して、社内ビジネスインテリジェンス (BI) システム、インタラクティブクエリシステム、リアルタイムレポートシステムを構築できます。
前提条件
PolarDB for MySQL クラスタが作成されていること。詳細については、「サブスクリプションクラスタを購入する」および「従量課金クラスタを購入する」をご参照ください。
宛先の AnalyticDB for MySQL V3.0 クラスタが作成されていること。詳細については、「クラスタを作成する」をご参照ください。
宛先 AnalyticDB for MySQL クラスタの使用可能なストレージ容量が、ソース PolarDB for MySQL クラスタのデータ総容量よりも大きいこと。
注意事項
スキーマ同期中、DTS はソースデータベースから宛先データベースに外部キーを同期します。
完全同期および増分同期中、DTS はセッションレベルで外部キーに対する制約チェックとカスケード操作を一時的に無効にします。データ同期中にソースデータベースでカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。
カテゴリ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
特殊なケース | DTS は、バイナリログファイルの位置を移動するために、スケジュールどおりにソースデータベースで CREATE DATABASE IF NOT EXISTS `test` 文を実行します。 |
課金
| 同期タイプ | タスク構成料金 |
| スキーマ同期と完全同期 | 無料。 |
| 増分同期 | 有料。詳細については、「課金の概要」をご参照ください。 |
サポートされている同期トポロジ
一方向 1 対 1 同期
一方向 1 対多同期
一方向多対 1 同期
同期可能な SQL 操作
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、および DELETE 説明 宛先 AnalyticDB for MySQL V3.0 クラスタにデータが書き込まれると、UPDATE 文は自動的に REPLACE INTO 文に変換されます。UPDATE 文がプライマリキーで実行された場合、UPDATE 文は DELETE 文と INSERT 文に変換されます。 |
DDL | CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、MODIFY COLUMN、および DROP COLUMN |
データ同期中にソーステーブルのフィールドのデータ型が変更されると、エラーメッセージが返され、データ同期タスクが中断されます。この問題をトラブルシューティングするには、次の手順を実行します。
宛先 AnalyticDB for MySQL V3.0 クラスタにデータを同期するときにソーステーブルのフィールドのデータ型が変更されると、データ同期タスクは失敗します。
ソーステーブル名が customer であるとします。宛先 AnalyticDB for MySQL V3.0 クラスタに customer_new という名前のテーブルを作成します。新しいテーブルのスキーマが customer テーブルと同じであることを確認します。
INSERT INTO SELECT 文を実行して customer テーブルのデータをコピーし、customer_new テーブルにデータを挿入します。これにより、2 つのテーブルのデータの整合性が確保されます。
customer テーブルの名前を変更するか、削除します。次に、customer_new テーブルの名前を customer に変更します。
DTS コンソールでデータ同期タスクを再起動します。
手順
次のいずれかの方法を使用して [データ同期] ページに移動し、データ同期インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソール にログインします。
左側のナビゲーションウィンドウで、データ同期 をクリックします。
ページの左上隅で、データ同期インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の手順は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。
DMS コンソール にログインします。
上部のナビゲーションバーで、[データ + AI] にポインタを移動し、 を選択します。
データ同期タスク の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースと宛先データベースを構成します。次の表にパラメータを示します。
警告ソースデータベースと宛先データベースを構成した後、ページに表示される [制限] を読んでおくことをお勧めします。そうでない場合、タスクが失敗したり、データの不整合が発生したりする可能性があります。
セクション
パラメータ
説明
該当なし
タスク名
DTS タスクの名前。DTS はタスク名を自動的に生成します。タスクを簡単に識別できる説明的な名前を指定することをお勧めします。一意のタスク名を指定する必要はありません。
ソースデータベース
[既存の接続を選択]
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメータを自動的に入力します。詳細については、「データベース接続を管理する」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
インスタンスを DTS に登録できなかった場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
データベースタイプ
ソースデータベースのタイプ。PolarDB for MySQL を選択します。
アクセス方法
宛先データベースのアクセス方法。[Alibaba Cloud インスタンス] を選択します。
インスタンスリージョン
ソース PolarDB for MySQL クラスタが存在するリージョン。
[PolarDB クラスタ ID]
ソース PolarDB for MySQL クラスタの ID。
データベースアカウント
ソース PolarDB for MySQL クラスタのデータベースアカウント。アカウントには、同期対象のオブジェクトに対する読み取り権限が必要です。
データベースパスワード
データベースへのアクセスに使用するパスワード。
[暗号化]
ソース PolarDB for MySQL クラスタへの接続を暗号化するかどうかを指定します。ビジネス要件に基づいてこのパラメータを設定できます。SSL 暗号化機能の詳細については、「SSL 暗号化を構成する」をご参照ください。
宛先データベース
[既存の接続を選択]
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメータを自動的に入力します。詳細については、「データベース接続を管理する」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
インスタンスを DTS に登録できなかった場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
データベースタイプ
宛先データベースのタイプ。[AnalyticDB MySQL 3.0] を選択します。
アクセス方法
宛先データベースのアクセス方法。[Alibaba Cloud インスタンス] を選択します。
インスタンスリージョン
宛先 AnalyticDB for MySQL V3.0 クラスタが存在するリージョンを選択します。
[インスタンス ID]
宛先 AnalyticDB for MySQL V3.0 クラスタの ID。
データベースアカウント
宛先 AnalyticDB for MySQL V3.0 クラスタのデータベースアカウントを入力します。アカウントには、宛先データベースに対する読み取りおよび書き込み権限が必要です。
データベースパスワード
データベースへのアクセスに使用するパスワード。
ページの下部にある 接続をテストして続行 をクリックします。
説明DTS サーバーの CIDR ブロックをソースデータベースと宛先データベースのセキュリティ設定に自動または手動で追加して、DTS サーバーからのアクセスを許可できるようにしてください。詳細については、「DTS サーバーの CIDR ブロックを追加する」をご参照ください。
同期するオブジェクトを構成します。
オブジェクト設定 ステップで、同期するオブジェクトを構成します。
パラメータ
説明
[同期タイプ]
同期タイプ。デフォルトでは、[増分同期] が選択されています。[スキーマ同期] と [完全同期] も選択する必要があります。事前チェックが完了すると、DTS は選択したオブジェクトの既存データをソースデータベースから宛先クラスタに同期します。既存データは、後続の増分同期の基礎となります。
説明[完全同期] を選択すると、CREATE TABLE 文を実行して作成されたテーブルのスキーマとデータを宛先データベースに同期できます。
[同期する DDL 操作と DML 操作]
同期する DDL 操作と DML 操作。詳細については、このトピックの「同期可能な SQL 操作」セクションをご参照ください。
説明特定のデータベースまたはテーブルで実行された SQL 操作を選択するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、同期する SQL 操作を選択します。
[テーブルのマージ]
[はい]: オンライントランザクション処理 (OLTP) のシナリオでは、ビジネステーブルへの応答を高速化するためにシャーディングが実装されます。オンライン分析処理 (OLAP) のシナリオでは、大量のデータを 1 つのテーブルに格納できます。これにより、SQL クエリがより効率的になります。同じスキーマを持つ複数のソーステーブルを 1 つの宛先テーブルにマージできます。この機能を使用すると、ソースデータベースの複数のテーブルから宛先データベースの 1 つのテーブルにデータを同期できます。詳細については、「複数テーブルのマージ機能を有効にする」をご参照ください。
説明ソースデータベースから複数のテーブルを選択した後、オブジェクト名マッピング機能を使用して、これらのテーブルの名前を宛先テーブルの名前に変更する必要があります。詳細については、「データベース、テーブル、および列名マッピング」をご参照ください。
DTS は、
__dts_data_sourceという名前の列を宛先テーブルに追加します。この列は、データソースを記録するために使用されます。この列のデータ型は TEXT です。この列の値は、データ同期インスタンス ID:ソースデータベース名:ソーススキーマ名:ソーステーブル名の形式です。これにより、DTS は各ソーステーブルを識別できます。例:dts********:dtstestdata:testschema:customer1。このパラメータを [はい] に設定すると、タスクで選択されたすべてのソーステーブルが宛先テーブルにマージされます。特定のソーステーブルをマージする必要がない場合は、これらのテーブルに対して個別のデータ同期タスクを作成できます。
警告ソースデータベースまたはテーブルのスキーマを変更する DDL 操作は実行しないことをお勧めします。実行すると、データの不整合が発生したり、データ同期タスクが失敗したりします。
[いいえ]: この値はデフォルトで選択されています。
[競合するテーブルの処理モード]
エラーの事前チェックと報告: 宛先データベースにソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。ソースデータベースと宛先データベースに同じテーブル名のテーブルが含まれていない場合、事前チェックは合格です。そうでない場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。
説明ソースデータベースと宛先データベースに同じ名前のテーブルが含まれており、宛先データベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、宛先データベースに同期されるテーブルの名前を変更できます。詳細については、「データベース、テーブル、および列名マッピング」をご参照ください。
エラーを無視して続行: ソースデータベースと宛先データベースの同じテーブル名の事前チェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
ソースデータベースと宛先データベースのスキーマが同じで、宛先データベースのデータレコードのプライマリキー値または一意キー値がソースデータベースのデータレコードと同じである場合:
完全同期中、DTS はデータレコードを宛先データベースに同期しません。宛先データベースの既存のデータレコードは保持されます。
増分同期中、DTS はデータレコードを宛先データベースに同期します。宛先データベースの既存のデータレコードは上書きされます。
ソースデータベースと宛先データベースのスキーマが異なる場合、データの初期化に失敗する可能性があります。この場合、一部の列のみが同期されるか、データ同期タスクが失敗します。注意して進めてください。
[宛先インスタンスのオブジェクト名の大文字と小文字の区別]
宛先インスタンスのデータベース名、テーブル名、および列名の大文字と小文字の区別。デフォルトでは、[DTS デフォルトポリシー] が選択されています。他のオプションを選択して、オブジェクト名の大文字と小文字の区別がソースデータベースまたは宛先データベースと一致するようにすることができます。詳細については、「宛先インスタンスのオブジェクト名の大文字と小文字の区別を指定する」をご参照ください。
[ソースオブジェクト]
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択し、
アイコンをクリックして、選択中のオブジェクト セクションにオブジェクトを追加します。説明列、テーブル、またはデータベースを同期対象のオブジェクトとして選択できます。テーブルまたは列を同期対象のオブジェクトとして選択した場合、DTS はビュー、トリガー、ストアドプロシージャなどの他のオブジェクトを宛先データベースに同期しません。
データベースを同期対象のオブジェクトとして選択した場合、DTS は次のデフォルトルールに基づいてデータを同期します。
ソースデータベースで同期するテーブルに、単一列のプライマリキーや複合プライマリキーなどのプライマリキーがある場合、プライマリキー列が分散キーとして指定されます。
ソースデータベースで同期するテーブルにプライマリキーがない場合、宛先テーブルに自動採番主キー列が自動的に生成されます。これにより、ソースデータベースと宛先データベースの間でデータの不整合が発生する可能性があります。
[選択済みオブジェクト]
宛先インスタンスに同期するオブジェクトの名前を変更するには、選択中のオブジェクト セクションでオブジェクトを右クリックします。詳細については、「オブジェクト名をマッピングする」トピックの「個々のデータベース、テーブル、および列名マッピング」セクションをご参照ください。
複数のオブジェクトの名前を一度に変更するには、選択中のオブジェクト セクションの右上隅にある 一括編集 をクリックします。詳細については、「オブジェクト名をマッピングする」トピックの「一括データベース、テーブル、および列名マッピング」セクションをご参照ください。
説明特定のデータベースまたはテーブルで実行された SQL 操作を選択するには、次の手順を実行します。[選択済みオブジェクト] セクションで、オブジェクトを右クリックします。表示されるダイアログボックスで、同期する SQL 操作を選択します。詳細については、「同期可能な SQL 操作」をご参照ください。
データをフィルタリングする WHERE 条件を指定するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、条件を指定します。詳細については、「フィルター条件を指定する」をご参照ください。
次へ：詳細設定 をクリックして、詳細設定を構成します。
パラメータ
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、専用クラスタを指定しない場合、DTS はタスクを共有クラスタにスケジュールします。データ同期タスクの安定性を向上させるには、専用クラスタを購入します。詳細については、「DTS 専用クラスタとは」をご参照ください。
[ソーステーブルで生成されたオンライン DDL ツールの一時テーブルを宛先データベースにコピーします。]
このシナリオでは、DTS は DDL 操作を同期しません。このパラメータを [いいえ、DMS オンライン DDL に適応] または [いいえ、gh-ost に適応] に設定する必要があります。ただし、DTS は今後このシナリオの DDL 操作をサポートする可能性があります。この場合、DMS または gh-ost ツールを使用してソースデータベースでオンライン DDL 操作を実行する場合、操作によって生成された一時テーブルのデータを同期するかどうかを指定できます。
[はい]: DTS は、オンライン DDL 操作によって生成された一時テーブルのデータを同期します。
説明オンライン DDL 操作によって大量のデータが生成される場合、データ同期タスクの完了に時間がかかる場合があります。
[いいえ、DMS オンライン DDL に適応]: DTS は、オンライン DDL 操作によって生成された一時テーブルのデータを同期しません。DMS を使用して実行される元の DDL 操作のみが同期されます。
説明このオプションを選択すると、宛先データベースのテーブルがロックされる場合があります。
[いいえ、gh-ost に適応]: DTS は、オンライン DDL 操作によって生成された一時テーブルのデータを同期しません。gh-ost ツールを使用して実行される元の DDL 操作のみが同期されます。デフォルトまたはカスタムの正規表現を使用して、gh-ost ツールのシャドウテーブルと不要なテーブルを除外できます。
説明このオプションを選択すると、宛先データベースのテーブルがロックされる場合があります。
失敗した接続の再試行時間
接続失敗時のリトライ時間の範囲。データ同期タスクの開始後にソースデータベースまたは宛先データベースへの接続に失敗した場合、DTS は指定された時間範囲内で直ちに接続を再試行します。有効値: 10 ～ 1440。単位: 分。デフォルト値: 720。このパラメータは 30 より大きい値に設定することをお勧めします。指定された時間範囲内に DTS がソースデータベースと宛先データベースに再接続すると、DTS はデータ同期タスクを再開します。そうでない場合、データ同期タスクは失敗します。
説明同じソースデータベースまたは宛先データベースを持つ複数のデータ同期タスクに異なるリトライ時間の範囲を指定した場合、最も短いリトライ時間の範囲が優先されます。
DTS が接続を再試行すると、DTS インスタンスに対して課金されます。ビジネス要件に基づいてリトライ時間の範囲を指定することをお勧めします。また、ソースインスタンスと宛先インスタンスが解放された後、できるだけ早く DTS インスタンスを解放することもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題のリトライ時間の範囲。たとえば、データ同期タスクの開始後に DDL 操作または DML 操作の実行に失敗した場合、DTS は指定された時間範囲範囲内で直ちに操作を再試行します。有効値: 1 ～ 1440。単位: 分。デフォルト値: 10。このパラメータは 10 より大きい値に設定することをお勧めします。指定された時間範囲内に失敗した操作が正常に実行されると、DTS はデータ同期タスクを再開します。そうでない場合、データ同期タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメータの値は、失敗した接続の再試行時間 パラメータの値よりも小さくなければなりません。
完全移行率を制限するかどうか
完全同期中、DTS はソースデータベースと宛先データベースの読み取りおよび書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。完全同期タスクの 1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメータを構成して、宛先データベースサーバーの負荷を軽減できます。
説明完全データ同期 パラメータで 同期タイプ が選択されている場合にのみ、このパラメータを構成できます。
増分移行率を制限するかどうか
増分同期の速度制限を有効にするかどうかを指定します。ビジネス要件に基づいて、増分同期の速度制限を有効にすることができます。速度制限を構成するには、1 秒あたりの増分同期の行数 RPS パラメータと 1 秒あたりの増分同期データ量 (MB) BPS パラメータを構成する必要があります。これにより、宛先データベースサーバーの負荷が軽減されます。
環境タグ
DTS インスタンスを識別するために使用される環境タグ。ビジネス要件に基づいて環境タグを選択できます。この例では、このパラメータを構成する必要はありません。
[転送タスクと逆タスクのハートビートテーブルに対する SQL 操作を削除するかどうか]
DTS インスタンスの実行中に、ハートビートテーブルに対する SQL 操作をソースデータベースに書き込むかどうかを指定します。有効値:
[はい]: ハートビートテーブルに対する SQL 操作を書き込みません。この場合、DTS インスタンスのレイテンシが表示される場合があります。
[いいえ]: ハートビートテーブルに対する SQL 操作を書き込みます。この場合、ソースデータベースの物理バックアップやクローニングなどの機能が影響を受ける可能性があります。
ETL の設定
抽出、変換、書き出し (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効値:
[はい]: ETL 機能を構成します。コードエディタにデータ処理文を入力できます。詳細については、「データ移行タスクまたはデータ同期タスクで ETL を構成する」をご参照ください。
[いいえ]: ETL 機能を構成しません。
監視アラート
データ同期タスクのアラートを構成するかどうかを指定します。タスクが失敗した場合、または同期レイテンシが指定されたしきい値を超えた場合、アラート連絡先に通知が送信されます。有効値:
[いいえ]: アラートを有効にしません。
[はい]: アラートを構成します。この場合、アラートしきい値と アラート通知設定 も構成する必要があります。詳細については、「モニタリングとアラートを構成する」トピックの「DTS タスクを作成するときにモニタリングとアラートを構成する」セクションをご参照ください。
[次のステップ: データ検証] をクリックして、データ検証を構成します。
データ検証機能の使用方法の詳細については、「データ検証タスクを構成する」をご参照ください。
オプション: ページの下部にある [次へ: データベースとテーブルフィールドの構成] をクリックします。表示されるページで、宛先データベースで同期するテーブルの タイプ、プライマリキー列の追加、配布キー、[パーティションキー]、[パーティションルール]、[パーティションライフサイクル] などのパーティションキー情報を構成します。
説明同期タイプ [同期タイプ] パラメータで [スキーマ同期] を選択した場合にのみ、この手順を実行できます。パラメータを変更するには、[定義ステータス] パラメータを [すべて] に設定します。
[プライマリキー列] フィールドでは、複数の列を指定して複合プライマリキーを形成できます。この場合、1 つ以上の列を 配布キー および [パーティションキー] として指定する必要があります。詳細については、「CREATE TABLE」をご参照ください。
タスク設定を保存し、事前チェックを実行します。
DTS タスクを構成するために関連 API 操作を呼び出すときに指定するパラメータを表示するには、次：タスク設定の保存と事前チェック にポインタを移動し、OpenAPI パラメーターのプレビュー をクリックします。
パラメータを表示する必要がない場合、またはすでに表示している場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。
説明データ同期タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後でのみ、データ同期タスクを開始できます。
データ同期タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析し、問題をトラブルシューティングします。次に、事前チェックを再実行します。
事前チェック中に項目に対してアラートがトリガーされた場合:
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして、問題をトラブルシューティングします。次に、事前チェックを再実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。[詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで、[OK] をクリックします。次に、[再事前チェック] をクリックして、事前チェックを再実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。
[購入] ページで、データ同期インスタンスの [課金方法] パラメータと [インスタンスクラス] パラメータを構成します。次の表にパラメータを示します。
セクション
パラメータ
説明
新しいインスタンスクラス
課金方法
サブスクリプション: データ同期インスタンスを作成するときにサブスクリプションの料金を支払います。サブスクリプション課金方法は、長期使用の場合、従量課金方法よりも費用対効果が高くなります。
従量課金: 従量課金インスタンスは 1 時間単位で課金されます。従量課金方法は、短期使用に適しています。従量課金データ同期インスタンスが不要になった場合は、インスタンスを解放してコストを削減できます。
リソースグループ設定
データ同期インスタンスが属するリソースグループ。デフォルト値: [デフォルトリソースグループ]。詳細については、「リソース管理とは」をご参照ください。
インスタンスクラス
DTS は、同期速度が異なるインスタンスクラスを提供します。ビジネス要件に基づいてインスタンスクラスを選択できます。詳細については、「データ同期インスタンスのインスタンスクラス」をご参照ください。
サブスクリプション期間
サブスクリプションの課金方法を選択する場合は、サブスクリプションの期間と作成するデータ同期インスタンスの数をご指定ください。 サブスクリプション期間は、1～9か月、1年、2年、3年、または5年です。
説明このパラメーターは、サブスクリプション 課金方法を選択した場合にのみ使用できます。
[Data Transmission Service（従量課金制）サービス利用規約] をよく読んで選択してください。
[購入して開始] をクリックします。表示されるダイアログボックスで、OK をクリックします。
詳細については、「PHP で BLOB ストレージの使用を開始する」をご参照ください。