Data Transmission Service (DTS) を使用して、PolarDB-X 2.0 インスタンスから AnalyticDB for MySQL V3.0 クラスターにデータを同期できます。これにより、社内のビジネスインテリジェンス (BI) システム、インタラクティブなクエリシステム、リアルタイムレポートシステムを迅速に構築できます。
前提条件
-
ソースの PolarDB-X 2.0 インスタンスが作成されます。
-
ターゲット AnalyticDB for MySQL V3.0 クラスターが作成されていること。詳細については、「クラスターの作成」をご参照ください。
-
ターゲット AnalyticDB for MySQL V3.0 クラスターのストレージ容量が、ソース PolarDB-X 2.0 インスタンスのストレージ容量を上回っていること。
注意事項
-
スキーマ同期中、DTS はソースデータベースの外部キーをターゲットデータベースに同期しません。
-
完全データ同期および増分データ同期中、DTS はセッションレベルで制約チェックと外部キーのカスケード操作を一時的に無効にします。タスクの実行中にソースデータベースでカスケード更新または削除操作を実行すると、データの不整合が発生する可能性があります。
|
タイプ |
説明 |
|
ソースデータベースの制限事項 |
|
|
その他の制限事項 |
|
|
その他の注意事項 |
DTS は、バイナリログの位置を進めるために、ソースデータベースの |
課金
同期タイプ | 料金 |
スキーマ同期と完全データ同期 | 無料です。 |
増分データ同期 | 有料です。詳細については、「課金概要」をご参照ください。 |
サポートされている同期トポロジ
一方向 1 対 1 同期
一方向 1 対多同期
一方向カスケード同期
一方向多対 1 同期
同期トポロジとその制限事項の詳細については、「データ同期トポロジの概要」をご参照ください。
サポートされている SQL 操作
|
操作タイプ |
SQL ステートメント |
|
DML |
説明
AnalyticDB for MySQL にデータを書き込む際、 |
|
DDL |
重要 RENAME TABLE 操作はデータの不整合を引き起こす可能性があります。たとえば、同期オブジェクトが単一のテーブルであり、同期中にソースインスタンスでその名前を変更した場合、そのテーブルのデータはターゲットデータベースに同期されません。この問題を回避するには、そのテーブルを含むデータベース全体を同期するようにタスクを設定します。RENAME TABLE 操作の前後でテーブルが属するデータベースが同期オブジェクトに含まれていることを確認してください。 |
操作手順
ターゲットリージョンの同期タスクリストページに移動します。次の 2 つの方法のいずれかを使用できます。
DTS コンソールから
左側のナビゲーションウィンドウで、データ同期 をクリックします。
ページの左上隅で、同期インスタンスが配置されているリージョンを選択します。
DMS コンソールから
説明実際の手順は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS インターフェイスのレイアウトとスタイルをカスタマイズする」をご参照ください。
Data Management (DMS) にログインします。
トップメニューバーで、 を選択します。
データ同期タスク の右側で、同期インスタンスが配置されているリージョンを選択します。
タスクの作成 をクリックして、タスク設定ページを開きます。
-
ソースデータベースとターゲットデータベースを設定します。
警告ソースインスタンスとターゲットインスタンスを選択した後、ページ上部に表示される制限事項をよくお読みください。制限事項に従わない場合、タスクが失敗したり、データの不整合が発生したりする可能性があります。
カテゴリ
パラメーター
説明
N/A
タスク名
DTS は自動的にタスク名を生成します。識別しやすいように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
ソースデータベース
既存の接続情報の選択
システムに追加されたデータベースインスタンス (新規作成または保存済み) を使用するには、ドロップダウンリストからデータベースインスタンスを選択します。データベース情報は自動的に設定されます。
説明DMS コンソールでは、この設定項目は DMS データベースインスタンスの選択 という名前です。
データベースインスタンスをシステムに追加していない場合、または既に追加されているインスタンスを使用する必要がない場合は、次のデータベース情報を手動で設定します。
データベースタイプ
PolarDB-X 2.0 を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスリージョン
ソース PolarDB-X 2.0 インスタンスが配置されているリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
このチュートリアルでは、同じ Alibaba Cloud アカウント内での同期の例を使用します。× を選択します。
インスタンス ID
ソース PolarDB-X 2.0 インスタンスの ID を選択します。
データベースアカウント
ソース PolarDB-X 2.0 インスタンスのデータベースアカウントを入力します。アカウントには、同期オブジェクトに対する REPLICATION SLAVE、REPLICATION CLIENT、および SELECT 権限が必要です。
説明権限の付与方法については、「データ同期中のアカウント権限の問題」をご参照ください。
データベースパスワード
データベースアカウントに対応するパスワードを入力します。
宛先データベース
既存の接続情報の選択
システムに追加されたデータベースインスタンス (新規作成または保存済み) を使用するには、ドロップダウンリストからデータベースインスタンスを選択します。データベース情報は自動的に設定されます。
説明DMS コンソールでは、この設定項目は DMS データベースインスタンスの選択 という名前です。
データベースインスタンスをシステムに追加していない場合、または既に追加されているインスタンスを使用する必要がない場合は、次のデータベース情報を手動で設定します。
データベースタイプ
AnalyticDB for MySQL 3.0 を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスリージョン
ターゲット AnalyticDB for MySQL V3.0 クラスターが配置されているリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
このチュートリアルでは、同じ Alibaba Cloud アカウント内での同期の例を使用します。× を選択します。
インスタンス ID
ターゲット AnalyticDB for MySQL V3.0 クラスターの ID を選択します。
データベースアカウント
ターゲット AnalyticDB for MySQL V3.0 クラスターのデータベースアカウントを入力します。アカウントには読み取りおよび書き込み権限が必要です。
データベースパスワード
データベースアカウントに対応するパスワードを入力します。
設定が完了したら、ページ下部の 接続をテストして続行 をクリックします。
説明DTS サーバーからのアクセスを許可するために、DTS サーバーの IP アドレス CIDR ブロックがソースデータベースとターゲットデータベースのセキュリティ設定に追加されていることを確認してください。これは自動または手動で行うことができます。詳細については、「DTS サーバーの IP アドレス CIDR ブロックをホワイトリストに追加する」をご参照ください。
-
タスクオブジェクトを設定します。
-
オブジェクト設定 ページで、同期するオブジェクトを設定します。
パラメーター
説明
同期タイプ
増分データ同期 が選択されています。デフォルトでは、スキーマ同期 と 完全データ同期 も選択する必要があります。事前チェックが完了すると、DTS は選択したオブジェクトの完全データ同期をソースインスタンスからターゲットクラスターに実行します。これは、後続の増分データ同期のベースラインデータとして機能します。
説明完全データ同期 を選択すると、CREATE TABLE 文を使用して作成されたテーブルのスキーマとデータがターゲットデータベースに同期されます。
競合テーブルの処理モード
エラーの事前チェックと報告:ターゲットデータベースに同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、事前チェックは成功します。同じ名前のテーブルが存在する場合、事前チェックは失敗し、データ同期タスクは開始されません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更できない場合は、別のテーブル名にマッピングできます。詳細については、「テーブル名と列名のマッピング」をご参照ください。
エラーを無視して続行:ターゲットデータベースでの重複テーブル名のチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスにリスクをもたらす可能性があります。例:
テーブルスキーマが同じで、ターゲットデータベースのレコードがソースデータベースのレコードと同じプライマリキーまたは一意キーの値を持つ場合:
完全同期中、DTS はターゲットクラスターのレコードを保持します。ソースデータベースの対応するレコードは同期されません。
増分同期中、ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
テーブルスキーマが異なる場合、初期データ同期が失敗する可能性があります。これにより、一部の列データのみが同期されるか、同期が完全に失敗する可能性があります。注意して進めてください。
マージテーブル
○ を選択:OLTP シナリオでは、ビジネステーブルの応答時間を改善するために、データベースとテーブルのシャーディングがよく使用されます。この例のターゲットデータベースのような OLAP シナリオでは、単一のデータテーブルに大量のデータを格納できるため、単一テーブルのクエリがより便利になります。このようなシナリオでは、DTS の複数テーブルマージ機能を使用して、ソースデータベースから同じスキーマを持つ複数のテーブル (シャーディングされたテーブル) をターゲットデータベースの単一のテーブルに同期できます。具体的な手順については、「複数テーブルマージの有効化」をご参照ください。
説明ソースデータベースから複数のテーブルを選択した後、オブジェクト名マッピング機能を使用して、それらの名前をターゲットデータベースの同じテーブル名に変更する必要があります。オブジェクト名マッピング機能の詳細については、「テーブル名と列名のマッピング」をご参照ください。
DTS は、テキスト型の
__dts_data_source列をターゲットテーブルに追加して、データソースを格納します。列の値は、DTS インスタンス ID:データベース名:スキーマ名:テーブル名形式を使用してテーブルのソースを識別します。例:dts********:dtstestdata:testschema:customer1。複数テーブルマージ機能はタスクレベルであるため、テーブルレベルで複数テーブルマージを実行することはできません。一部のテーブルをマージし、他のテーブルをマージしない場合は、2 つのデータ同期タスクを作成する必要があります。
警告ソースデータベースでデータベースまたはテーブルスキーマを変更する DDL 操作を実行しないでください。そうしないと、データの不整合や同期タスクの失敗が発生する可能性があります。
× を選択します。これがデフォルトのオプションです。
ソースオブジェクト
ソースオブジェクト ボックスで、同期するオブジェクトをクリックし、
をクリックして 選択中のオブジェクト ボックスに移動します。説明-
同期オブジェクトとしてデータベース、テーブル、および列を選択できます。同期オブジェクトとしてテーブルまたは列を選択した場合、DTS はビュー、トリガー、ストアドプロシージャなどの他のオブジェクトをターゲットデータベースに同期しません。
-
データベース全体を同期オブジェクトとして選択した場合、次のデフォルトルールが適用されます:
-
ソースデータベースの同期対象テーブルに 1 つ以上の列を含むプライマリキーがある場合、DTS はプライマリキー列を分散キーとして使用します。
-
[選択済みオブジェクト]
ターゲットインスタンスで単一の同期オブジェクトの名前を変更するには、選択中のオブジェクト ボックスでオブジェクトを右クリックします。オブジェクトの名前変更の詳細については、「単一のデータベース、テーブル、または列のマッピング」をご参照ください。
ターゲットインスタンスで複数の同期オブジェクトの名前をバッチで変更するには、選択中のオブジェクト ボックスの右上隅にある 一括編集 をクリックします。詳細については、「データベース、テーブル、および列のバッチマッピング」をご参照ください。
説明-
特定のデータベースまたはテーブルに対して同期する SQL 操作を選択するには、選択中のオブジェクト セクションでオブジェクトを右クリックし、表示されるダイアログボックスで目的の SQL 操作を選択します。
-
WHERE 条件を使用してデータをフィルタリングするには、選択中のオブジェクト セクションでテーブルを右クリックし、表示されるダイアログボックスでフィルター条件を指定します。詳細については、「フィルター条件の設定」をご参照ください。
-
詳細設定へ をクリックして、詳細パラメーターを設定します。
パラメーター
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、DTS は共有クラスターでタスクをスケジュールするため、クラスターを選択する必要はありません。より安定したパフォーマンスを得るために、DTS 同期タスクを実行するための専用クラスターを購入できます。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
同期タスクが開始された後、ソースまたはターゲットデータベースへの接続が失敗した場合、DTS はエラーを報告し、直ちに接続の再試行を開始します。デフォルトの再試行時間は 720 分です。10 分から 1,440 分の範囲でカスタムの再試行時間を指定することもできます。30 分以上に設定することを推奨します。指定された時間内に DTS がデータベースに正常に再接続した場合、同期タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
説明同じソースまたはターゲットを共有する複数の DTS インスタンス (例:インスタンス A とインスタンス B) があり、インスタンス A のネットワーク再試行時間を 30 分、インスタンス B を 60 分に設定した場合、両方に短い方の 30 分が使用されます。
DTS は接続再試行期間中のタスク実行時間に対して課金するため、ビジネスニーズに基づいて再試行時間をカスタマイズするか、ソースおよびターゲットデータベースインスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることを推奨します。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
同期タスクが開始された後、ソースまたはターゲットデータベースで接続以外の問題 (DDL または DML の実行例外など) が発生した場合、DTS はエラーを報告し、直ちに継続的な再試行操作を開始します。デフォルトの再試行時間は 10 分です。1 分から 1,440 分の範囲でカスタムの再試行時間を指定することもできます。10 分以上に設定することを推奨します。設定された再試行時間内に関連操作が成功した場合、同期タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値より小さくする必要があります。
完全同期レートを制限するかどうか
完全同期段階では、DTS はソースおよびターゲットデータベースの読み取りおよび書き込みリソースを消費し、データベースの負荷を増加させる可能性があります。ソースおよびターゲットデータベースの負荷を軽減するために、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを設定することで、完全同期タスクのレート制限を設定できます。
説明この設定項目は、同期タイプ が 完全データ同期 に設定されている場合にのみ利用可能です。
同期インスタンスの実行後に 完全同期レートを調整することもできます。
増分同期率を制限するかどうか
増分同期タスクにもレート制限を設定できます。ターゲットデータベースへの圧力を軽減するために、1 秒あたりの増分同期の行数 RPS と 1 秒あたりの増分同期データ量 (MB) BPS を設定します。
環境タグ
ビジネス要件に基づいてインスタンスを識別するために環境タグを選択できます。このチュートリアルでは、タグは必要ありません。
順方向および逆方向タスクのハートビートテーブル SQL を削除
DTS インスタンスの実行中にハートビート SQL 情報をソースデータベースに書き込むかどうかを選択します。
○:ハートビート SQL 情報はソースデータベースに書き込まれません。これにより、DTS インスタンスが遅延を報告する可能性があります。
×:ハートビート SQL 情報をソースデータベースに書き込みます。これにより、ソースデータベースの物理バックアップやクローニングなどの機能に干渉する可能性があります。
ETL 機能の設定
抽出・変換・書き出し (ETL) 機能を有効にするかどうかを選択します。詳細については、「ETL とは」をご参照ください。有効な値:
-
○:ETL 機能を有効にします。コードエディタにデータ処理ステートメントを入力します。詳細については、「データ移行またはデータ同期タスクで ETL を設定する」をご参照ください。
-
×:ETL 機能を無効にします。
監視アラート
アラートを設定するかどうかを指定します。同期が失敗した場合や、レイテンシーが指定されたしきい値を超えた場合に、アラート連絡先に通知が送信されます。
×:アラートは設定されません。
○:アラートのしきい値を設定し、アラート通知を指定してアラートを設定します。詳細については、「タスク設定中のモニタリングとアラートの設定」をご参照ください。
任意: 上記の設定を完了した後、次:データベースおよびテーブルのフィールド設定 をクリックして、ターゲットデータベースで同期するテーブルの タイプ、プライマリキー列の追加、配布キー、およびパーティションキー情報 (パーティションキー、パーティションルール、および パーティションのライフサイクル) を設定します。
説明このステップは、タスクオブジェクトを設定する際に 同期タイプ で スキーマ同期 を選択した場合にのみ利用可能です。その後、定義ステータス を すべて に設定して変更を行うことができます。
プライマリキー列の追加 は、複数の列で構成される複合プライマリキーにすることができます。配布キー および パーティションキー として機能させるには、プライマリキー列の追加 から 1 つ以上の列を選択する必要があります。詳細については、「CREATE TABLE」をご参照ください。
-
タスクを保存し、事前チェックを実行します。
このインスタンスを設定するための API パラメーターを表示するには、次:タスク設定の保存と事前チェック ボタンにカーソルを合わせ、バブル内の OpenAPI パラメーターのプレビュー をクリックします。
API パラメーターの表示が完了したら、ページ下部の 次:タスク設定の保存と事前チェック をクリックします。
説明同期ジョブが開始される前に、DTS は事前チェックを実行します。ジョブは、すべての事前チェック項目が合格した後にのみ開始できます。
事前チェックが失敗した場合は、失敗した項目の 詳細を表示 をクリックします。プロンプトに従って問題を修正し、再度事前チェックを実行します。
事前チェックで警告が返された場合:
チェック項目が失敗し、無視できない場合は、項目の横にある 詳細を表示 をクリックします。指示に従って問題を修正し、再度事前チェックを実行します。
無視できるチェック項目については、アラートの詳細を確認、無視、OK、再度事前チェックを実行 を順にクリックして、警告をスキップし、事前チェックを再実行できます。警告項目を無視することを選択した場合、データの不整合などの問題が発生し、ビジネスにリスクをもたらす可能性があります。
-
インスタンスを購入します。
成功率 が 100% になったら、次:インスタンスの購入 をクリックします。
購入 ページで、データ同期インスタンスの課金方法とリンク仕様を選択します。次の表で、これらのパラメーターについて詳しく説明します。
カテゴリ
パラメーター
説明
新しいインスタンスクラス
課金方法
サブスクリプション:インスタンス作成時にお支払いいただきます。長期的なニーズに適しており、従量課金よりもコスト効率が高いです。サブスクリプション期間が長いほど、割引率が高くなります。
従量課金:時間単位で課金されます。短期的なニーズに適しています。使用後すぐにインスタンスをリリースしてコストを節約できます。
リソースグループの設定
インスタンスが属するリソースグループ。デフォルトはデフォルトリソースグループです。詳細については、「Resource Management とは」をご参照ください。
リンク仕様
DTS は、異なるパフォーマンスレベルの同期仕様を提供します。同期リンク仕様は同期レートに影響します。ビジネスシナリオに基づいて仕様を選択できます。詳細については、「データ同期リンク仕様」をご参照ください。
サブスクリプション期間
サブスクリプションモードでは、サブスクリプションインスタンスの期間と数量を選択します。1 か月から 9 か月までの月次サブスクリプション、または 1、2、3、5 年の年次サブスクリプションを選択できます。
説明このオプションは、課金方法が サブスクリプション の場合にのみ利用可能です。
設定が完了したら、Data Transmission Service (従量課金) 利用規約 を読んで選択します。
購入して起動 をクリックします。OK ダイアログボックスで、[OK] をクリックします。
データ同期ページでタスクの進捗状況を確認できます。