このトピックでは、Data Transmission Service (DTS) を使用して、PolarDB-X 2.0 インスタンスから AnalyticDB for MySQL V3.0 クラスタにデータを移行する方法について説明します。データの移行後、AnalyticDB for MySQL を使用して、社内ビジネスインテリジェンス (BI) システム、インタラクティブクエリシステム、リアルタイムレポートシステムなどのシステムを構築できます。
前提条件
ソース PolarDB-X インスタンスが作成されており、MySQL 5.7 と互換性があります。
宛先 AnalyticDB for MySQL V3.0 クラスタが作成されています。詳細については、「クラスタの作成」をご参照ください。
宛先 AnalyticDB for MySQL V3.0 クラスタの使用可能なストレージ容量が、ソース PolarDB-X 2.0 インスタンスのデータの合計サイズよりも大きくなっています。
制限事項
スキーマ移行中、DTS はソースデータベースから宛先データベースに外部キーを移行しません。
完全データ移行および増分データ移行中、DTS はセッションレベルで外部キーに対する制約チェックとカスケード操作を一時的に無効にします。データ移行中にソースデータベースでカスケード更新および削除操作を実行すると、データの不整合が発生する可能性があります。
カテゴリ | 説明 |
ソースデータベースの制限 |
|
その他の制限 |
|
注意事項 | DTS は、バイナリログファイルの位置を移動するために、ソースデータベースの `dts_health_check`.`ha_health_check` テーブルをスケジュールに従って更新します。 |
課金
移行タイプ | インスタンス構成料金 | インターネットトラフィック料金 |
スキーマ移行と完全データ移行 | 無料。 | ターゲットデータベースの アクセス方法 パラメーターが パブリック IP アドレス に設定されている場合、インターネットトラフィックの料金が発生します。詳細については、「課金概要」をご参照ください。 |
増分データ移行 | 課金されます。詳細については、「請求の概要」をご参照ください。 |
移行タイプ
スキーマ移行
DTS は、選択したオブジェクトのスキーマをソースデータベースから宛先データベースに移行します。
完全データ移行
DTS は、必要なオブジェクトの既存データをソースデータベースから宛先データベースに移行します。
増分データ移行
完全データ移行が完了すると、DTS はソースデータベースから宛先データベースに増分データを移行します。増分データ移行により、データ移行中にセルフマネージドアプリケーションのサービスを中断することなく、データをスムーズに移行できます。
増分データ移行中に移行できる SQL 操作
操作タイプ | SQL 文 |
DML | INSERT、UPDATE、および DELETE 説明 データが宛先の AnalyticDB for MySQL V3.0 クラスターに書き込まれると、UPDATE 文は自動的に REPLACE INTO 文に変換されます。プライマリキーに対して UPDATE 文が実行された場合、UPDATE 文は DELETE 文と INSERT 文に変換されます。 |
DDL | CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、MODIFY COLUMN、および DROP COLUMN |
データベースアカウントに必要な権限
データベース | スキーマ移行 | 完全データ移行 | 増分データ移行 |
PolarDB-X 2.0 | SELECT 権限 | SELECT 権限 | REPLICATION SLAVE 権限、REPLICATION CLIENT 権限、および移行するオブジェクトに対する SELECT 権限。 説明 データベースアカウントに権限を付与する方法の詳細については、「PolarDB-X のデータ同期ツール」をご参照ください。 |
AnalyticDB for MySQL V3.0 | 読み取りおよび書き込み権限 | ||
データベースアカウントの作成方法とアカウントへの権限の付与方法の詳細については、以下のトピックをご参照ください。
AnalyticDB for MySQL V3.0：「データベースアカウントの作成」。
データ型マッピング
詳細については、「初期スキーマ同期のデータ型マッピング」をご参照ください。
手順
次のいずれかの方法を使用して [データ移行] ページに移動し、データ移行インスタンスが存在するリージョンを選択します。
DTS コンソール
DTS コンソール にログインします。
左側のナビゲーション ウィンドウで、データの移行 をクリックします。
ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。
DMS コンソール
説明実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
DMS コンソール にログインします。
上部のナビゲーションバーで、ポインタを の上に移動します。
[データ移行タスク] の右側にあるドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。
タスクの作成 をクリックして、タスク構成ページに移動します。
ソースデータベースと宛先データベースを構成します。次の表にパラメータを示します。
警告ソースデータベースと宛先データベースを構成した後、ページの上部に表示される [制限事項] を読んでおくことをお勧めします。そうでない場合、タスクが失敗したり、データの不整合が発生したりする可能性があります。
セクション
パラメータ
説明
該当なし
タスク名
DTS タスクの名前。DTS はタスク名を自動的に生成します。タスクを簡単に識別できる分かりやすい名前を指定することをお勧めします。一意のタスク名を指定する必要はありません。
ソースデータベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメータを自動的に入力します。詳細については、「データベース接続の管理」をご参照ください。
説明DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
インスタンスを DTS に登録できなかった場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
データベースタイプ
ソースデータベースのタイプ。 [PolarDB-X 2.0] を選択します。
アクセス方法
ソースデータベースのアクセス方法。 [Alibaba Cloud インスタンス] を選択します。
インスタンスリージョン
ソース PolarDB-X 2.0 インスタンスが存在するリージョン。
Alibaba Cloud アカウント間でデータを複製
Alibaba Cloud アカウント間でデータを移行するかどうかを指定します。この例では、× が選択されています。
[インスタンス ID]
ソース PolarDB-X 2.0 インスタンスの ID。
データベースアカウント
ソース PolarDB-X 2.0 インスタンスのデータベースアカウント。アカウントに必要な権限の詳細については、このトピックの「データベースアカウントに必要な権限」セクションをご参照ください。
データベースパスワード
詳細については、「静的コンテンツの有効化」をご参照ください。
宛先データベース
既存の接続情報の選択
DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。DTS は、インスタンスの次のデータベースパラメーターを自動的に入力します。詳細については、「データベース接続を管理する」をご参照ください。
説明DMS コンソールで、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。
インスタンスを DTS に登録できなかった場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を設定する必要があります。
データベースタイプ
ターゲットデータベースの種類です。[AnalyticDB MySQL 3.0] を選択します。
アクセス方法
ターゲットデータベースのアクセス方法。 [Alibaba Cloud インスタンス] を選択します。
インスタンスリージョン
デスティネーションの AnalyticDB for MySQL V3.0 クラスタが存在するリージョンです。
インスタンス ID
宛先 AnalyticDB for MySQL V3.0 クラスタの ID。
データベースアカウント
宛先 AnalyticDB for MySQL V3.0 クラスターのデータベースアカウント。アカウントに必要な権限については、このトピックの「データベースアカウントに必要な権限」セクションをご参照ください。
データベースパスワード
データベースインスタンスにアクセスするために使用するパスワード。
ページの下部にある、[接続テストと続行] をクリックします。
説明DTS サーバーの CIDR ブロックが、ソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加され、DTS サーバーからのアクセスが許可されていることを確認してください。詳細については、「DTS サーバーの CIDR ブロックを追加する」をご参照ください。
移行するオブジェクトを設定します。
オブジェクト設定 ページで、移行するオブジェクトを設定します。
パラメーター
説明
移行タイプ
完全データ移行のみを実行するには、[スキーマ移行] と [完全データ移行] を選択します。
サービスのダウンタイムなしでデータを移行するには、[スキーマ移行]、[完全データ移行]、および [増分データ移行] を選択します。
説明[完全データ移行] を選択した場合、CREATE TABLE 文を使用して作成されたテーブルのスキーマとデータをターゲットデータベースに移行できます。
[増分データ移行] が選択されていない場合は、データ移行中にソースデータベースにデータを書き込まないことをお勧めします。これにより、ソースデータベースとターゲットデータベース間のデータ整合性が確保されます。
競合テーブルの処理モード
エラーの事前チェックと報告: ターゲットデータベースにソースデータベースのテーブルと同じ名前を使用するテーブルが含まれているかどうかを確認します。ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合、事前チェックは合格です。それ以外の場合、事前チェック中にエラーが返され、データ移行タスクを開始できません。
説明ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。詳細については、「データベース、テーブル、および列の名前マッピング」をご参照ください。
エラーを無視して続行: ソースデータベースとターゲットデータベースで同じテーブル名の事前チェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが以下の潜在的なリスクにさらされる可能性があります。
ソースデータベースとターゲットデータベースのスキーマが同じで、データレコードのプライマリキーがターゲットデータベースの既存のデータレコードと同じである場合、以下のシナリオが発生する可能性があります。
完全データ移行中、DTS はデータレコードをターゲットデータベースに移行しません。ターゲットデータベースの既存のデータレコードは保持されます。
増分データ移行中、DTS はデータレコードをターゲットデータベースに移行します。ターゲットデータベースの既存のデータレコードは上書きされます。
ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。注意して進めてください。
マージテーブル
[はい]: この値を選択すると、DTS は各テーブルに
__dts_data_source列を追加してデータソースを記録します。詳細については、「複数テーブルのマージ機能を有効にする」をご参照ください。[いいえ]: これはデフォルト値です。
説明このパラメーターを [はい] に設定すると、タスクで選択したすべてのソーステーブルがターゲットテーブルにマージされます。特定のソーステーブルをマージする必要がない場合は、これらのテーブルに対して個別のデータ移行タスクを作成できます。
警告ソースデータベースまたはテーブルのスキーマを変更するために DDL 操作を実行しないことをお勧めします。そうしないと、データの不整合が発生したり、データ移行タスクが失敗したりする可能性があります。
ソースオブジェクト
ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。
アイコンをクリックし、[選択済みオブジェクト] セクションにオブジェクトを追加します。説明移行するオブジェクトとして、列、テーブル、またはデータベースを選択できます。移行するオブジェクトとしてテーブルを選択した場合、DTS はビュー、トリガー、ストアドプロシージャなどの他のオブジェクトをターゲットデータベースに移行しません。
移行するオブジェクトとしてデータベースを選択した場合、DTS は次のデフォルトルールに基づいてデータを移行します。
ソースデータベースで移行するテーブルに、単一列のプライマリキーや複合プライマリキーなどのプライマリキーがある場合、プライマリキー列が分散キーとして指定されます。
ソースデータベースで移行するテーブルにプライマリキーがない場合、ターゲットテーブルに自動採番プライマリキー列が自動的に生成されます。これにより、ソースデータベースとターゲットデータベース間でデータの不整合が発生する可能性があります。
[選択済みオブジェクト]
ターゲットインスタンスに移行するオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。詳細については、「個々のデータベース、テーブル、および列の名前マッピング」をご参照ください。
複数のオブジェクトの名前を一度に変更するには、[選択済みオブジェクト] セクションの右上隅にある [一括編集] をクリックします。詳細については、「データベース、テーブル、および列の一括名前変更」をご参照ください。
説明オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの移行が失敗する可能性があります。
WHERE 条件を指定してデータをフィルタリングするには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、条件を指定します。詳細については、「フィルター条件を指定する」をご参照ください。
特定のデータベースまたはテーブルで実行される SQL 操作を選択するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。表示されるダイアログボックスで、移行する SQL 操作を選択します。
次へ：詳細設定 をクリックして詳細設定を行います。
パラメーター
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、専用クラスターを指定しない場合、DTS はデータ移行タスクを共有クラスターにスケジュールします。データ移行タスクの安定性を向上させるには、専用クラスターを購入します。詳細については、「DTS 専用クラスターとは」をご参照ください。
失敗した接続の再試行時間
接続失敗時の再試行時間の範囲です。データ移行タスクの開始後にソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTS は再試行時間の範囲内で直ちに接続を再試行します。有効値: 10 ～ 1,440。単位: 分。デフォルト値: 720。このパラメーターには 30 より大きい値を設定することをお勧めします。指定された再試行時間の範囲内で DTS がソースデータベースとターゲットデータベースに再接続された場合、DTS はデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。
説明同じソースデータベースまたはターゲットデータベースを共有する複数のデータ移行タスクに異なる再試行時間の範囲を指定した場合、後で指定した値が優先されます。
DTS が接続を再試行すると、DTS インスタンスの料金が発生します。ビジネス要件に基づいて再試行時間の範囲を指定することをお勧めします。また、ソースデータベースとターゲットインスタンスが解放された後、できるだけ早く DTS インスタンスを解放することもできます。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
その他の問題の再試行時間の範囲です。たとえば、データ移行タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS は再試行時間の範囲内で直ちに操作を再試行します。有効値: 1 ～ 1440。単位: 分。デフォルト値: 10。このパラメーターには 10 より大きい値を設定することをお勧めします。指定された再試行時間の範囲内で失敗した操作が正常に実行された場合、DTS はデータ移行タスクを再開します。それ以外の場合、データ移行タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値よりも小さくする必要があります。
完全移行率を制限するかどうか
完全データ移行のスロットリングを有効にするかどうかを指定します。完全データ移行中、DTS はソースデータベースとターゲットデータベースの読み取りリソースと書き込みリソースを使用します。これにより、データベースサーバーの負荷が増加する可能性があります。ビジネス要件に基づいて、完全データ移行のスロットリングを有効にすることができます。スロットリングを設定するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明完全データ移行 パラメーターで 移行タイプ を選択した場合にのみ、このパラメーターを設定できます。
増分移行率を制限するかどうか
増分データ移行のスロットリングを有効にするかどうかを指定します。スロットリングを設定するには、1 秒あたりの増分移行の行数 RPS パラメーターと 1 秒あたりの増分移行データ量 (MB) BPS パラメーターを設定する必要があります。これにより、ターゲットデータベースサーバーの負荷が軽減されます。
説明増分データ移行 パラメーターで 移行タイプ を選択した場合にのみ、このパラメーターを設定できます。
環境タグ
DTS インスタンスを識別するために使用される環境タグ。ビジネス要件に基づいて環境タグを選択できます。この例では、環境タグを選択する必要はありません。
順方向および逆方向タスクのハートビートテーブル sql を削除
DTS インスタンスの実行中に、ハートビートテーブルに対する SQL 操作をソースデータベースに書き込むかどうかを指定します。有効値:
[はい]: ハートビートテーブルに対する SQL 操作を書き込みません。この場合、DTS インスタンスのレイテンシが表示される場合があります。
[いいえ]: ハートビートテーブルに対する SQL 操作を書き込みます。この場合、ソースデータベースの物理バックアップやクローニングなどの機能が影響を受ける可能性があります。
ETL の設定
抽出、変換、書き出し (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効値:
[はい]: ETL 機能を設定します。コードエディターにデータ処理文を入力できます。詳細については、「データ移行タスクまたはデータ同期タスクで ETL を設定する」をご参照ください。
[いいえ]: ETL 機能を設定しません。
監視アラート
データ移行タスクのアラートを設定するかどうかを指定します。タスクが失敗した場合、または移行レイテンシが指定されたしきい値を超えた場合、アラート連絡先に通知が送信されます。有効値:
[いいえ]: アラートを設定しません。
[はい]: アラートを設定します。この場合、アラートのしきい値と アラート通知設定 も設定する必要があります。詳細については、「監視とアラートの設定」トピックの DTS タスクの作成時に監視とアラートを設定する セクションをご参照ください。
オプション: ページの下部にある [次へ: データベースとテーブルのフィールドを設定] をクリックします。表示されるダイアログボックスで、[タイプ]、[プライマリキー列]、[分散キー]、および [パーティションキー]、[パーティションルール]、[パーティションライフサイクル] などのパーティションキーに関するパラメーターを、ターゲットデータベースに移行するテーブルに対して設定します。
説明このステップは、スキーマ移行 を 移行タイプ パラメーターに選択した場合にのみ使用できます。パラメーターを変更するには、[定義ステータス] を [すべて] に設定します。
[プライマリキー列] フィールドでは、複数の列を選択して複合プライマリキーを形成できます。この場合、1 つ以上の [プライマリキー列] を [分散キー] およびパーティションキーとして選択する必要があります。詳細については、「CREATE TABLE」をご参照ください。
タスク設定を保存し、事前チェックを実行します。
関連する API 操作を呼び出して DTS タスクを設定する際に指定するパラメーターを表示するには、次：タスク設定の保存と事前チェック にポインターを移動し、OpenAPI パラメーターのプレビュー をクリックします。
パラメーターを表示する必要がない場合、またはすでに表示済みの場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。
説明データ移行タスクを開始する前に、DTS は事前チェックを実行します。タスクが事前チェックに合格した後にのみ、データ移行タスクを開始できます。
タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、再度事前チェックを実行します。
事前チェック中に項目に対してアラートがトリガーされた場合:
アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックし、問題をトラブルシューティングします。その後、再度事前チェックを実行します。
アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで、[OK] をクリックします。次に、[再チェック] をクリックして、再度事前チェックを実行します。アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。
データ移行インスタンスを購入します。
[成功率] が [100%] になるまで待ちます。次に、[次へ: インスタンスの購入] をクリックします。
[インスタンスの購入] ページで、データ移行インスタンスのインスタンスクラスパラメーターを設定します。次の表にパラメーターを示します。
セクション
パラメーター
説明
新しいインスタンスクラス
[リソースグループ]
データ移行インスタンスが属するリソースグループ。デフォルト値: [デフォルトのリソースグループ]。詳細については、「リソース管理とは」をご参照ください。
インスタンスクラス
DTS は、移行速度が異なるインスタンスクラスを提供します。ビジネスシナリオに基づいてインスタンスクラスを選択できます。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。
チェックボックスをオンにして、[Data Transmission Service (従量課金制) サービス規約] を読んで同意します。
[購入して開始] をクリックします。表示されるメッセージで、[OK] をクリックします。
[データ移行] ページでタスクの進捗状況を確認できます。
説明データ移行タスクを使用して増分データを移行できない場合、タスクは自動的に停止します。[完了] が [ステータス] セクションに表示されます。
データ移行タスクを使用して増分データを移行できる場合、タスクは自動的に停止しません。増分データ移行タスクは停止または完了しません。[実行中] が [ステータス] セクションに表示されます。