Data Transmission Service:自己管理の TiDB データベースから PolarDB for MySQL クラスタへのデータ移行

前提条件

• 宛先の PolarDB for MySQL クラスタが作成されていること。クラスタの使用可能なストレージ容量が、ソース TiDB データベースのデータの合計サイズよりも大きいこと。詳細については、「カスタム購入」および「サブスクリプションクラスタの購入」をご参照ください。

• TiDB データベースから増分データを移行する場合、準備 (オプション) を行って増分データを収集していること。

準備 (オプション)

以下のいずれかの方法を使用して、TiDB データベースから増分データを収集できます。

使用方法

課金

増分移行をサポートする SQL 操作

データベースアカウントに必要な権限

手順

1. 次のいずれかの方法を使用してデータ移行ページに移動し、データ移行インスタンスが存在するリージョンを選択します。

   DTS コンソール

   1. DTS コンソール にログインします。

   2. 左側のナビゲーションウィンドウで、データの移行 をクリックします。

   3. ページの左上隅で、データ移行インスタンスが存在するリージョンを選択します。

   DMS コンソール

   説明

   実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。 詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。

   1. DMS コンソール にログインします。

   2. 上部のナビゲーションバーで、[データ + AI] > [DTS (DTS)] > [データ移行] にポインタを移動します。

   3. [データ移行タスク] の右側のドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。

2. タスクの作成 をクリックして、タスク構成ページに移動します。

3. ソースデータベースとターゲットデータベースを構成します。 次の表にパラメータを示します。

   セクション	パラメータ	説明
   該当なし	タスク名	DTS タスクの名前です。 DTS はタスク名を自動的に生成します。 タスクを識別しやすい説明的な名前を指定することをお勧めします。 一意のタスク名を指定する必要はありません。
   移行元データベース	[既存の接続を選択]	DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。 DTS は、インスタンスの次のデータベースパラメータを自動的に入力します。 詳細については、「データベース接続を管理する」をご参照ください。 説明 DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。 インスタンスを DTS に登録できなかった場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
   	データベースタイプ	ソースデータベースの種類です。 TiDB を選択します。
   	アクセス方法	ソースデータベースのアクセス方法です。 TiDB データベースのデプロイ場所に基づいてアクセス方法を選択します。 この例では、ECS 上の自己管理データベース を選択します。 説明 このパラメータを他の値に設定する場合は、データ移行の前に、自己管理データベースに必要な環境を準備する必要があります。 詳細については、「準備の概要」をご参照ください。
   	インスタンスのリージョン	TiDB データベースが存在するリージョンです。
   	ECS インスタンス ID	TiDB データベースをホストする ECS インスタンスの ID です。
   	ポート番号	ソース TiDB データベースのサービスポート番号です。 デフォルト値: 4000。
   	データベースアカウント	TiDB データベースのアカウントです。 アカウントに必要な権限の詳細については、このトピックの「データベースアカウントに必要な権限」セクションをご参照ください。
   	データベースのパスワード	データベースへのアクセスに使用するパスワードです。
   	増分データの移行	TiDB データベースの増分データを移行するかどうかを指定します。 ビジネス要件に基づいてこのパラメータを構成します。 説明 TiDB データベースから増分データを移行する場合は、○ を選択し、Kafka クラスタ情報を入力します。 詳細については、このトピックの「Kafka クラスタ」セクションをご参照ください。
   移行先データベース	[既存の接続を選択]	DTS に登録されているデータベースインスタンスを使用する場合は、ドロップダウンリストからインスタンスを選択します。 DTS は、インスタンスの次のデータベースパラメータを自動的に入力します。 詳細については、「データベース接続を管理する」をご参照ください。 説明 DMS コンソールでは、[DMS データベースインスタンスを選択] ドロップダウンリストからデータベースインスタンスを選択できます。 インスタンスを DTS に登録できなかった場合、または DTS に登録されているインスタンスを使用する必要がない場合は、次のデータベース情報を構成する必要があります。
   	データベースタイプ	ターゲットデータベースの種類です。 PolarDB for MySQL を選択します。
   	アクセス方法	ターゲットデータベースのアクセス方法です。 Alibaba Cloud インスタンス を選択します。
   	インスタンスのリージョン	ターゲット PolarDB for MySQL クラスタが存在するリージョンです。
   	Alibaba Cloud アカウント間でデータを複製	この例では、現在の Alibaba Cloud アカウントのデータベースインスタンスが使用されます。 × を選択します。
   	PolarDB クラスター ID	ターゲット PolarDB for MySQL クラスタの ID です。
   	データベースアカウント	ターゲット PolarDB for MySQL クラスタのデータベースアカウントです。 アカウントに必要な権限については、このトピックの「データベースアカウントに必要な権限」セクションをご参照ください。
   	データベースのパスワード	データベースインスタンスへのアクセスに使用するパスワードです。
   	暗号化	ソース PolarDB for MySQL クラスタへの接続を暗号化するかどうかを指定します。 ビジネス要件に基づいてこのパラメータを設定できます。 SSL 暗号化機能の詳細については、「SSL 暗号化を構成する」をご参照ください。

4. ページの下部にある [接続テストと続行] をクリックし、表示される [DTS サーバーの CIDR ブロック] ダイアログボックスで 接続テスト をクリックします。

   説明

   DTS サーバーからのアクセスを許可するために、DTS サーバーの CIDR ブロックをソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加できることを確認してください。 詳細については、「DTS サーバーの CIDR ブロックを追加する」をご参照ください。

5. 移行するオブジェクトを構成します。

   1. オブジェクト設定 ページで、移行するオブジェクトを構成します。

      パラメータ	説明
      移行タイプ	完全データ移行のみを実行するには、[スキーマ移行] と [完全データ移行] を選択します。 データ移行中のサービス継続性を確保するには、[スキーマ移行]、[完全データ移行]、および [増分データ移行] を選択します。 説明 [スキーマ移行] を選択しない場合は、ターゲットデータベースにデータを受信するためのデータベースとテーブルが作成されており、[選択済みオブジェクト] でオブジェクト名マッピング機能が有効になっていることを確認してください。 [増分データ移行] を選択しない場合は、データ移行中にソースデータベースにデータを書き込まないことをお勧めします。 これにより、ソースデータベースとターゲットデータベース間のデータ整合性が確保されます。
      競合するテーブルの処理モード	エラーの事前チェックと報告: ターゲットデータベースにソースデータベースのテーブルと同じ名前を使用するテーブルが含まれているかどうかを確認します。 ソースデータベースとターゲットデータベースに同じテーブル名のテーブルが含まれていない場合、事前チェックは合格です。 それ以外の場合、事前チェック中にエラーが返され、データ移行タスクを開始できません。 説明 ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれており、ターゲットデータベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに移行されるテーブルの名前を変更できます。 詳細については、「オブジェクト名をマッピングする」をご参照ください。 エラーを無視して続行: ソースデータベースとターゲットデータベースの同じテーブル名の事前チェックをスキップします。 警告 エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが以下の潜在的なリスクにさらされる可能性があります。 ソースデータベースとターゲットデータベースのスキーマが同じで、データレコードのプライマリキーがターゲットデータベースの既存のデータレコードと同じである場合、次のシナリオが発生する可能性があります。 完全データ移行中、DTS はデータレコードをターゲットデータベースに移行しません。 ターゲットデータベースの既存のデータレコードは保持されます。 増分データ移行中、DTS はデータレコードをターゲットデータベースに移行します。 ターゲットデータベースの既存のデータレコードは上書きされます。 ソースデータベースとターゲットデータベースのスキーマが異なる場合、特定の列のみが移行されるか、データ移行タスクが失敗します。 慎重に進んでください。
      移行先インスタンスでのオブジェクト名の大文字化	ターゲットインスタンスのデータベース名、テーブル名、および列名の大文字と小文字の区別です。 デフォルトでは、[DTS デフォルトポリシー] が選択されています。 オブジェクト名の大文字と小文字の区別がソースデータベースまたはターゲットデータベースと一致するように、他のオプションを選択できます。 詳細については、「ターゲットインスタンスのオブジェクト名の大文字と小文字の区別を指定する」をご参照ください。
      ソースオブジェクト	ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択します。 アイコンをクリックして、選択中のオブジェクト セクションにオブジェクトを追加します。 説明 移行するオブジェクトとしてテーブルまたはデータベースを選択できます。
      選択中のオブジェクト	宛先インスタンスに移行するオブジェクトの名前を変更するには、[選択済みオブジェクト] セクションでオブジェクトを右クリックします。詳細については、「単一オブジェクトの名前をマッピングする」をご参照ください。 複数のオブジェクトの名前を一度に変更するには、[一括編集] を [選択したオブジェクト] セクションの右上隅でクリックします。詳細については、「複数のオブジェクト名を一度にマップする」をご参照ください。 説明 データをフィルタリングするための WHERE 条件を指定するには、選択中のオブジェクト セクションでテーブルを右クリックします。 表示されるダイアログボックスで、「フィルタ条件を指定する」をご参照ください。 オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトが移行に失敗する可能性があります。

   2. 次へ：詳細設定 をクリックして、詳細設定を構成します。

      パラメータ	説明
      移行先データベースのエンジンタイプを選択します。	ターゲットデータベースのエンジンタイプです。 ビジネス要件に基づいてエンジンタイプを選択します。 有効値: [InnoDB]: デフォルトのストレージエンジンです。 [X-Engine]: オンライントランザクション処理 (OLTP) データベースストレージエンジンです。
      失敗した接続の再試行時間	接続失敗時の再試行時間の範囲です。 データ移行タスクの開始後にソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTS は再試行時間の範囲内で直ちに接続を再試行します。 有効値: 10 ～ 1,440。 単位: 分。 デフォルト値: 720。 このパラメータを 30 より大きい値に設定することをお勧めします。 指定された再試行時間の範囲内で DTS がソースデータベースとターゲットデータベースに再接続された場合、DTS はデータ移行タスクを再開します。 それ以外の場合、データ移行タスクは失敗します。 説明 同じソースデータベースまたはターゲットデータベースを共有する複数のデータ移行タスクに異なる再試行時間の範囲を指定した場合、後で指定した値が優先されます。 DTS が接続を再試行すると、DTS インスタンスの料金が発生します。 ビジネス要件に基づいて再試行時間の範囲を指定することをお勧めします。 また、ソースデータベースとターゲットインスタンスが解放された後、できるだけ早く DTS インスタンスを解放することもできます。
      移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題の再試行時間の範囲です。 たとえば、データ移行タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS は再試行時間の範囲内で直ちに操作を再試行します。 有効値: 1 ～ 1440。 単位: 分。 デフォルト値: 10。 このパラメータを 10 より大きい値に設定することをお勧めします。 指定された再試行時間の範囲内で失敗した操作が正常に実行された場合、DTS はデータ移行タスクを再開します。 それ以外の場合、データ移行タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメータの値は、失敗した接続の再試行時間 パラメータの値よりも小さくする必要があります。
      完全移行率を制限するかどうか	完全データ移行のスロットリングを有効にするかどうかを指定します。 完全データ移行中、DTS はソースデータベースとターゲットデータベースの読み取りリソースと書き込みリソースを使用します。 これにより、データベースサーバーの負荷が増加する可能性があります。 ビジネス要件に基づいて、完全データ移行のスロットリングを有効にすることができます。 スロットリングを構成するには、1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメータを構成する必要があります。 これにより、ターゲットデータベースサーバーの負荷が軽減されます。 説明 移行タイプ パラメータで 完全データ移行 を選択した場合にのみ、このパラメータを構成できます。
      増分移行率を制限するかどうか	増分データ移行のスロットリングを有効にするかどうかを指定します。 スロットリングを構成するには、1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS パラメータを構成する必要があります。 これにより、ターゲットデータベースサーバーの負荷が軽減されます。 説明 移行タイプ パラメータで 増分データ移行 を選択した場合にのみ、このパラメータを構成できます。
      環境タグ	DTS インスタンスを識別するために使用される環境タグです。 ビジネス要件に基づいて環境タグを選択できます。 この例では、このパラメータを構成する必要はありません。
      ETL の設定	抽出、変換、書き出し (ETL) 機能を有効にするかどうかを指定します。詳細については、「ETL とは」をご参照ください。有効な値: [はい]: ETL 機能を設定します。コードエディタでデータ処理ステートメントを入力できます。詳細については、「データ移行またはデータ同期タスクで ETL を設定する」をご参照ください。 [いいえ]: ETL 機能を構成しません。
      監視アラート	データ移行タスクのアラートを構成するかどうかを指定します。 タスクが失敗した場合、または移行遅延が指定されたしきい値を超えた場合、アラート連絡先に通知が送信されます。 有効値: [いいえ]: アラートを構成しません。 [はい]: アラートを設定します。この場合、アラートのしきい値と アラート通知設定 も構成する必要があります。詳細については、「DTS タスクの作成時にモニタリングとアラートを構成する」セクション（モニタリングとアラートの構成に関するトピック）をご参照ください。

   3. [次のステップ: データ検証] をクリックして、データ検証タスクを構成します。

      データ検証機能の使用方法の詳細については、「データ検証タスクを構成する」をご参照ください。

6. タスク設定を保存し、事前チェックを実行します。

   • 関連する API 操作を呼び出して DTS タスクを構成するときに指定するパラメータを表示するには、次：タスク設定の保存と事前チェック にポインタを移動し、OpenAPI パラメーターのプレビュー をクリックします。

   • パラメータを表示する必要がない場合、またはすでに表示している場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • データ移行タスクを開始する前に、DTS は事前チェックを実行します。 データ移行タスクは、タスクが事前チェックに合格した後にのみ開始できます。

   • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析し、問題をトラブルシューティングします。 その後、事前チェックを再実行します。

   • 事前チェック中に項目のアラートがトリガーされた場合:

     • アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして、問題をトラブルシューティングします。 その後、事前チェックを再実行します。

     • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されるメッセージで、[OK] をクリックします。 その後、[再チェック] をクリックして、事前チェックを再実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

7. インスタンスを購入します。

   1. [成功率] が [100%] になるまで待ちます。 その後、[次へ: インスタンスの購入] をクリックします。

   2. [インスタンスの購入] ページで、データ移行インスタンスの [インスタンスクラス] パラメータを構成します。 次の表にパラメータを示します。

      セクション	パラメータ	説明
      新しいインスタンスクラス	[リソースグループ]	データ移行インスタンスが属するリソースグループ。デフォルト値: [デフォルト リソースグループ]。詳細については、「リソース管理とは」をご参照ください。
      	インスタンスクラス	DTS は、移行速度が異なるインスタンス クラスを提供します。ビジネス シナリオに基づいてインスタンス クラスを選択できます。詳細については、「データ移行インスタンスのインスタンス クラス」をご参照ください。

   3. チェックボックスをオンにして、[データ伝送サービス (従量課金制) サービス規約] を読んで同意します。

   4. [購入して開始] をクリックします。 表示されるメッセージで、[OK] をクリックします。

      [データ移行] ページでタスクの進捗状況を確認できます。

      説明

      • データ移行タスクを増分データの移行に使用できない場合、タスクは自動的に停止します。 [完了] が [ステータス] セクションに表示されます。

      • データ移行タスクを増分データの移行に使用できる場合、タスクは自動的に停止しません。 増分データ移行タスクは停止または完了しません。 [実行中] が [ステータス] セクションに表示されます。

Kafka クラスター