Data Transmission Service:自己管理 TiDB データベースから ApsaraDB RDS for MySQL インスタンスへのデータ移行

方法 1：TiDB Binlog

ネットワーク遅延を最小限に抑えるため、ソースデータベースサーバー、Pump、Drainer、および Kafka クラスターを同一の内部ネットワーク上にデプロイしてください。

1. 以下のいずれかのオプションを使用して Kafka クラスターを準備します。

   • 自己管理 Kafka クラスター：「Apache Kafka ドキュメント」を参照してください。ブローカー側で message.max.bytes および replica.fetch.max.bytes を、コンシューマー側で fetch.message.max.bytes を、TiDB のバイナリログ量を処理できる十分な値に設定してください。構成の詳細については、「CONFIGURATION」をご参照ください。

   • ApsaraMQ for Kafka インスタンス：「Getting started overview」を参照してください。ソースデータベースサーバーと同じ VPC 上にインスタンスをデプロイしてください。

2. Kafka クラスターまたは ApsaraMQ for Kafka インスタンス内にトピックを作成します。

   重要

   トピックにはパーティションが 1 つだけ存在する必要があります。DTS は ID が 0 のパーティションからのみ増分データを読み取ります。

3. Pump および Drainer をデプロイします。詳細については、「TiDB Binlog クラスターデプロイ」をご参照ください。

4. Drainer の設定ファイルを編集し、Kafka クラスターを指すように設定します。詳細については、「Binlog コンシューマークライアント ユーザーガイド」をご参照ください。

   TiDB データベースサーバーが Kafka クラスターに接続できることを確認してください。

5. DTS サーバーの CIDR ブロックを TiDB データベースのホワイトリストに追加します。詳細については、「DTS サーバーの CIDR ブロックの追加」をご参照ください。

方法 2：TiCDC

1. 以下のいずれかのオプションを使用して Kafka クラスターを準備します。

   • 自己管理 Kafka クラスター：「Apache Kafka ドキュメント」を参照してください。ブローカー側で message.max.bytes および replica.fetch.max.bytes を、コンシューマー側で fetch.message.max.bytes を、TiDB のバイナリログ量を処理できる十分な値に設定してください。構成の詳細については、「CONFIGURATION」をご参照ください。

   • ApsaraMQ for Kafka インスタンス：「Getting started overview」を参照してください。ソースデータベースサーバーと同じ VPC 上にインスタンスをデプロイしてください。

2. Kafka クラスターまたは ApsaraMQ for Kafka インスタンス内にトピックを作成します。

   重要

   トピックにはパーティションが 1 つだけ存在する必要があります。DTS は ID が 0 のパーティションからのみ増分データを読み取ります。

3. TiCDC をインストールします。TiUP を使用して、TiDB クラスターに新しい TiCDC ノードを追加するか、既存の TiCDC ノードをスケールアウトすることを推奨します。詳細については、「TiCDC のデプロイと保守」をご参照ください。

4. ソース TiDB データベースの増分データを Kafka にレプリケートします。最初のコマンドラインで tiup cdc cli changefeed create \ を使用することを推奨します。詳細については、「Kafka へのデータレプリケーション」をご参照ください。

   TiDB データベースサーバーが Kafka クラスターに接続できることを確認してください。

ステップ 1：データ移行ページへ移動

以下のいずれかのコンソールを使用します。

DTS コンソール：

1. DTS コンソール にログインします。

2. 左側のナビゲーションウィンドウで、データ移行 をクリックします。

3. 画面左上隅で、移行インスタンスが配置されているリージョンを選択します。

Data Management Service (DMS) コンソール：

実際の手順は、DMS コンソールのモードおよびレイアウトによって異なります。「シンプルモード」および「DMS コンソールのレイアウトおよびスタイルのカスタマイズ」をご参照ください。

1. DMS コンソール にログインします。

2. 上部のナビゲーションバーで、Data + AI > DTS (DTS) > データ移行 の順に移動します。

3. データ移行タスク の横にあるドロップダウンリストから、移行インスタンスが配置されているリージョンを選択します。

ステップ 2：タスクの作成およびソース／ターゲットデータベースの設定

1. タスクの作成 をクリックします。

2. 以下のパラメーターを使用して、ソースおよびターゲットデータベースを設定します。

タスク設定：

ソースデータベース：

ターゲットデータベース：

ステップ 3：接続性のテスト

ページ下部で、接続性のテストと続行 をクリックし、DTS サーバーの CIDR ブロック ダイアログボックスで 接続性のテスト をクリックします。

DTS サーバーの CIDR ブロックは、ソースおよびターゲットデータベースのセキュリティ設定に（自動または手動で）追加する必要があります。「DTS サーバーの CIDR ブロックの追加」をご参照ください。

ステップ 4：移行対象オブジェクトの設定

オブジェクトの設定 ページで、以下のパラメーターを設定します。

パラメーター	説明
移行タイプ	選択した移行パスに基づいて移行タイプを選択します。- スキーマ移行 + 完全なデータ移行：完全移行のみ。- スキーマ移行 + 完全なデータ移行 + 増分データ移行：ゼロダウンタイム移行のための完全移行 + 増分移行。 説明 スキーマ移行 をスキップする場合は、タスク開始前にターゲットデータベースおよびテーブルを作成し、選択済みオブジェクト でオブジェクト名マッピングを有効化してください。増分データ移行 をスキップする場合は、データ整合性を保つため、移行中にソースデータベースへの書き込みを停止してください。
競合するテーブルの処理モード	事前チェックおよびエラー報告（推奨）：ソースおよびターゲットに同名のテーブルが存在する場合、事前チェックが失敗します。競合するテーブルの名前を変更するには、オブジェクト名マッピングを使用してください。「オブジェクト名のマッピング」をご参照ください。エラーを無視して続行：同名のテーブルに対する事前チェックをスキップします。注意して使用してください。これにより、データの不整合が発生する可能性があります。完全移行中は、ターゲットに既存のレコードが保持されます。増分移行中は、既存のレコードが上書きされます。スキーマが異なる場合、特定のカラムのみが移行されるか、タスクが失敗する可能性があります。
ターゲットインスタンスにおけるオブジェクト名の大文字小文字の処理	ターゲットにおけるデータベース名、テーブル名、カラム名の大文字小文字の処理を制御します。DTS のデフォルトポリシー がデフォルトで選択されています。「ターゲットインスタンスにおけるオブジェクト名の大文字小文字の指定」をご参照ください。
ソースオブジェクト	ソースオブジェクト セクションからテーブルまたはデータベースを選択し、 をクリックして 選択済みオブジェクト に追加します。
選択済みオブジェクト	- 単一オブジェクトの名前を変更するには、選択済みオブジェクト 内で右クリックします。「単一オブジェクトの名前のマッピング」をご参照ください。- 複数のオブジェクトを一度に名前変更するには、一括編集 をクリックします。「複数のオブジェクト名を一度にマッピング」をご参照ください。- 行をフィルターするには、テーブルを右クリックし、「フィルター条件の指定」を行います。 説明 オブジェクトの名前を変更すると、それらに依存する他のオブジェクトが破損する可能性があります。

ステップ 5：高度な設定の構成

次へ：高度な設定 をクリックし、以下のパラメーターを設定します。

ステップ 6：データ検証の構成（任意）

次のステップ：データ検証 をクリックして、データ検証タスクを設定します。詳細については、「データ検証タスクの構成」をご参照ください。

ステップ 7：設定の保存および事前チェックの実行

• このタスクをプログラムで構成するための API パラメーターをプレビューするには、次へ：タスク設定の保存および事前チェック の上にカーソルを合わせて、OpenAPI パラメーターのプレビュー をクリックします。

• 続行するには、次へ：タスク設定の保存および事前チェック をクリックします。

移行開始前に DTS が事前チェックを実行します。事前チェックが通過するまで、タスクは開始できません。

事前チェックが失敗した場合は、失敗項目の横にある 詳細の表示 をクリックし、問題を解決してから 再チェック をクリックしてください。

事前チェックのアラートについて：無視できないアラートの場合は、問題を修正して再チェックを実行してください。無視できるアラートの場合は、アラートの詳細の確認 をクリックし、その後 無視、OK、再チェック の順にクリックしてください。アラートを無視すると、データの不整合が発生する可能性があります。

ステップ 8：インスタンスの購入および移行の開始

1. 成功率 が 100 % に達したら、次へ：インスタンスの購入 をクリックします。

2. インスタンスの購入 ページで、以下のパラメーターを設定します。

   パラメーター	説明
   リソースグループ	移行インスタンスのリソースグループ。デフォルト: デフォルト リソースグループ。「Resource Management とは？
   インスタンスクラス	移行速度はインスタンスクラスに依存します。「データ移行インスタンスのインスタンスクラス」を参照して、ワークロードに適したクラスを選択してください。

3. Data Transmission Service (従量課金) サービス利用規約 を確認し、チェックボックスをオンにして同意してください。

4. 購入および開始 をクリックし、確認ダイアログで OK をクリックします。

データ移行 ページでタスクを監視します。

• 完全移行のみ：タスクは完了時に自動的に停止します。ステータス は 完了 と表示されます。

• 完全移行 + 増分移行：タスクは継続して実行されます。ステータス は 実行中 と表示されます。