Data Transmission Service:セルフマネージド TiDB データベースから AnalyticDB for MySQL 3.0 へのデータ移行

方法の選択

Kafka パラメータの構成

DTS に接続する前に、以下の Kafka パラメータを増やしてください。これらの変更を行わないと、Kafka クラスターが TiDB からの大きなバイナリログペイロードを拒否する可能性があります。

Kafka クラスターの準備

以下のいずれかのオプションを使用してください。

• セルフマネージド Kafka クラスター — 独自のクラスターをデプロイします。詳細については、「Apache Kafka 公式ウェブサイト」をご参照ください。

• ApsaraMQ for Kafka インスタンス — マネージドインスタンスを作成します。詳細については、「はじめに概要」をご参照ください。インスタンスは、TiDB データベースサーバーと同じ仮想プライベートクラウド (VPC) にデプロイしてください。

Kafka クラスターの準備が整ったら、[パーティション数 1] でトピックを作成します。DTS はパーティション ID 0 からのみ読み取ります。追加のパーティションはデータ損失の原因となります。

TiDB Binlog の使用

1. TiDB データベースと同じ内部ネットワーク内のサーバーに Pump と Drainer をデプロイします。詳細については、「TiDB Binlog クラスターのデプロイ」をご参照ください。

2. Drainer 構成ファイルを編集して、Kafka クラスターを指すようにします。詳細については、「Binlog コンシューマークライアントユーザーガイド」をご参照ください。

3. TiDB サーバーが Kafka クラスターに到達できることを確認します。

4. DTS サーバーの CIDR ブロックを TiDB データベースの許可リストに追加します。詳細については、「DTS サーバーの CIDR ブロックの追加」をご参照ください。

TiCDC の使用

1. TiUP を使用して TiCDC をインストールし、TiDB クラスターに新しい TiCDC ノードを追加するか、既存のノードをスケールアウトします。詳細については、「TiCDC のデプロイと保守」をご参照ください。

2. 増分データを Kafka にレプリケートするチェンジフィードを作成します。開始コマンドとして tiup cdc cli changefeed create を使用してください。詳細については、「Kafka へのデータのレプリケート」をご参照ください。

3. TiDB サーバーが Kafka クラスターに到達できることを確認します。

ソースデータベース

• TiDB サーバーには、十分なアウトバウンド帯域幅が必要です。帯域幅が低いと、移行速度が低下します。

• 移行対象のテーブルには、PRIMARY KEY、またはすべての列が一意である UNIQUE 制約が必要です。これらの制約がないテーブルは、移行先で重複レコードを生成する可能性があります。

• 移行中にテーブルまたは列の名前を変更する場合、1 つのタスクで最大 1,000 個のテーブルをサポートします。1,000 個を超えるテーブルの場合は、移行を複数のタスクに分割するか、データベース全体を 1 つのタスクで移行してください。

• ソース TiDB データベースから増分データを移行するには、Kafka クラスターのデプロイと、増分データを収集するための関連コンポーネントのインストールが必要です。

• プレフィックスインデックスは移行できません。ソースデータベースにプレフィックスインデックスが含まれている場合、移行タスクが失敗する可能性があります。

増分移行

• DTS は、Kafka トピックのパーティション ID 0 からのみデータを読み取ります。トピックは、1 つのパーティションで構成してください。

• 増分移行タスクを作成した後は、速やかにソースデータベースで操作を実行するか、テストデータを挿入して、タスクのオフセット情報を更新してください。最初のデータイベントまでの遅延が長いと、タスクが失敗する可能性があります。

移行先とタスクの動作

• 移行先データベースでカスタムプライマリキーを指定するか、「データベース、テーブル、および列の構成」ステップで[プライマリキー列]を設定します。プライマリキーが設定されていないと、データ移行は失敗します。

• DTS タスクの実行中に AnalyticDB for MySQL 3.0 クラスターのバックアップが実行されている場合、タスクは失敗する可能性があります。

• AnalyticDB for MySQL 3.0 ノードのディスク使用率が 80% を超えると、移行タスクが遅延し、エラーが発生する可能性があります。開始前に必要なディスク容量を見積もってください。

• 完全データ移行は、ソースと移行先の両方のデータベースの負荷を増加させます。CPU 負荷が 30% 未満のオフピーク時間帯に移行を実行してください。

• 完全データ移行は、並行 INSERT 操作を使用するため、移行先テーブルでフラグメンテーションが発生します。完全移行の完了後、移行先のテーブルスペースサイズはソースより大きくなります。

• 移行中に他のソースが移行先に書き込むと、データの不整合が発生する可能性があります。

• DTS は、FLOAT と DOUBLE の値を取得するために ROUND(COLUMN,PRECISION) 関数を使用します。デフォルトの精度は、FLOAT では 38 桁、DOUBLE では 308 桁です。開始する前に、これらのデフォルトがお客様の要件を満たすことを確認してください。

• スキーマ移行中、DTS は、移行先 AnalyticDB for MySQL インスタンスへのマテリアライズドビューの移行をサポートしていません。マテリアライズドビューを使用する場合は、移行完了後に移行先インスタンスで手動で作成してください。

• DTS は、失敗したタスクを最大 7 日間、自動的に再開しようとします。 ワークロードを移行先に切り替える前に、失敗したタスクを停止または解放するか、REVOKE ステートメントを実行して DTS アカウントから書き込み権限を削除してください。 そうしないと、再開されたタスクが移行先のデータを上書きする可能性があります。

• 移行先で DDL ステートメントが失敗した場合でも、DTS タスクは実行を継続します。失敗した DDL ステートメントは、タスクログで確認してください。詳細については、「タスクログの表示」をご参照ください。

• DTS タスクが失敗した場合、DTS テクニカルサポートは 8 時間以内に復元を試みます。復元中、タスクが再起動され、タスクパラメータ (データベースパラメータではありません) が変更される場合があります。変更される可能性のあるパラメータのリストについては、「インスタンスパラメータの変更」をご参照ください。

ステップ 1：データ移行ページへの移動

DTS コンソールまたは DMS コンソールのいずれかを使用します。

DTS コンソール

1. DTS コンソール にログオンします。

2. 左側のナビゲーションペインで、[データ移行] をクリックします。

3. 左上隅で、移行インスタンスを配置するリージョンを選択します。

DMS コンソール

手順は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。

1. DMS コンソール にログオンします。

2. 上部のナビゲーションバーで、[データ + AI] > [DTS (DTS)] > [データ移行] を選択します。

3. [データ移行タスク] の右側にあるドロップダウンリストから、移行インスタンスを配置するリージョンを選択します。

ステップ 2：ソースおよび移行先データベースの構成

1. [タスクの作成] をクリックします。

2. [タスク名] を入力します。 DTS によって名前が自動的に生成されますが、後でタスクを識別しやすいように、わかりやすい名前を指定してください。

3. ソースデータベースを構成します。

   パラメータ	説明
   [既存の接続の選択]	登録されたデータベースインスタンスを選択すると、以下のパラメータが自動入力されます。空白のままにして、接続の詳細を手動で入力することもできます。
   [データベースタイプ]	[TiDB] を選択します。
   [アクセス方法]	TiDB のデプロイ場所に基づいてアクセス方法を選択します。この例では、[ECS 上のセルフマネージドデータベース] を使用します。他のアクセス方法については、最初に必要な環境を準備してください。詳細については、「準備概要」をご参照ください。
   [インスタンスリージョン]	TiDB データベースが配置されているリージョン。
   [ECS インスタンス ID]	TiDB をホストする ECS インスタンスの ID。
   [ポート番号]	TiDB サービスポート。デフォルト: [4000]。
   [データベースアカウント]	TiDB データベースアカウント。
   [データベースパスワード]	データベースアカウントのパスワード。
   [増分データの移行]	増分データ移行を行う場合は、[はい] を選択し、Kafka クラスター設定 セクションに Kafka クラスターの詳細を入力します。

4. 移行先データベースを構成します。

   パラメータ	説明
   [既存の接続の選択]	登録されたインスタンスを選択すると、以下のパラメータが自動入力されます。空白のままにして、接続の詳細を手動で入力することもできます。
   [データベースタイプ]	[AnalyticDB for MySQL 3.0] を選択します。
   [アクセス方法]	[Alibaba Cloud インスタンス] を選択します。
   [インスタンスリージョン]	移行先クラスターが配置されているリージョン。
   [インスタンス ID]	移行先 AnalyticDB for MySQL 3.0 クラスターの ID。
   [データベースアカウント]	移行先クラスターのデータベースアカウント。詳細については、「必要な権限」をご参照ください。
   [データベースパスワード]	データベースアカウントのパスワード。

5. [接続テストと続行] をクリックします。[DTS サーバーの CIDR ブロック] ダイアログボックスで、[接続テスト] をクリックします。

   DTS の CIDR ブロックは、ソースと移行先の両方のデータベースのセキュリティ設定に追加する必要があります。詳細については、「DTS サーバーの CIDR ブロックの追加」をご参照ください。

ステップ 3：移行対象オブジェクトの構成

[オブジェクトの構成] ページで、以下のパラメーターを設定します:

[次へ: 詳細設定]をクリックします。

ステップ 4：詳細設定の構成

ステップ 5：データ検証の構成 (オプション)

[次へ: データ検証] をクリックしてデータ検証タスクを設定します。詳細については、「データ検証タスクを設定する」をご参照ください。

ステップ 6：データベースとテーブルフィールドの構成 (オプション)

[次へ: データベースとテーブルフィールドの設定] をクリックして、宛先テーブルの [タイプ]、[プライマリキー列]、[分散キー]、[パーティションキー]、[パーティション分割ルール]、および [パーティションライフサイクル] を設定します。

このステップは、[スキーマ移行] が選択されている場合にのみ使用できます。[定義ステータス] を すべて に設定すると、すべてのテーブルを表示および編集できます。複合プライマリキーを形成するには、[プライマリキー列] で複数の列を指定し、1 つ以上を [分布キー] および [パーティションキー] として指定します。「CREATE TABLE」をご参照ください。

ステップ 7：事前チェックの実行

[次へ: タスク設定を保存して事前チェック] をクリックします。

このタスク設定の API パラメーターを表示するには、先に進む前にボタンにポインターを合わせ、[OpenAPI パラメーターのプレビュー] をクリックします。

DTS は、移行を開始する前に事前チェックを実行します。事前チェックが失敗した場合：

• 失敗した項目の横にある[詳細の表示]をクリックして問題を解決し、[再度事前チェック]をクリックします。

• 無視しても問題ないアラート項目については、[アラート詳細の確認] > [無視] > [OK] の順にクリックし、次に [再事前チェック] をクリックします。アラートを無視すると、データ不整合が発生する可能性があります。

ステップ 8：インスタンスの購入とタスクの開始

1. 成功率が 100% になるまで待ってから、[次へ: インスタンスの購入] をクリックします。

2. [インスタンスの購入] ページで、以下の項目を設定します。

   パラメータ	説明
   [リソースグループ]	移行インスタンスのリソースグループ。デフォルト：[デフォルトリソースグループ]。詳細については、「リソース管理とは」をご参照ください。
   [インスタンスクラス]	インスタンスクラスは移行速度を決定します。詳細については、「データ移行インスタンスのインスタンスクラス」をご参照ください。

3. [Data Transmission Service (従量課金) サービス規約] を読み、同意します。

4. [購入して開始] をクリックし、確認ダイアログで [OK] をクリックします。

[データ移行] ページでタスクの進捗を監視します。

• 増分移行のないタスクは、完了すると自動的に停止します。ステータスには [完了] と表示されます。

• 増分移行のあるタスクは継続的に実行されます。ステータスには [実行中] と表示されます。カットオーバー後に、タスクを手動で停止する必要があります。