Data Transmission Service:自己管理 TiDB データベースから AnalyticDB for MySQL V3.0 クラスタへのデータ同期

前提条件

• 宛先 AnalyticDB for MySQL V3.0 クラスタが作成されている。このクラスタの使用可能なストレージ容量は、ソース TiDB データベースのデータの合計サイズよりも大きい。詳細については、「クラスタを作成する」をご参照ください。

• デフォルトでは、データ同期タスクには増分データ同期が含まれます。 TiDB データベースから増分データを同期する場合、増分データを収集するための準備を行います。詳細については、このトピックの準備セクションをご参照ください。

準備

以下のいずれかの方法を使用して、TiDB データベースから増分データを収集できます。

使用方法

課金

増分同期をサポートする SQL 操作

データベースアカウントに必要な権限

手順

1. 以下のいずれかの方法を使用してデータ同期ページに移動し、データ同期インスタンスが存在するリージョンを選択します。

   DTS コンソール

   1. DTS コンソール にログインします。

   2. 左側のナビゲーションウィンドウで、データ同期 をクリックします。

   3. ページの左上隅で、データ同期タスクが存在するリージョンを選択します。

   DMS コンソール

   説明

   実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。 詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。

   1. DMS コンソール にログインします。

   2. 上部のナビゲーションバーで、[データ + AI] にポインタを移動し、[DTS (DTS)] > [データ同期] を選択します。

   3. データ同期タスク の右側のドロップダウンリストから、データ同期インスタンスが存在するリージョンを選択します。

2. タスクの作成 をクリックして、タスク構成ページに移動します。

3. ソースデータベースとターゲットデータベースを構成します。 次の表にパラメータを示します。

   セクション	パラメータ	説明
   該当なし	タスク名	DTS タスクの名前。 DTS はタスク名を自動的に生成します。 タスクを識別しやすい説明的な名前を指定することをお勧めします。 一意のタスク名を指定する必要はありません。
   移行元データベース	DMS データベースインスタンスの選択	使用するデータベース。 業務要件に基づいて既存のデータベースを使用するかどうかを選択できます。 既存のデータベースを選択すると、DTS はデータベースのパラメータを自動的に入力します。 既存のデータベースを選択しない場合は、以下のデータベース情報を構成する必要があります。 説明 DMS コンソールで、DMS データベースインスタンスの追加 をクリックして、データベースを DMS に登録できます。 詳細については、「Alibaba Cloud データベースインスタンスを登録する」および「サードパーティクラウドサービスまたは自己管理データベースでホストされているデータベースを登録する」をご参照ください。 DTS コンソールで、データベース接続 ページまたは新しい構成ページでデータベースを DTS に登録します。 詳細については、「データベース接続を管理する」をご参照ください。
   	データベースタイプ	ソースデータベースの種類。 TiDB を選択します。
   	アクセス方法	ソースデータベースのアクセス方法。 TiDB データベースのデプロイ場所に基づいてアクセス方法を選択します。 この例では、ECS 上の自己管理データベース を選択します。 説明 このパラメータを他の値に設定する場合は、データ同期前に自己管理データベースに必要な環境を準備する必要があります。 詳細については、「準備の概要」をご参照ください。
   	インスタンスのリージョン	TiDB データベースが存在するリージョン。
   	ECS インスタンス ID	TiDB データベースをホストする ECS インスタンスの ID。 デフォルト値: 4000。
   	ポート番号	TiDB データベースのサービスポート番号。
   	データベースアカウント	TiDB データベースのアカウント。 アカウントに必要な権限の詳細については、このトピックの「データベースアカウントに必要な権限」セクションをご参照ください。
   	データベースのパスワード	データベースへのアクセスに使用するパスワード。
   	増分データの移行	このパラメータはデフォルトで ○ に設定されています。 このパラメータの値を変更することはできません。 説明 TiDB データベースから増分データを同期したくない場合は、データ移行タスクを作成します。 詳細については、「自己管理 TiDB データベースから AnalyticDB for MySQL V3.0 クラスタにデータを移行する」をご参照ください。
   	Kafka クラスタータイプ	Kafka クラスタのタイプ。 Kafka クラスタのデプロイ場所に基づいて、このパラメータを構成します。 この例では、ECS 上の自己管理データベース を選択します。 説明 Express Connect、VPN Gateway、または Smart Access Gateway を選択する場合は、接続中の VPC ドロップダウンリストから VPC を選択し、ドメイン名または IP アドレス を指定する必要もあります。
   	Kafka データソースコンポーネント	行った準備に基づいて、TiDB のデフォルト binlog 形式を使用する または TiDB CDC モードの Canal-JSON 形式を使用する を選択します。
   	ECS インスタンス ID	Kafka クラスタが属する ECS インスタンスの ID。
   	ポート番号	Kafka クラスタのサービスポート。
   	Kafka クラスターアカウント	Kafka クラスタのユーザー名とパスワード。 Kafka クラスタで認証が有効になっていない場合は、このパラメータを構成する必要はありません。
   	Kafka クラスターのパスワード
   	Kafka のバージョン	Kafka クラスタのバージョン。 説明 Kafka クラスタのバージョンが 1.0 以降の場合は、1.0 を選択します。
   	暗号化	Kafka クラスタへの接続を暗号化するかどうかを指定します。 ビジネスとセキュリティの要件に基づいて、非暗号化 または SCRAM-SHA-256 を選択します。
   	トピック	増分データが属するトピック。
   移行先データベース	DMS データベースインスタンスの選択	使用するデータベース。 業務要件に基づいて既存のデータベースを使用するかどうかを選択できます。 既存のデータベースを選択すると、DTS はデータベースのパラメータを自動的に入力します。 既存のデータベースを選択しない場合は、以下のデータベース情報を構成する必要があります。 説明 DMS コンソールで、DMS データベースインスタンスの追加 をクリックして、データベースを DMS に登録できます。 詳細については、「Alibaba Cloud データベースインスタンスを登録する」および「サードパーティクラウドサービスまたは自己管理データベースでホストされているデータベースを登録する」をご参照ください。 DTS コンソールで、データベース接続 ページまたは新しい構成ページでデータベースを DTS に登録します。 詳細については、「データベース接続を管理する」をご参照ください。
   	データベースタイプ	ターゲットデータベースの種類。 AnalyticDB for MySQL 3.0 を選択します。
   	アクセス方法	ターゲットデータベースのアクセス方法。 Alibaba Cloud インスタンス を選択します。
   	インスタンスのリージョン	ターゲット AnalyticDB for MySQL V3.0 クラスタが存在するリージョン。
   	インスタンス ID	ターゲット AnalyticDB for MySQL V3.0 クラスタの ID。
   	データベースアカウント	ターゲット AnalyticDB for MySQL V3.0 クラスタのデータベースアカウント。 アカウントに必要な権限の詳細については、このトピックの「データベースアカウントの権限要件」セクションをご参照ください。
   	データベースのパスワード	データベースへのアクセスに使用するパスワード。

4. ページの下部にある 接続をテストして続行 をクリックします。 DTS サーバーの CIDR ブロック ダイアログボックスで、接続テスト をクリックします。

   説明

   DTS サーバーの CIDR ブロックをソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加して、DTS サーバーからのアクセスを許可できることを確認してください。 詳細については、「DTS サーバーの CIDR ブロックを追加する」をご参照ください。

5. 同期するオブジェクトを構成します。

   1. オブジェクト設定 ステップで、同期するオブジェクトを構成します。

      パラメータ	説明
      同期タイプ	同期タイプ。 デフォルトでは、[増分データ同期] が選択されています。 [スキーマ同期] と [完全データ同期] も選択する必要があります。 事前チェックが完了すると、DTS は選択したオブジェクトの既存データをソースデータベースからターゲットクラスタに同期します。 既存データは、後続の増分同期の基礎となります。
      競合するテーブルの処理モード	エラーの事前チェックと報告: ターゲットデータベースにソースデータベースのテーブルと同じ名前のテーブルが含まれているかどうかを確認します。 ソースデータベースとターゲットデータベースに同一のテーブル名のテーブルが含まれていない場合、事前チェックは合格です。 それ以外の場合、事前チェック中にエラーが返され、データ同期タスクを開始できません。 説明 ソースデータベースとターゲットデータベースに同じ名前のテーブルが含まれていて、ターゲットデータベースのテーブルを削除または名前変更できない場合は、オブジェクト名マッピング機能を使用して、ターゲットデータベースに同期されるテーブルの名前を変更できます。 詳細については、「オブジェクト名をマッピングする」をご参照ください。 エラーを無視して続行: ソースデータベースとターゲットデータベースの同一のテーブル名の事前チェックをスキップします。 警告 エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。 ソースデータベースとターゲットデータベースのスキーマが同じで、ターゲットデータベースのデータレコードのプライマリキー値または一意キー値がソースデータベースのデータレコードと同じである場合: 完全データ同期中、DTS はデータレコードをターゲットデータベースに同期しません。 ターゲットデータベースの既存のデータレコードは保持されます。 増分データ同期中、DTS はデータレコードをターゲットデータベースに同期します。 ターゲットデータベースの既存のデータレコードは上書きされます。 ソースデータベースとターゲットデータベースのスキーマが異なる場合、データの初期化に失敗する可能性があります。 この場合、一部の列のみが同期されるか、データ同期インスタンスが失敗します。 慎重に進んでください。
      移行先インスタンスでのオブジェクト名の大文字化	ターゲットインスタンスのデータベース名、テーブル名、および列名の大文字と小文字の区別。 デフォルトでは、[DTS デフォルトポリシー] が選択されています。 オブジェクト名の大文字と小文字の区別がソースデータベースまたはターゲットデータベースと一致するように、他のオプションを選択できます。 詳細については、「ターゲットインスタンスのオブジェクト名の大文字小文字を指定する」をご参照ください。
      ソースオブジェクト	ソースオブジェクト セクションから 1 つ以上のオブジェクトを選択し、 アイコンをクリックして、選択中のオブジェクト セクションにオブジェクトを追加します。 説明 データベースまたはテーブルを同期するオブジェクトとして選択できます。
      選択中のオブジェクト	ターゲットインスタンスに同期するオブジェクトの名前を変更するには、選択中のオブジェクト セクションでオブジェクトを右クリックします。 詳細については、「オブジェクト名をマッピングする」トピックの「単一オブジェクトの名前をマッピングする」セクションをご参照ください。 複数のオブジェクトの名前を一度に変更するには、選択中のオブジェクト セクションの右上隅にある 一括編集 をクリックします。 詳細については、「オブジェクト名をマッピングする」トピックの「一度に複数のオブジェクト名をマッピングする」セクションをご参照ください。 説明 WHERE 条件を指定してデータをフィルタリングするには、選択中のオブジェクト セクションでテーブルを右クリックします。 表示されるダイアログボックスで、条件を指定します。 詳細については、「フィルタ条件を指定する」をご参照ください。 オブジェクト名マッピング機能を使用してオブジェクトの名前を変更すると、そのオブジェクトに依存する他のオブジェクトの同期に失敗する可能性があります。

   2. 次へ：詳細設定 をクリックして、詳細設定を構成します。

      パラメータ	説明
      失敗した接続の再試行時間	接続失敗時の再試行時間の範囲。 データ同期タスクの開始後にソースデータベースまたはターゲットデータベースへの接続に失敗した場合、DTS は指定された時間内にすぐに再接続を試みます。 有効値: 10 ～ 1440。 単位: 分。 デフォルト値: 720。 このパラメータは 30 より大きい値に設定することをお勧めします。 DTS が指定された時間内にソースデータベースとターゲットデータベースに再接続すると、DTS はデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。 説明 同じソースデータベースまたはターゲットデータベースを持つ複数のデータ同期タスクに異なる再試行時間の範囲を指定すると、最も短い再試行時間の範囲が優先されます。 DTS が再接続を試みると、DTS インスタンスの料金が発生します。 ビジネス要件に基づいて再試行時間の範囲を指定することをお勧めします。 また、ソースインスタンスとターゲットインスタンスが解放された後、できるだけ早く DTS インスタンスを解放することもできます。
      移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題の再試行時間の範囲。 たとえば、データ同期タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS は指定された時間内にすぐに操作を再試行します。 有効値: 1 ～ 1440。 単位: 分。 デフォルト値: 10。 このパラメータは 10 より大きい値に設定することをお勧めします。 指定された時間内に失敗した操作が正常に実行されると、DTS はデータ同期タスクを再開します。 それ以外の場合、データ同期タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメータの値は、失敗した接続の再試行時間 パラメータの値よりも小さい必要があります。
      完全同期レートを制限するかどうか	完全データ同期中、DTS はソースデータベースとターゲットデータベースの読み取りおよび書き込みリソースを使用します。 これにより、データベースサーバーの負荷が増加する可能性があります。 ターゲットデータベースサーバーの負荷を軽減するために、完全データ同期タスクの 1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS パラメータを構成できます。 説明 同期タイプ パラメータで 完全データ同期 が選択されている場合にのみ、このパラメータを構成できます。
      増分同期率を制限するかどうか	増分データ同期のスロットリングを有効にするかどうかを指定します。 ビジネス要件に基づいて、増分データ同期のスロットリングを有効にできます。 スロットリングを構成するには、1 秒あたりの増分同期の行数 RPS および 1 秒あたりの増分同期データ量 (MB) BPS パラメータを構成する必要があります。 これにより、ターゲットデータベースサーバーの負荷が軽減されます。
      環境タグ	DTS インスタンスを識別するために使用される環境タグ。 ビジネス要件に基づいて環境タグを選択できます。 この例では、このパラメータを構成する必要はありません。
      ETL の設定	抽出、変換、書き出し (ETL) 機能を有効にするかどうかを指定します。 詳細については、「ETL とは」をご参照ください。 有効値: [はい]: ETL 機能を構成します。 コードエディタにデータ処理文を入力できます。 詳細については、「データ移行タスクまたはデータ同期タスクで ETL を構成する」をご参照ください。 [いいえ]: ETL 機能を構成しません。
      監視アラート	データ同期インスタンスのアラートを構成するかどうかを指定します。 タスクが失敗した場合、または同期遅延が指定されたしきい値を超えた場合、アラート連絡先に通知が送信されます。 有効値: [いいえ]: アラートを有効にしません。 [はい]: アラートを構成します。 この場合、アラートのしきい値と アラート通知設定 も構成する必要があります。 詳細については、「監視とアラートを構成する」トピックの「DTS タスクの作成時に監視とアラートを構成する」セクションをご参照ください。

   3. [次のステップ: データ検証] をクリックして、データ検証を構成します。

      データ検証機能の使用方法の詳細については、「データ検証タスクを構成する」をご参照ください。

   4. オプション。 次：データベースおよびテーブルのフィールド設定 をクリックします。 表示されるページで、ターゲット AnalyticDB for MySQL V3.0 クラスタに同期するテーブルの タイプ、プライマリキー列の追加、配布キー、および [パーティションキー]、[パーティションルール]、[パーティションライフサイクル] などのパーティションキーパラメータを構成します。

      説明

      • このステップは、[同期タイプ] で [スキーマ同期] を選択した場合にのみ使用できます。 定義ステータス を すべて に設定してから、データベースとテーブルのフィールドを変更できます。

      • プライマリキー列の追加 フィールドでは、複数の列を指定して複合プライマリキーを形成できます。 この場合、1 つ以上のプライマリキー列を 配布キー および [パーティションキー] として指定する必要があります。 詳細については、「CREATE TABLE」をご参照ください。

6. タスク設定を保存し、事前チェックを実行します。

   • DTS タスクを構成するために関連 API 操作を呼び出すときに指定するパラメータを表示するには、次：タスク設定の保存と事前チェック にポインタを移動し、OpenAPI パラメーターのプレビュー をクリックします。

   • パラメータを表示する必要がない場合、またはすでに表示している場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • データ同期タスクを開始する前に、DTS は事前チェックを実行します。 データ同期タスクは、タスクが事前チェックに合格した後にのみ開始できます。

   • データ同期タスクが事前チェックに失敗した場合は、失敗した各項目の横にある [詳細の表示] をクリックします。 チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。 その後、事前チェックを再実行します。

   • 事前チェック中に項目のアラートがトリガーされた場合:

     • アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして、問題をトラブルシューティングします。 その後、事前チェックを再実行します。

     • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。 [詳細の表示] ダイアログボックスで、[無視] をクリックします。 表示されるメッセージで、[OK] をクリックします。 その後、[再チェック] をクリックして、事前チェックを再実行します。 アラート項目を無視すると、データの不整合が発生し、ビジネスが潜在的なリスクにさらされる可能性があります。

7. インスタンスを購入します。

   1. [成功率] が [100%] になるまで待ちます。 その後、[次へ: インスタンスの購入] をクリックします。

   2. [購入] ページで、データ同期タスクの課金方法とインスタンスクラスのパラメータを構成します。 次の表にパラメータを示します。

      セクション	パラメータ	説明
      新しいインスタンスクラス	課金方法	サブスクリプション: データ同期インスタンスを作成するときにサブスクリプションの料金を支払います。 サブスクリプション課金方法は、長期使用の場合、従量課金方法よりも費用対効果が高くなります。 従量課金: 従量課金インスタンスは 1 時間単位で課金されます。 従量課金方法は、短期使用に適しています。 従量課金データ同期インスタンスが不要になった場合は、インスタンスを解放してコストを削減できます。
      	リソースグループ設定	データ同期インスタンスが属するリソースグループ。 デフォルト値: [デフォルトのリソースグループ]。 詳細については、「リソース管理とは」をご参照ください。
      	インスタンスクラス	DTS は、同期速度が異なるインスタンスクラスを提供します。 ビジネス要件に基づいてインスタンスクラスを選択できます。 詳細については、「データ同期インスタンスのインスタンスクラス」をご参照ください。
      	サブスクリプション期間	サブスクリプション課金方法を選択した場合は、サブスクリプション期間と作成するデータ同期インスタンスの数を指定します。 サブスクリプション期間は、1 ～ 9 か月、1 年、2 年、3 年、または 5 年にすることができます。 説明 このパラメータは、サブスクリプション 課金方法を選択した場合にのみ使用できます。

   3. [データ伝送サービス (従量課金) サービス規約] を読んで選択します。

   4. [購入して開始] をクリックします。 表示されるダイアログボックスで、OK をクリックします。

      タスクリストでタスクの進捗状況を確認できます。