Data Transmission Service:データ検証タスクの設定

使用上の注意

• クラシックネットワークにデプロイされているデータベースインスタンスでは、増分データ検証はサポートされていません。

• 複数テーブルのマージ機能が有効になっている DTS インスタンスでは、データ検証はサポートされていません。

• ステータス が 完了 のインスタンスでは、データ検証はサポートされていません。

• 検証対象のテーブルにプライマリキーも一意なインデックスも含まれず、テーブルに 10,000 行を超えるデータが含まれている場合、DTS はそのテーブルでデータ検証を実行しません。

• 検証対象のデータに主キー制約も一意制約もない場合、DTS は増分データ検証を実行しません。

• 同期または移行インスタンスを再起動 (一時停止してから開始するなど) すると、インスタンス内の完全検証タスクが再起動します。

• ターゲットテーブルが空の場合、DTS はデータ検証を実行しません。

• 検証タスクを実行する前に、ソースデータベースとターゲットデータベースのパフォーマンスを評価してください。ソースデータベースとターゲットデータベースの CPU 負荷が 30% 未満の場合など、オフピーク時間にデータ検証を実行することをお勧めします。データ検証中、DTS はソースデータベースとターゲットデータベースから読み取りリソースを消費するため、データベースの負荷が増加する可能性があります。データベースのパフォーマンスが低い、仕様が低い、またはビジネスボリュームが高い場合、データベースの負荷が増加し、データベースサービスが利用できなくなることさえあります。

• データ同期または移行インスタンスでデータ検証タスクを設定する場合、データ検証モード の有効な値は、同期タイプ または 移行タイプ で選択した値によって決まります。

  たとえば、移行タイプ で 増分データ移行 のみを選択した場合、データ検証モード の有効な値は 増分データ検証 のみです。

• 増分検証タスクは、増分同期または移行タスク中に変更されたデータのみを検証します。ターゲットデータベースで手動で変更されたデータは検証しません。

• [データ検証] ページで設定する検証タスクでは、増分検証はサポートされていません。

• 行サンプリングによるフルフィールド検証 メソッドを使用して少量のデータを検証する場合、設定したサンプリング率は有効になりません。デフォルト値は 100% です。

• MongoDB インスタンスのデータ検証を設定するときに 行サンプリングによるフルフィールド検証 を選択した場合、サンプリング率は 100% に固定されます。

• 全データ検証 で 行サンプリングによるフルフィールド検証 を選択した場合、抽出、変換、書き出し (ETL) 機能を使用しないことをお勧めします。そうしないと、ETL 機能を使用して変更されたデータが不整合データとして検出されます。

• マテリアライズドビューではデータ検証はサポートされていません。

• 完全検証タスク中に、単一のテーブルに 100,000 行を超える不整合データが含まれている場合、DTS はそのテーブルの検証を停止します。不整合データの量を減らしてから、テーブルを再度検証してください。

• 検証対象のオブジェクトに非表示の列が含まれている場合、スキーマ検証の結果に影響が出る可能性があります。

サポートされているリージョン

詳細については、「サポートされているリージョン」をご参照ください。

サポートされているシナリオ

[データ検証] ページでデータ検証タスクを設定する

1. 検証タスクリストページに移動します。次の 3 つの方法のいずれかを使用できます。

   DTS コンソール (クイックスタート) の使用

   1. DTS 検証タスクページに移動します。

   2. オプション: ページの左上隅で、検証インスタンスが存在するリージョンを選択します。

   DTS コンソール (標準) の使用

   1. Data Transmission Service (DTS) コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、データ検証 をクリックします。

   3. オプション: ページの左上隅で、検証インスタンスが存在するリージョンを選択します。

   DMS コンソールの使用

   説明

   実行する必要がある実際のステップは、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS インターフェイスのレイアウトとスタイルをカスタマイズする」をご参照ください。

   1. DMS Data Management Service にログインします。

   2. トップメニューバーで、[Data + AI] > [Data Transmission Service (DTS)] > [データ検証] を選択します。

   3. オプション: 検証タスク の右側で、検証インスタンスが配置されているリージョンを選択します。

2. 次のいずれかの方法で、データ検証タスクの設定ページに移動します。

   • データ検証タスクを購入済みの場合は、対象タスクの 操作 列にある タスクの設定 をクリックします。

     データ検証インスタンスの購入方法の詳細については、「データ検証インスタンスの購入」をご参照ください。

   • データ検証タスクを購入していない場合は、タスクの作成 をクリックします。

3. ソースデータベースとターゲットデータベースを設定します。詳細については、「データ同期ソリューションの概要」または「移行ソリューションの概要」をご参照ください。

   説明

   • 設定前に購入したタスクの インスタンスのリージョン は変更できません。

   • ソースデータベースが MongoDB シャードクラスターの場合、Shardアカウント または Shardパスワード を準備する必要はありません。

4. ページの下部で、[接続をテストして続行] をクリックします。

   説明

   • DTS サーバーからのアクセスを許可するために、DTS サーバーの CIDR ブロックがソースデータベースとターゲットデータベースのセキュリティ設定に自動または手動で追加できることを確認してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加する」をご参照ください。

   • ソースまたはターゲットデータベースが自己管理データベースであり、その アクセス方法 が Alibaba Cloud インスタンス に設定されていない場合は、DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックします。

5. データ検証モード を設定します。

   必要に応じて 1 つ以上のデータ検証モードを選択します。全データ検証 を選択した場合は、次の表で説明するパラメーターも設定する必要があります。

   説明

   • 全データ検証: 指定されたオブジェクトの完全データを検証します。

   • 構造の検証: 指定されたオブジェクトのデータベースとテーブルスキーマを検証します。

   • [データ検証] ページで設定する検証タスクでは、増分検証はサポートされていません。

   パラメーター	注
   全データ検証	行サンプリングによるフルフィールド検証: 指定された割合のデータ行のすべてのフィールドを検証します。サンプリング率を 10 から 100 までの整数に設定します。 テーブルの行数に基づく検証: 完全なデータセットの行数を検証します。実際のデータ内容は検証されません。 説明 テーブルの行数に基づく検証 モードは無料です。行サンプリングによるフルフィールド検証 モードは、検証されるデータの量に基づいて課金されます。
   全データ検証時間ルール	現在、直ちに開始 のみがサポートされています。
   全データ検証のタイムアウト設定	×: タイムアウト時に完全検証タスクは強制的に停止されません。 ○: 完全検証タスクのタイムアウト期間を設定します。タイマーはタスクの開始後に開始されます。タスクが指定された時間内に完了しない場合、強制的に停止されます。値は 1 から 72 までの整数である必要があります。
   完全な校正参照	デフォルト: ソースデータベースとターゲットデータベースの結合されたデータをベンチマークとして使用して、データ整合性を検証します。 移行元データベース: ソースデータベースをベンチマークとして使用して、データ整合性を検証します。ターゲットデータベースの余分なデータはチェックされません。 移行先データベース: ターゲットデータベースをベンチマークとして使用して、データ整合性を検証します。ソースデータベースの余分なデータはチェックされません。
   完全検証による1秒あたりのデータ読み取りの最大行数	完全データ検証はデータベースの読み取りリソースを消費します。データベースの負荷を軽減するために、必要に応じて完全検証タスクのスロットリングを設定できます。スロットリングは、1 秒あたりに読み取られるデータ行の数とデータ量を制限します。 説明 パラメーター値 0 は制限なしを示します。完全検証による1秒あたりのデータ読み取りの最大行数 と フル検証Byte/sで1秒あたりに読み取られる最大バイト数。 の両方が 0 に設定されている場合、スロットリングは無効になります。
   フル検証Byte/sで1秒あたりに読み取られる最大バイト数。

6. 検証オブジェクト を指定します。

   1. ソースデータベースで検証するオブジェクトを選択します。

      ソースオブジェクト セクションで、検証するオブジェクトを選択し、 をクリックして 選択中のオブジェクト セクションに移動します。

      説明

      ターゲットテーブルの テーブル名 と 列名 は、検証対象のオブジェクトとしてテーブルを選択した場合にのみ設定できます。

   2. ターゲットデータベースで検証するオブジェクトを設定します。

      1. 選択中のオブジェクト セクションで、移動したスキーマを右クリックします。

      2. スキーマの編集 ダイアログボックスで、ターゲットデータベースの スキーマ名 を設定し、[OK] をクリックします。

      3. 選択中のオブジェクト セクションで、[ソースオブジェクト] セクションから移動したテーブルを右クリックします。

      4. テーブルの編集 ダイアログボックスで、ターゲットテーブルの テーブル名 を設定します。

      5. オプション。列 セクションの 列名 列で、ターゲットテーブルの列名を設定します。

         説明

         すべてのテーブルを同期 の選択を解除し、検証する列を手動で選択することもできます。

      6. [OK] をクリックします。

   3. オプション。 検証アラートを設定します。

      データ検証モード に 全データ検証 を選択した場合、必要に応じて 全データ検証アラート も設定できます。

      説明

      DTS インスタンスの実行開始後、データ検証アラートを設定または変更することもできます。

      パラメーター	注
      全データ検証アラート	×: アラートを無効にします。 ○: アラートを有効にします。アラートルールを選択して設定します。アラートルールは次のとおりです。 完全データ検証タスクが失敗した場合にアラートがトリガーされます。 完全データ検証タスクからの不整合データの量が指定されたしきい値以上の場合にアラートがトリガーされます。

      重要

      検証アラートを設定し、検証タスクがアラートをトリガーしたときにアラート通知を受信したい場合は、Cloud Monitor プラットフォームでアラートメッセージのサブスクリプションも設定する必要があります。詳細については、「 Cloud Monitor プラットフォームで DTS タスクのアラートルールを設定する」をご参照ください。

7. 次へ：詳細設定 をクリックして詳細設定を行います。

   構成	説明
   タスクのスケジュールに使用する専用クラスターの選択	デフォルトでは、DTS はタスクを共有クラスターにスケジュールします。選択は不要です。DTS タスクを実行するために専用クラスターを購入することもできます。詳細については、「DTS 専用クラスターとは」をご参照ください。
   失敗した接続の再試行時間	失敗した接続のリトライ時間範囲。データ同期タスクの開始後にソースまたはターゲットデータベースへの接続に失敗した場合、DTS は時間範囲内にすぐに接続をリトライします。有効な値: 10 から 1440。単位: 分。デフォルト値: 720。このパラメーターは 30 より大きい値に設定することをお勧めします。DTS が指定された時間範囲内にソースおよびターゲットデータベースに再接続すると、DTS はデータ同期タスクを再開します。そうでない場合、データ同期タスクは失敗します。 説明 同じソースまたはターゲットデータベースを持つ複数のデータ同期タスクに異なるリトライ時間範囲を指定した場合、最も短いリトライ時間範囲が優先されます。 DTS が接続をリトライしている間、DTS インスタンスに対して課金されます。ビジネス要件に基づいてリトライ時間範囲を指定することをお勧めします。ソースおよびターゲットインスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることもできます。
   移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	その他の問題のリトライ時間範囲。たとえば、データ同期タスクの開始後に DDL または DML 操作の実行に失敗した場合、DTS は時間範囲内にすぐに操作をリトライします。有効な値: 1 から 1440。単位: 分。デフォルト値: 10。このパラメーターは 10 より大きい値に設定することをお勧めします。失敗した操作が指定された時間範囲内に正常に実行された場合、DTS はデータ同期タスクを再開します。そうでない場合、データ同期タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 パラメーターの値は、失敗した接続の再試行時間 パラメーターの値より小さくする必要があります。
   環境タグ	オプション。必要に応じて、インスタンスを識別するための環境タグを選択します。

8. タスク設定を保存し、事前チェックを実行します。

   • 関連する API 操作を呼び出して DTS タスクを設定する際に指定するパラメーターを表示するには、次：タスク設定の保存と事前チェック の上にポインターを移動し、OpenAPI パラメーターのプレビュー をクリックします。

   • パラメーターを表示する必要がない場合、または表示済みの場合は、ページの下部にある 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • 検証タスクが開始される前に、事前チェックが実行されます。検証タスクは、事前チェックに合格した後にのみ開始できます。

   • タスクが事前チェックに合格しなかった場合は、失敗した各項目の横にある [詳細の表示] をクリックします。チェック結果に基づいて原因を分析した後、問題をトラブルシューティングします。その後、再度事前チェックを実行します。

   • 事前チェック中に項目のアラートがトリガーされた場合:

     • アラート項目を無視できない場合は、失敗した項目の横にある [詳細の表示] をクリックして問題をトラブルシューティングします。その後、再度事前チェックを実行します。

     • アラート項目を無視できる場合は、[アラート詳細の確認] をクリックします。[詳細の表示] ダイアログボックスで、[無視] をクリックします。表示されるメッセージで、[OK] をクリックします。その後、[再度事前チェック] をクリックして再度事前チェックを実行します。アラート項目を無視すると、データ不整合が発生し、ビジネスに潜在的なリスクが生じる可能性があります。

9. データ検証タスクの進行状況を表示します。

   • 購入済みの検証タスク (設定前に購入) がある場合、成功率 が [100%] になったら、戻る をクリックします。

   • データ検証タスクを設定したが購入していない場合、成功率 が [100%] になったら、次：インスタンスの購入 をクリックし、Data Transmission Service (従量課金) 利用規約 を読んで選択し、購入して起動 をクリックしてから、[OK] をクリックします。

DTS 同期または移行インスタンスでデータ検証タスクを設定する

1. データ検証 ページに移動します。

   • 新しく作成された DTS インスタンスの設定方法については、「データ同期ソリューションの概要」または「移行ソリューションの概要」に記載されているトピックをご参照ください。

   • 既存の DTS インスタンスの場合:

     1. 同期または移行タスクリストページに移動します。

     2. 対象のインスタンス ID をクリックします。

     3. 基本情報 または タスク管理 ページで、検証タスクの作成 をクリックします。

2. データ検証モード を設定します。

   説明

   • 全データ検証: 完全データタスクのデータを検証します。インスタンスに増分タスクが含まれていない場合、検証はインスタンスが作成され、完全データが完全に書き込まれた後に開始されます。インスタンスに増分タスクが含まれている場合、検証はインスタンスが作成され、増分データが初めて遅延なく書き込まれた後に開始されます。

   • 増分データ検証: 増分同期または移行されたデータを検証します。データ検証は、インスタンスが作成され、増分データが初めて遅延なくターゲットデータベースに書き込まれた後に開始されます。

   • 構造の検証: 検証が必要なオブジェクトのスキーマを検証します。インスタンスに増分タスクが含まれていない場合、検証はインスタンスが作成され、テーブルスキーマと完全データが書き込まれた後に開始されます。インスタンスに増分タスクが含まれている場合、検証はインスタンスが作成され、増分データが初めて遅延なく書き込まれた後に開始されます。

   完全検証

   全データ検証 を選択した場合は、次の表で説明するパラメーターも設定する必要があります。

   パラメーター	注
   全データ検証	行サンプリングによるフルフィールド検証: 指定された割合のデータ行のすべてのフィールドを検証します。サンプリング率を 10 から 100 までの整数に設定します。 テーブルの行数に基づく検証: 完全なデータセットの行数を検証します。実際のデータ内容は検証されません。 説明 テーブルの行数に基づく検証 モードは無料です。行サンプリングによるフルフィールド検証 モードは、検証されるデータの量に基づいて課金されます。
   全データ検証時間ルール	現在、直ちに開始 のみがサポートされています。
   全データ検証のタイムアウト設定	×: タイムアウト時に完全検証タスクは強制的に停止されません。 ○: 完全検証タスクのタイムアウト期間を設定します。タイマーはタスクの開始後に開始されます。タスクが指定された時間内に完了しない場合、強制的に停止されます。値は 1 から 72 までの整数である必要があります。
   完全な校正参照	デフォルト: ソースデータベースとターゲットデータベースの結合されたデータをベンチマークとして使用して、データ整合性を検証します。 移行元データベース: ソースデータベースをベンチマークとして使用して、データ整合性を検証します。ターゲットデータベースの余分なデータはチェックされません。 移行先データベース: ターゲットデータベースをベンチマークとして使用して、データ整合性を検証します。ソースデータベースの余分なデータはチェックされません。
   完全検証による1秒あたりのデータ読み取りの最大行数	完全データ検証はデータベースの読み取りリソースを消費します。データベースの負荷を軽減するために、必要に応じて完全検証タスクのスロットリングを設定できます。スロットリングは、1 秒あたりに読み取られるデータ行の数とデータ量を制限します。 説明 パラメーター値 0 は制限なしを示します。完全検証による1秒あたりのデータ読み取りの最大行数 と フル検証Byte/sで1秒あたりに読み取られる最大バイト数。 の両方が 0 に設定されている場合、スロットリングは無効になります。
   フル検証Byte/sで1秒あたりに読み取られる最大バイト数。

   増分検証

   増分データ検証 を選択した場合は、次の表で説明するパラメーターも設定する必要があります。

   パラメーター	注
   増分検証基準	必要に応じて検証するデータ操作言語 (DML) 操作を選択できます。

3. 検証オブジェクト を指定します。

   選択中のオブジェクト セクションで、データ検証を必要としないオブジェクトを選択し、 をクリックして削除できます。

   説明

   デフォルトでは、同期または移行するオブジェクトが 選択中のオブジェクト セクションに追加されます。

4. データ検証のアラートを設定します。

   必要に応じて次のパラメーターを設定します。

   説明

   DTS インスタンスの実行開始後、データ検証アラートを設定または変更することもできます。

   パラメーター	注
   全データ検証アラート	×: アラートを無効にします。 ○: アラートを有効にします。アラートルールを選択して設定します。アラートルールは次のとおりです。 完全データ検証タスクが失敗した場合にアラートがトリガーされます。 完全データ検証タスクからの不整合データの量が指定されたしきい値以上の場合にアラートがトリガーされます。
   増分データ検証アラート	×: アラートを無効にします。 ○: アラートルールを選択して設定することでアラートを設定します。利用可能なアラートルールは次のとおりです。 増分検証タスクが失敗した場合にアラートをトリガーします。 不整合レコードの数が、指定された連続した統計期間のしきい値以上になった場合にアラートをトリガーします。期間の数、統計期間、不整合レコードのしきい値を設定します。 データ遅延が、指定された連続した統計期間のしきい値以上になった場合にアラートをトリガーします。期間の数、統計期間、遅延のしきい値を設定します。

   重要

   検証アラートを設定し、検証タスクがアラートをトリガーしたときにアラート通知を受信したい場合は、Cloud Monitor プラットフォームでアラートメッセージのサブスクリプションも設定する必要があります。詳細については、「 Cloud Monitor プラットフォームで DTS タスクのアラートルールを設定する」をご参照ください。

5. プロンプトに従い、関連する設定ドキュメントを参照して、後続の設定を完了します。

アラートルールの変更

1. [データ検証] ページに移動します。次の 3 つの方法のいずれかを使用できます。

   説明

   DTS 同期または移行インスタンスでデータ検証タスクを設定した場合、対応する同期または移行タスクリストページに移動することもできます。

   DTS コンソール (クイックスタート) の使用

   1. DTS 検証タスクページに移動します。

   2. オプション: ページの左上隅で、検証インスタンスが存在するリージョンを選択します。

   DTS コンソール (標準) の使用

   1. Data Transmission Service (DTS) コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、データ検証 をクリックします。

   3. オプション: ページの左上隅で、検証インスタンスが存在するリージョンを選択します。

   DMS コンソールの使用

   説明

   実行する必要がある実際のステップは、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS インターフェイスのレイアウトとスタイルをカスタマイズする」をご参照ください。

   1. DMS Data Management Service にログインします。

   2. トップメニューバーで、[Data + AI] > [Data Transmission Service (DTS)] > [データ検証] を選択します。

   3. オプション: 検証タスク の右側で、検証インスタンスが配置されているリージョンを選択します。

2. 対象の検証タスクの 操作 列で、 > アラート設定 を選択します。

   説明

   対象のインスタンス ID をクリックし、左側のナビゲーションウィンドウで アラート設定 をクリックすることもできます。

3. 対象メトリックの 操作 列で、編集 をクリックします。

   • 完全データ検証

     • 全データ検証ステータス

     • 全データ検証不整合

   • 増分データ検証

     • 増分データ検証ステータス

     • 増分データ検証遅延

     • 増分データ検証不整合

4. 必要な変更を行った後、[OK] をクリックします。

関連 API 操作

よくある質問

• 名前マッピング機能を使用して変更されたデータベース、テーブル、列名は、不整合データとして検証されますか？

  データ検証機能は、データベースとテーブルの名前マッピング機能と互換性があります。この機能を使用してデータベース、テーブル、列名を変更した場合、変更された列名のみが不整合データとして検出されます。データベース名とテーブル名は検出されません。

• テーブルに非表示の列が含まれている場合、スキーマ検証タスクの結果はどうなりますか？

  スキーマ検証タスクは列の位置を検証します。検証対象のテーブルに非表示の列が含まれている場合、他の列の位置が影響を受ける可能性があります。検証対象の列の位置がソースデータベースとターゲットデータベースで異なる場合、DTS はスキーマの不整合を報告します。

• DTS インスタンスで検証モードを選択できないのはなぜですか？

  現在のインスタンスが対応するデータ検証モードをサポートしていないか、オブジェクト設定 ステップで対応する 同期タイプ または 移行タイプ が選択されていなかった可能性があります。

• フィルター条件機能によってフィルター処理されたデータは、不整合データとして検証されますか？

  • 完全データ検証: いいえ。完全データ検証は フィルタリング条件 機能をサポートしています。

  • 増分データ検証: いいえ。増分データ検証は フィルタリング条件 機能をサポートしています。(ソースデータベースの データベースタイプ が MongoDB である増分タスクは、フィルタリング条件 機能をサポートしていません。)