Data Transmission Service:RDS for SQL Server から AnalyticDB for PostgreSQL へのデータ同期

ソースデータベースの制限事項

• テーブルには PRIMARY KEY または UNIQUE 制約（すべてのフィールドが一意である必要あり）が必要です。これらの制約がない場合、宛先データベースに重複レコードが発生する可能性があります。この要件を満たさないテーブルを特定するには、ソースデータベースで次のクエリを実行します。

  USE [your_database_name];
  SELECT SCHEMA_NAME(schema_id) AS schema_name, name AS table_name
  FROM sys.tables
  WHERE OBJECTPROPERTY(object_id, 'TableHasPrimaryKey') = 0
    AND OBJECTPROPERTY(object_id, 'TableHasUniqueCnst') = 0
  ORDER BY schema_name, table_name;

• 宛先側でのテーブル名変更を伴う同期の場合、1 つのタスクで最大 5,000 テーブルまでサポートされます。5,000 テーブルを超える場合は、複数のタスクを設定するか、データベースレベルで同期を行ってください。

• 1 つのタスクでサポートされるソースデータベース数は最大 10 個です。10 個を超える場合は、複数のタスクを設定してください。

• DTS はソースデータベースのログを読み取るために fn_log 関数を使用します。この関数にはパフォーマンス制限があり、タスク完了前にログをクリアしないでください。

• データログの要件：

  • バックアップモードを フル に設定し、フル物理バックアップを実行します。

  • 増分のみの同期の場合：ログを 24 時間以上保持します。

  • 完全＋増分同期の場合：ログを少なくとも 7 日間保持します。完全同期完了後は、保持期間を 24 時間以上に短縮できます。

  • これらの要件を満たさないと、タスクが失敗するほか、データの不整合やデータ損失が発生する可能性があります。これらは DTS のサービスレベルアグリーメント (SLA) の対象外です。

• テーブルに対して CDC を有効化するには、以下のすべての条件を満たす必要があります。

  • srvname フィールド（sys.sysservers ビュー）の値が、SERVERPROPERTY 関数の戻り値と一致していること。

  • 自己管理 SQL Server：データベース所有者は sa ユーザーである必要があります。ApsaraDB RDS for SQL Server：データベース所有者は sqlsa ユーザーである必要があります。

  • Enterprise Edition：SQL Server 2008 以降。

  • Standard Edition：SQL Server 2016 SP1 以降。

  • SQL Server 2017 を実行中の Standard または Enterprise Edition：新しいバージョンに更新してください。

• 読み取り専用のソースインスタンスでは、DDL 操作は同期できません。

• Web Edition を実行中の ApsaraDB RDS for SQL Server インスタンスの場合、タスク設定時に SQL Server 増分同期モード を ソースデータベースのログに基づく増分同期（ヒープテーブルは非対応） に設定してください。

• Azure SQL Database をソースとする場合：1 つのタスクで同期できるのは 1 つのデータベースのみです。

• ApsaraDB RDS for SQL Server ソース: タスクの安定性を確保するため、透過的データ暗号化 (TDE) を無効化します。手順については、「TDE の無効化」をご参照ください。

• スキーマ同期および完全データ同期中は、データベースまたはテーブルのスキーマを変更する DDL 文を実行しないでください。

• 完全データ同期中は、ソースデータベースで READ_COMMITTED_SNAPSHOT トランザクション分離レベルを使用して、共有ロックによるデータ書き込みのブロッキングを防止してください。この設定を適用しないと、データの不整合やインスタンス障害が発生する可能性があり、これらは DTS の SLA の対象外です。

DTS は、ソース ApsaraDB RDS for SQL Server インスタンス上に rdsdt_dtsacct という名前のアカウントを自動的に作成します。タスク実行中は、このアカウントを削除したりパスワードを変更したりしないでください。詳細については、「システムアカウント」をご参照ください。

スキーマ同期の制限事項

• スキーマ同期でサポートされるオブジェクトタイプ：スキーマ、テーブル、ビュー、関数、プロシージャ。

  警告

  SQL Server と AnalyticDB for PostgreSQL では異なる型システムが採用されています。一部の型では、スキーマ同期が失敗したりデータ損失が発生したりする可能性があります。進める前に、「初期スキーマ同期におけるデータ型のマッピング」をご確認ください。

• スキーマ同期でサポートされないオブジェクトタイプ：アセンブリ、サービスブローカー、フルテキストインデックス、フルテキストカタログ、分散スキーマ、分散関数、CLR ストアドプロシージャ、CLR スカラー値関数、CLR テーブル値関数、内部テーブル、システムテーブル、集計関数。

• サポートされないデータ型：CURSOR、ROWVERSION、SQL_VARIANT、HIERARCHYID、POLYGON、GEOMETRY、GEOGRAPHY、および CREATE TYPE で作成されたカスタム型。

• 計算列を持つテーブルは同期されません。

• スキーマ同期時、DTS はソースから宛先へ外部キーを同期します。完全および増分データ同期時、DTS はセッションレベルで外部キー制約チェックおよびカスケード操作を一時的に無効化します。同期中にソースでカスケード更新および削除が実行されると、データの不整合が発生する可能性があります。

増分同期の制限事項

DTS は SQL Server 向けに 3 種類の増分同期モードを提供しています。テーブルの種類およびソースデータベース環境に応じてモードを選択してください。

すべての増分同期モードに共通する制限事項：

• 同期中は、他のソースからのデータ書き込みを宛先に行わないでください。これによりデータの不整合が発生します。

• 増分同期中は、再インデックス化操作は許可されていません。再インデックス化を実行すると、タスクが失敗しデータ損失が発生する可能性があります。

• DTS は、CDC が有効化されたテーブルにおけるプライマリキー変更に関連する DDL 操作を同期できません。

• 同期対象オブジェクトを変更する際、データベースを削除することはできません。

• 同一のソース SQL Server データベースを共有する複数の DTS インスタンスの増分データ収集モジュールは、それぞれ独立して動作します。

ハイブリッドログ解析モード — 追加の制限事項：

• ソースデータベース内の CDC ジョブが正常に実行されている必要があります。そうでないと、DTS タスクが失敗します。

• ソースデータベース内で 10 分以内に複数のカラム追加または削除を実行すると、エラーが発生します。たとえば、以下のステートメントを 10 分以内に実行するとタスクが失敗します。

  ALTER TABLE test_table DROP COLUMN Flag;
  ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');

• CDC コンポーネントは、デフォルトで増分データを 3 日間保持します。保持期間を変更するには、ソースデータベースで次のコマンドを実行します。

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> は保持期間（分単位）です。1 日あたりの平均増分データ量が 1,000 万行を超える場合は、<time> を 1440 に設定してください。

• データベースレベルおよびテーブルレベルの CDC を有効化すると、SQL Server の制約によりソースデータベースで一時的なテーブルロック（数秒）が発生します。

• 1 つのタスクで CDC が有効化されたテーブル数を 1,000 以下に保ってください。これを超えると、タスクが遅延または不安定になる可能性があります。

• CDC が有効化されたテーブルの最大書き込みレートを、1 秒あたり 1,000 レコードに設定してください。

ポーリング CDC モード — 追加の制限事項：

• アカウント権限の要件：

  • データベースレベルの CDC： sysadmin ロールが必要です。

  • テーブルレベルの CDC：特権アカウントが必要です。

  • Azure SQL Database（vCore モデル）：すべてのデータベースで CDC がサポートされます。

  • Azure SQL Database（DTU モデル）：サービスティア S3 以上でのみ CDC が利用可能です。

  • Amazon RDS for SQL Server：ストアドプロシージャを介してデータベースレベルで CDC を有効化できます。

  • クラスター化列ストアインデックスでは CDC を有効化できません。

• 1 つのタスクで同期可能なテーブル数は最大 1,000 です。この上限を超えると、タスクが遅延または不安定になる可能性があります。

• CDC コンポーネントは、デフォルトで増分データを 3 日間保持します。保持期間を変更するには、ソースデータベースで次のコマンドを実行します。

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> は保持期間（分単位）です。1 日あたりの平均増分データ量が 1,000 万行を超える場合は、<time> を 1440 に設定してください。

• 1 分間に 2 回を超えるカラム追加または削除の DDL 文を実行しないでください。

• 同期中に CDC インスタンスを変更しないでください。そうしないと、タスクが失敗したりデータ損失が発生したりする可能性があります。

• データベースレベルおよびテーブルレベルの CDC を有効化すると、SQL Server の制約によりソースデータベースで一時的なテーブルロック（数秒）が発生します。

大規模フィールドデータ：

CDC が有効化されたテーブルに書き込まれる単一フィールドのサイズが 64 KB（CDC のデフォルト最大値）を超える場合、ソースデータベースで次のコマンドを実行します。

exec sp_configure 'max text repl size', -1;

プライマリキーおよび分散キーのマッピング：

• ソーステーブルにプライマリキーがある場合、宛先テーブルでは同じプライマリキー列が使用されます。

• ソーステーブルにプライマリキーがない場合、宛先テーブルでは分散キーがプライマリキーとして使用されます。

• 宛先テーブルの一意キー（プライマリキーを含む）には、分散キーのすべての列が含まれている必要があります。

1 つのタスクで CDC が有効化されたテーブル数が DTS の上限を超えると、事前チェックが失敗します。

ステップ 1：データ同期タスクページへ移動

1. Data Management (DMS) コンソール にログインします。

2. トップナビゲーションバーで、Data + AI をクリックします。

3. 左側のナビゲーションウィンドウで、DTS (DTS) ＞ データ同期 を選択します。

また、直接 データ同期タスクページ に移動することもできます。DMS コンソールのレイアウトは異なる場合があります — 詳細については、「シンプルモード」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。

ステップ 2：ソースおよび宛先データベースの構成

1. データ同期タスク ページの右側で、同期インスタンスを配置するリージョンを選択します。

   新しい DTS コンソールでは、トップナビゲーションバーでリージョンを選択します。

2. タスクの作成 をクリックします。

3. ソースデータベースを構成します。

   パラメーター	説明
   タスク名	自動生成されます。タスクを容易に識別できるように、説明的な名前を指定してください。名前は一意である必要はありません。
   既存の DMS データベースインスタンスの選択（任意）	既存のデータベースを選択すると、DTS が以下のパラメーターを自動的に埋め込みます。または、手動で構成することもできます。
   データベースタイプ	SQL Server を選択します。
   アクセス方法	Alibaba Cloud インスタンス を選択します。
   インスタンスリージョン	ソース ApsaraDB RDS for SQL Server インスタンスのリージョン。
   Alibaba Cloud アカウント間のデータ複製	同一アカウント内での同期の場合は、いいえ を選択します。
   RDS インスタンス ID	ソースインスタンスの ID。
   データベースアカウント	ソースインスタンスのアカウント。詳細については、「必要な権限」をご参照ください。
   データベースパスワード	データベースアカウントのパスワード。

4. 宛先データベースを構成します。

   パラメーター	説明
   既存の DMS データベースインスタンスの選択（任意）	既存のデータベースを選択すると、DTS が以下のパラメーターを自動的に埋め込みます。または、手動で構成することもできます。
   データベースタイプ	AnalyticDB for PostgreSQL を選択します。
   アクセス方法	Alibaba Cloud インスタンス を選択します。
   インスタンスリージョン	宛先 AnalyticDB for PostgreSQL インスタンスのリージョン。
   インスタンス ID	宛先インスタンスの ID。
   データベース名	同期されたデータを受け取るデータベースの名前。
   データベースアカウント	宛先インスタンスのアカウント。詳細については、「必要な権限」をご参照ください。
   データベースパスワード	データベースアカウントのパスワード。

5. [接続テストと続行] をクリックします。DTS は、そのサーバー CIDR ブロックを Alibaba Cloud データベースインスタンスのホワイトリストと、自己管理データベースをホストする Elastic Compute Service (ECS) インスタンスのセキュリティグループルールに自動的に追加します。データセンター内、またはサードパーティのクラウドプロバイダーによってホストされている自己管理データベースの場合、DTS サーバーの CIDR ブロックを手動で追加してください。CIDR ブロックの完全なリストについては、「DTS サーバーの CIDR ブロック」をご参照ください。

   警告

   DTS サーバーの CIDR ブロックをホワイトリストまたはセキュリティグループに追加すると、セキュリティ上のリスクが生じる可能性があります。続行する前に、認証情報の強化、公開ポートの制限、API 呼び出しの監査、ホワイトリストルールの定期的な見直し、Express Connect、VPN Gateway、Smart Access Gateway などのプライベート接続オプションの検討など、予防措置を講じてください。

ステップ 3：オブジェクトおよび同期設定の構成

ステップ 4：高度な設定の構成

次へ：高度な設定 をクリックして、以下のオプションを構成します。

同期が完了した後にデータ検証を有効化するには、「データ検証タスクの設定」をご参照ください。

ステップ 5：データベースおよびテーブルフィールドの構成（任意）

次へ：データベースおよびテーブルフィールドの構成 をクリックして、AnalyticDB for PostgreSQL に同期される各テーブルの タイプ、プライマリキー列、および 分散キー を設定します。

このステップは、スキーマ同期 が選択されている場合にのみ利用可能です。定義ステータス を すべて に設定すると、すべてのテーブルを表示および編集できます。

プライマリキー列 フィールドに複数の列を指定すると、複合プライマリキーが形成されます。1 つ以上のプライマリキー列を 分散キー 列としても指定する必要があります。詳細については、「テーブルの管理」および「テーブル分散の定義」をご参照ください。

ステップ 6：事前チェックの実行

次へ：タスク設定の保存と事前チェック をクリックします。

このタスク構成の API パラメーターをプレビューするには、次へ：タスク設定の保存と事前チェック 上にマウスを合わせ、OpenAPI パラメーターのプレビュー をクリックします。

DTS は、タスク開始前に事前チェックを実行します。

• 事前チェックが失敗した場合、各失敗項目の横にある 詳細の表示 をクリックして問題を修正し、再度事前チェックを実行してください。

• アラートがトリガーされた場合：

  • 無視できないアラート：問題を修正し、再度事前チェックを実行してください。

  • 無視可能なアラート：アラート詳細の確認 をクリックし、詳細の表示 ダイアログで 無視 をクリックし、OK をクリックしてから、再び事前チェック をクリックします。アラートを無視すると、データの不整合が発生する可能性があります。

ステップ 7：同期インスタンスの購入

成功率 が 100% になるまで待ち、次へ：インスタンスの購入 をクリックします。

Data Transmission Service (従量課金) サービス利用規約 をお読みになり、同意した上で、購入して開始 をクリックします。確認ダイアログで OK をクリックします。

タスクリストで同期の進行状況を確認できます。