Data Transmission Service:MySQL の ApsaraDB RDS インスタンスから MaxCompute プロジェクトへのデータ同期

ソースデータベースの要件

• テーブルには、すべてのフィールドが一意である PRIMARY KEY または一意制約（UNIQUE constraint）が必要です。これを満たさない場合、ターゲット側に重複レコードが発生する可能性があります。

• カラム名またはテーブル名の変更を伴うテーブルを同期する場合、1 つのタスクで最大 1,000 個のテーブル までサポートされます。1,000 個を超えるテーブルを同期するタスクを実行すると、リクエストエラーが発生します。その場合は、複数のタスクを使用するか、データベース単位での同期を実行してください。

• スキーマ同期および完全なデータ同期中に DDL ステートメントを実行しないでください。実行すると、タスクが失敗します。

• カスケード操作や物理バックアップの復元によって生成されたデータは同期されません。

• ソースが MySQL 8.0.23 以降を実行しており、テーブルに不可視カラム（invisible column）が含まれている場合、これらのカラムは除外され、データ損失が発生します。タスク開始前に、ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE; を実行してカラムを可視化してください。プライマリキーを持たないテーブルには自動的に不可視のプライマリキーが付与されるため、それらも可視化する必要があります。「不可視カラム」および「生成された不可視プライマリキー」をご参照ください。

バイナリログの要件

タスクを作成する前に、以下の MySQL パラメーターを設定してください。

バイナリログの保持期間に関する要件：

• ApsaraDB RDS for MySQL：最低 3 日間、推奨は 7 日間。

• セルフマネージド MySQL: バイナリログを最低7日間保持する。

DTS による読み取りの前にバイナリログが消去されると、タスクは失敗し、データの不整合や損失が発生する可能性があります。保持期間の設定方法については、「バイナリログファイルの削除」をご参照ください。

その他の制限事項

• 非ピーク時間帯に同期を実行してください。完全なデータ同期では、ソースおよびターゲット両方の読み取り・書き込みリソースが使用されるため、サーバー負荷が増加します。

• 完全なデータ同期完了後、同時 INSERT 操作による断片化（fragmentation）の影響で、ターゲットの表領域（tablespace）がソースよりも大きくなります。

• タスク実行中に、同期対象オブジェクトに対して pt-online-schema-change などのオンライン DDL ツールを実行しないでください。タスクが失敗します。

• 同期中に、他のソースからターゲットへデータを書き込むと、データの不整合が発生する可能性があります。

• ソースで EncDB が有効になっている場合、完全なデータ同期はサポートされません。透過的データ暗号化（TDE）にはこの制限はなく、TDE インスタンスではスキーマ同期、完全なデータ同期、および増分同期がすべてサポートされます。

• DTS タスクが失敗した場合、DTS テクニカルサポートが 8 時間以内に復旧を試みます。この期間中、タスクを再起動したり、タスクパラメーター（データベースパラメーターではない）を変更したりできます。

自己管理 MySQL の特殊ケース

• タスク実行中にプライマリ/セカンダリ スイッチオーバーが発生すると、タスクが失敗します。

• 同期遅延（latency）は、ターゲット側で最新に同期されたデータのタイムスタンプと、現在のソース側タイムスタンプとの差分で算出されます。ソース側で長期間 DML 操作が実行されない場合、表示される遅延値が不正確になることがあります。遅延値を更新するには、ソース側で任意の DML 操作を実行してください。データベース全体を同期する場合は、1 秒ごとに更新されるハートビートテーブルを作成することを推奨します。

• DTS は定期的にソース側で CREATE DATABASE IF NOT EXISTS 'test' を実行し、バイナリログの位置を進めます。

ApsaraDB RDS for MySQL の特殊ケース

• トランザクションログを記録しない、読み取り専用の ApsaraDB RDS for MySQL 5.6 インスタンスは、ソースとして使用できません。

• DTS は定期的にソース側で CREATE DATABASE IF NOT EXISTS 'test' を実行し、バイナリログの位置を進めます。

ステップ 1：データ同期ページを開く

いずれかのコンソールを使用して、タスク設定ページを開きます。

DTS コンソール

1. DTS コンソール にログインします。

2. 左側のナビゲーションウィンドウで、データ同期 をクリックします。

3. 左上隅で、同期インスタンスを配置するリージョンを選択します。

DMS コンソール

正確なナビゲーションパスは、ご使用の DMS コンソールのモードとレイアウトによって異なります。 詳細については、「シンプルモード」と「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。

1. DMS コンソール にログインします。

2. 上部のナビゲーションバーで、Data + AI の上にポインターを合わせ、DTS (DTS) ＞ データ同期 を選択します。

3. データ同期タスク の右側にあるドロップダウンリストから、リージョンを選択します。

ステップ 2：ソースおよびターゲットデータベースの設定

タスクの作成 をクリックし、以下のパラメーターを設定します。

ステップ 3：接続性のテスト

ページ下部の 接続性のテストと続行 をクリックします。

DTS は、両方のデータベースへのアクセスが必要です。自己管理データベースに接続する場合、DTS の CIDR ブロックをそのセキュリティ設定に追加する必要があります。詳細については、「DTS サーバーの CIDR ブロックをオンプレミスデータベースのセキュリティ設定に追加する」をご参照ください。Alibaba Cloud インスタンスによるアクセスを使用しない自己管理データベースの場合、[接続テスト] を [DTS サーバーの CIDR ブロック] ダイアログでクリックします。

MaxCompute アカウントへの権限付与を承認するために OK をクリックし、その後 接続性のテストと続行 をクリックします。

ステップ 4：オブジェクトの設定

オブジェクトの設定 ステップで、以下のパラメーターを設定します。

オブジェクト名マッピングによるオブジェクトの名前変更は、依存オブジェクトの同期失敗を引き起こす可能性があります。

ステップ 5：高度な設定の構成

次へ：高度な設定 をクリックし、以下のパラメーターを設定します。

ステップ 6：事前チェックの実行

次へ：タスク設定の保存と事前チェック をクリックします。

このタスク構成の API パラメーターをプレビューするには、ボタンにカーソルを合わせて、OpenAPI パラメーターのプレビュー をクリックしてください。

DTS は、タスクを開始する前に事前チェックを実行します。

• 項目が失敗した場合、詳細の表示 をクリックして原因を確認し、問題を修正した後、再度事前チェック をクリックします。

• 項目が無視可能なアラートをトリガーした場合、アラート詳細の確認 をクリックし、ダイアログで 無視 をクリックして OK をクリックします。その後、再度事前チェック をクリックして続行します。アラートを無視すると、データの不整合が発生する可能性があります。

ステップ 7：インスタンスの購入および起動

1. 成功率 が 100% に達したら、次へ：インスタンスの購入 をクリックします。

2. 購入ページで、以下のパラメーターを設定します。

1. Data Transmission Service (従量課金) 利用規約 を読み、同意します。

2. 購入および起動 をクリックします。確認ダイアログで OK をクリックします。

タスクはタスクリストに表示されます。そこから進行状況を監視できます。