Data Transmission Service:RDS for MySQL インスタンスから DataHub プロジェクトへのデータ移行

ソースデータベースの要件

• ソースサーバーには十分なアウトバウンド帯域幅が必要です。帯域幅が低いと移行速度が低下します。

• テーブルには PRIMARY KEY または UNIQUE 制約が必要で、すべてのフィールドは一意でなければなりません。これがない場合、宛先に重複レコードが含まれる可能性があります。

• 移行オブジェクトとしてテーブルを選択し、宛先でテーブル名やカラム名を変更する必要がある場合、1 つのタスクでサポートされるテーブルは最大 1,000 件です。1,000 件を超えるテーブルがある場合は、複数のタスクに分割するか、データベース全体を移行してください。

増分データ移行の場合、ApsaraDB RDS コンソールでバイナリロギングを有効にし、以下のパラメーターを設定します。いずれかの値が正しくない場合、事前チェックは失敗し、タスクを開始できません。

バイナリログの保持要件 — DTS が必要なバイナリログを読み取れない場合、タスクは失敗し、データが失われたり、不整合が生じたりする可能性があります。

詳細については、「ApsaraDB RDS for MySQL インスタンスのバイナリログファイルの表示と削除」をご参照ください。

スキーマ移行中：データベースまたはテーブルスキーマを変更する DDL 操作を実行しないでください。実行するとタスクが失敗します。

その他の制限事項

• 移行対象オブジェクトとして選択できるのはテーブルのみです。

• 移行中に pt-online-schema-change などのツールを DDL 操作に使用しないでください。タスクが失敗する可能性があります。

• DTS のみが宛先に書き込む場合、Data Management (DMS) はソーステーブルに対してオンライン DDL を実行できます。詳細については、「ロックフリー DDL 操作の実行」をご参照ください。

  警告

  他のツールも宛先に書き込む場合は、オンライン DDL に DMS を使用しないでください。宛先でデータ損失が発生する可能性があります。

• DTS は ROUND(COLUMN, PRECISION) を使用して FLOAT および DOUBLE カラムを読み取ります。デフォルトの精度：FLOAT は 38 桁、DOUBLE は 308 桁です。開始前に、これらのデフォルト値が要件を満たしていることを確認してください。

• DTS は失敗したタスクを最大 7 日間再試行します。ワークロードを宛先に切り替える前に、タスクを停止またはリリースするか、REVOKE を実行して DTS の書き込み権限を削除してください。そうしないと、再試行後にソースデータが宛先データを上書きする可能性があります。

自己管理型 MySQL ソースの特殊なケース

• 移行中のプライマリ/セカンダリフェールオーバーは、タスクの失敗を引き起こします。

• ソースで長期間 DML 操作が発生しない場合、移行レイテンシーの測定値が不正確になることがあります。ソースで DML 操作を実行してレイテンシー値を更新してください。移行オブジェクトとしてデータベース全体を選択した場合は、1 秒ごとにデータを受信するハートビートテーブルを作成します。

• DTS は、バイナリログの位置を進めるために、ソースで定期的に CREATE DATABASE IF NOT EXISTS `test` を実行します。

ステップ 1: データ移行タスクページへの移動

1. Data Management (DMS) コンソールにログインします。

2. 上部のナビゲーションバーで、[DTS] をクリックします。

3. 左側のナビゲーションウィンドウで、[DTS (DTS)] > [データ移行] を選択します。

コンソールのレイアウトは異なる場合があります。詳細については、「シンプルモード」および「ビジネス要件に基づいた DMS コンソールの設定」をご参照ください。または、直接 新しい DTS コンソールのデータ移行タスクページに移動することもできます。

ステップ 2: リージョンの選択

[データ移行タスク] の横にあるドロップダウンリストから、データ移行インスタンスが存在するリージョンを選択します。

新しい DTS コンソールでは、左上隅でリージョンを選択します。

ステップ 3: ソースデータベースとターゲットデータベースの設定

[タスクの作成] をクリックします。次に進む前に、設定ページの上部に表示される制限事項をお読みください。

ソースデータベースのパラメーター：

ターゲットデータベースのパラメーター：

ステップ 4: 接続性のテスト

[接続テストと次へ] をクリックします。

DTS は、Alibaba Cloud データベースインスタンスの IP アドレスホワイトリスト、または Elastic Compute Service (ECS) インスタンスのセキュリティグループルールに、その CIDR ブロックを自動的に追加します。データセンターやサードパーティのクラウドでホストされている自己管理型データベースの場合は、手動で DTS の CIDR ブロックをデータベースの IP アドレスホワイトリストに追加する必要があります。詳細については、「オンプレミスデータベースのセキュリティ設定に DTS サーバーの CIDR ブロックを追加する」をご参照ください。

ステップ 5: 移行オブジェクトの選択

以下の設定を構成します。

パラメーター	説明
同期タイプ	[スキーマ移行] および/または [増分データ移行] を選択します。[完全データ移行] は DataHub では利用できません。増分データ移行を選択しない場合は、データ整合性を維持するために移行中にソースへの書き込みを避けてください。
競合するテーブルの処理モード	[事前チェックとエラー報告]：ソースと宛先で同じ名前のテーブルがあるかチェックします。競合が存在する場合、タスクは開始できません。オブジェクト名マッピングを使用して、宛先テーブルを削除せずに競合を解決します。[エラーを無視して続行]：競合チェックをスキップします。増分移行中、競合するレコードは既存の宛先レコードを上書きします。スキーマが異なる場合、タスクが失敗したり、一部のカラムのみが移行されたりする可能性があります。
追加列の新しい命名規則を適用	DTS はシステムカラムを宛先の DataHub トピックに追加します。これらのカラム名が既存のトピックカラムと競合する場合、タスクは失敗します。トピックの構造に基づいて [はい] または [いいえ] を選択します。このパラメーターを設定する前に競合を確認してください。詳細については、「追加カラムの命名規則の変更」をご参照ください。
ソースオブジェクト	オブジェクトを選択し、 をクリックして [選択したオブジェクト] に移動します。オブジェクトとして選択できるのはデータベースのみです。
選択したオブジェクト	オブジェクトを右クリックして名前を変更したり、WHERE フィルター条件を指定したり、移行する DML/DDL 操作を選択したりできます。[一括編集] をクリックすると、複数のオブジェクトの名前を一度に変更できます。オブジェクトの名前を変更すると、依存オブジェクトが破損する可能性があります。

ステップ 6: 詳細設定

[次へ: 詳細設定] をクリックし、以下を設定します。

ステップ 7: 事前チェックの実行

[次へ: タスク設定を保存して事前チェック] をクリックします。次に進む前に OpenAPI パラメーターをプレビューするには、ボタンにカーソルを合わせ、[OpenAPI パラメーターのプレビュー] をクリックします。

DTS はタスクを開始する前に事前チェックを実行します。タスクはすべてのチェックに合格した後にのみ開始できます。

• チェック項目が失敗した場合、失敗した項目の横にある [詳細の表示] をクリックして問題を修正し、[再事前チェック] をクリックします。

• 無視できるアラートが返された場合は、[アラート詳細の確認] > [無視] > [OK] をクリックし、[再事前チェック] をクリックします。

アラート項目を無視すると、データの不整合が生じる可能性があります。

ステップ 8: インスタンスの購入

成功率が 100% に達するまで待ってから、[次へ: インスタンスの購入] をクリックします。[インスタンスの購入] ページで、以下を設定します。

ステップ 9: タスクの開始

[Data Transmission Service (従量課金) 利用規約] を読み、同意した上で、[購入して開始] をクリックします。

タスクがタスクリストに表示されます。そこで移行の進捗を監視します。