このトピックでは、Data Transmission Service (DTS) を使用して ApsaraDB RDS for MySQL インスタンスから DataHub へデータを移行する方法について説明します。
前提条件
-
ソースの ApsaraDB RDS for MySQL インスタンスを作成します。
説明-
ApsaraDB RDS for MySQL インスタンスの作成方法については、「ApsaraDB RDS for MySQL インスタンスの作成」をご参照ください。
-
サポートされているバージョンについては、「移行ソリューションの概要」をご参照ください。
-
-
DataHub を有効化し、移行データを受信するプロジェクトを作成します。詳細については、「DataHub のクイックスタート」および「プロジェクトの管理」をご参照ください。
制限事項
|
種別 |
説明 |
|
ソースデータベースの制限 |
|
|
その他の制限 |
|
|
特殊ケース |
|
課金
|
移行タイプ |
インスタンス構成料金 |
インターネットトラフィック料金 |
|
スキーマ移行および完全なデータ移行 |
無料です。 |
ターゲットデータベースの アクセス方法 パラメーターが パブリック IP アドレス に設定されている場合、インターネットトラフィック料金が発生します。詳細については、「課金概要」をご参照ください。 |
|
増分データ移行 |
課金対象です。詳細については、「課金概要」をご参照ください。 |
移行タイプ
-
スキーマ移行
DTS は、移行オブジェクトのスキーマ定義をソースデータベースからターゲットデータベースに移行します。
-
完全移行
DTS は、指定された移行オブジェクトの既存データをすべてソースデータベースからターゲットデータベースに移行します。
-
増分移行
完全移行完了後、DTS はソースデータベースの増分データ更新をターゲットデータベースに移行します。増分移行により、自己管理アプリケーションを停止することなくスムーズにデータ移行が可能です。
増分移行でサポートされる SQL 操作
|
操作タイプ |
SQL ステートメント |
|
DML |
INSERT、UPDATE、DELETE |
|
DDL |
ADD COLUMN |
データベースアカウントの権限
|
データベース |
権限 |
|
ソース ApsaraDB RDS for MySQL インスタンス |
移行対象オブジェクトに対する読み取り権限。 |
操作手順
-
次のいずれかの方法で、ターゲットリージョンの移行タスクリストページに移動します。
DTS コンソールから
-
Data Transmission Service (DTS) コンソール にログインします。
-
左側のナビゲーションウィンドウで、データの移行 をクリックします。
-
ページ左上隅で、移行インスタンスが配置されているリージョンを選択します。
DMS コンソールから
説明実際の操作は、DMS コンソールのモードおよびレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
-
Data Management (DMS) コンソール にログインします。
-
上部メニューバーで、 を選択します。
-
データ移行タスク の右側で、移行インスタンスが配置されているリージョンを選択します。
-
-
タスクの作成 をクリックして、タスク設定ページに移動します。
-
ソースおよびターゲットデータベースを設定します。
警告ソースおよびターゲットインスタンスを選択した後、ページ上部に表示される制限事項をよくお読みください。制限事項に従わない場合、タスクが失敗したりデータの不整合が発生したりする可能性があります。
セクション
パラメーター
説明
該当なし
タスク名
DTS が自動的にタスク名を生成します。識別しやすいように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
ソースデータベース
既存の接続情報の選択
-
システムに追加済み(作成または保存済み)のデータベースインスタンスを使用する場合は、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報が自動的に設定されます。
説明DMS コンソールでは、このパラメーターの名称は DMS データベースインスタンスの選択 です。
-
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用しない場合は、以下でデータベース情報を手動で設定してください。
データベースタイプ
MySQL を選択します。
アクセス方法
Alibaba Cloud を選択します。
インスタンスリージョン
ソース ApsaraDB RDS for MySQL インスタンスが配置されているリージョンを選択します。
Alibaba Cloudアカウント全体でのデータの複製
このシナリオでは同一 Alibaba Cloud アカウント内でデータを移行するため、× を選択します。
RDS インスタンス ID
ソース ApsaraDB RDS for MySQL インスタンスの ID を選択します。
データベースアカウント
ソース ApsaraDB RDS for MySQL インスタンスのデータベースアカウントを入力します。権限要件については、「データベースアカウントの権限」をご参照ください。
データベースパスワード
データベースアカウントに対応するパスワードを入力します。
暗号化
必要に応じて、非暗号化 または SSL 暗号化 を選択します。SSL 暗号化 を選択する場合は、事前に RDS for MySQL インスタンスで SSL 暗号化を有効化しておく必要があります。詳細については、「クラウド証明書を使用した SSL 暗号化の迅速な有効化」をご参照ください。
宛先データベース
既存の接続情報の選択
-
システムに追加済み(作成または保存済み)のデータベースインスタンスを使用する場合は、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報が自動的に設定されます。
説明DMS コンソールでは、このパラメーターの名称は DMS データベースインスタンスの選択 です。
-
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用しない場合は、以下でデータベース情報を手動で設定してください。
データベースタイプ
DataHub を選択します。
アクセス方法
Alibaba Cloud を選択します。
インスタンスリージョン
DataHub インスタンスが配置されているリージョンを選択します。
プロジェクト
ターゲットの DataHub プロジェクト を選択します。
-
-
設定が完了したら、ページ下部の 接続をテストして続行 をクリックします。
説明-
DTS サーバーからのアクセスを許可するために、ソースおよびターゲットデータベースのセキュリティ設定に DTS サービスの IP アドレスセグメントが自動または手動で追加されていることを確認してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加」をご参照ください。
-
ソースまたはターゲットデータベースが自己管理データベースの場合(アクセス方法 が Alibaba Cloud インスタンス 以外の場合)、表示される DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックする必要があります。
-
-
タスクオブジェクトを設定します。
-
オブジェクト設定 ページで、移行対象のオブジェクトを設定します。
パラメーター
説明
同期タイプ
-
完全移行のみを実行する場合は、スキーマ移行 および 完全データ移行 の両方を選択します。
-
ダウンタイムなしで移行を実行する場合は、スキーマ移行、完全データ移行、および 増分データ移行 を選択します。
説明-
スキーマ移行 を選択しない場合、ターゲットデータベースにデータを受信するためのデータベースおよびテーブルが存在することを確認する必要があります。必要に応じて、選択中のオブジェクト ボックス内のオブジェクト名マッピング機能を使用できます。
-
増分データ移行 を選択しない場合、データ整合性を確保するためにデータ移行中はソースインスタンスに新しいデータを書き込まないでください。
追加列の命名規則
DTS が DataHub にデータを移行する際、ターゲットテーブルに追加カラムを追加します。追加カラムとターゲットテーブル内の既存カラムとの間に名前の競合が発生すると、データ移行が失敗します。ビジネス要件に基づいて、新規ルール または 前のルール を選択する必要があります。
警告追加カラムのルールを選択する前に、追加カラムとターゲットテーブル内の既存カラムとの間に名前の競合が発生しないかどうかを評価する必要があります。評価しない場合、データ損失やタスク失敗が発生する可能性があります。追加カラムのルールおよび定義の詳細については、「追加カラムの名前と定義」をご参照ください。
競合テーブルの処理モード
-
エラーの事前チェックと報告:ターゲットデータベースにソースデータベースのテーブルと同じ名前のテーブルが存在するかどうかをチェックします。同じ名前のテーブルが存在しない場合、事前チェックは成功します。同じ名前のテーブルが存在する場合、事前チェック中にエラーが報告され、データ移行タスクを開始できません。
説明ターゲットデータベースで同じ名前のテーブルを削除または名前変更することが困難な場合は、ターゲットデータベースでテーブル名を変更できます。詳細については、「テーブル名および列名のマッピング」をご参照ください。
-
エラーを無視して続行:ターゲットデータベース内の同じ名前のテーブルのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合が発生し、ビジネスにリスクをもたらす可能性があります。例として以下が挙げられます。
-
テーブルスキーマが一致しており、ターゲットデータベースのレコードがソースデータベースのレコードと同じプライマリキー値を持つ場合:
-
増分移行中に、ソースデータベースのレコードがターゲットデータベースのレコードを上書きします。
-
-
テーブルスキーマが不一致の場合、データ初期化が失敗する、一部のカラムのみが移行される、または移行が失敗する可能性があります。
-
ソースオブジェクト
ソースオブジェクト ボックスで、移行対象のオブジェクトをクリックし、
をクリックして 選択中のオブジェクト ボックスに移動させます。説明テーブルレベルで移行対象のオブジェクトを選択できます。
選択中のオブジェクト
-
ターゲットインスタンスで単一の移行オブジェクトの名前を変更するには、選択中のオブジェクト ボックス内のオブジェクトを右クリックします。詳細については、「個別のスキーマ、テーブル、および列名のマッピング」をご参照ください。
-
ターゲットインスタンスで複数の移行オブジェクトの名前を変更するには、一括編集 ボックスの右上隅にある 選択中のオブジェクト をクリックします。詳細については、「複数のスキーマ、テーブル、および列名のマッピング」をご参照ください。
説明-
オブジェクト名マッピング機能を使用する場合、名前変更されたオブジェクトに依存する他のオブジェクトの移行が失敗する可能性があります。
-
WHERE 条件を使用してデータをフィルターするには、選択中のオブジェクト ボックス内で移行対象のテーブルを右クリックし、表示されるダイアログボックスでフィルター条件を指定します。手順については、「フィルター条件の設定」をご参照ください。
-
データベースまたはテーブルレベルで増分移行の DML または DDL 操作を選択するには、移行オブジェクトを右クリックし、表示されるダイアログボックスで目的の DML および DDL 操作を選択します。サポートされる操作の一覧については、「増分移行でサポートされる SQL 操作」をご参照ください。
-
選択中のオブジェクト ボックス内で移行対象のテーブルを右クリックし、表示されるダイアログボックスで すべての列を同期する チェックボックスをオフにしてから、Shardkey(パーティションに使用するキー)を設定します。
-
-
詳細設定へ をクリックして、詳細パラメーターを設定します。
パラメーター
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、DTS は共有クラスター上でタスクをスケジューリングします。選択する必要はありません。より安定したタスクを実行したい場合は、DTS 移行タスクを実行するための専用クラスターを購入できます。
アラートの設定
ビジネス要件に基づいて、アラートを設定しアラート通知を受信するかどうかを選択します。
-
×:アラートを設定しません。
-
○:アラートのしきい値 および アラート通知 を設定してアラートを構成します。移行が失敗した場合や遅延がしきい値を超えた場合、システムがアラート通知を送信します。
失敗した接続の再試行時間
移行タスク開始後、ソースまたはターゲットデータベースへの接続が失敗した場合、DTS はエラーを報告し、直ちに接続の再試行を開始します。デフォルトの再試行時間は 720 分です。10 ~ 1440 分の範囲で再試行時間をカスタマイズできます。30 分以上に設定することを推奨します。指定された時間内に DTS がソースおよびターゲットデータベースに再接続できた場合、移行タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
説明-
同じソースまたはターゲットを共有する複数の DTS インスタンスの場合、ネットワークリトライ時間は最後に作成されたタスクの設定によって決定されます。
-
接続再試行期間中もタスクに対して課金されるため、ビジネス要件に基づいて再試行時間をカスタマイズするか、ソースおよびターゲットデータベースインスタンスをリリースした後はできるだけ早く DTS インスタンスをリリースすることを推奨します。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
移行タスク開始後、接続以外の問題(DDL または DML 実行例外など)がソースまたはターゲットデータベースで発生した場合、DTS はエラーを報告し、直ちに操作の再試行を開始します。デフォルトの再試行時間は 10 分です。1 ~ 1440 分の範囲で再試行時間をカスタマイズできます。10 分以上に設定することを推奨します。指定された再試行時間内に関連操作が成功した場合、移行タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値よりも小さくする必要があります。
完全移行率を制限するかどうか
完全移行中、DTS はソースおよびターゲットデータベースの読み取り・書き込みリソースを消費し、データベース負荷が増加する可能性があります。必要に応じて、完全移行タスクの速度制限を有効化できます。1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS を設定して、ターゲットデータベースの負荷を軽減できます。
説明-
この設定項目は、移行タイプ で 完全データ移行 を選択した場合にのみ利用可能です。
-
移行インスタンスの実行後にも、完全移行速度を調整 できます。
増分移行率を制限するかどうか
必要に応じて、増分移行タスクの速度制限を設定することもできます。1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS を設定して、ターゲットデータベースの負荷を軽減できます。
説明-
この設定項目は、移行タイプ で 増分データ移行 を選択した場合にのみ利用可能です。
-
移行インスタンスの実行後にも、増分移行速度を調整 できます。
環境タグ
ニーズに基づいてインスタンスを識別するための環境タグを選択できます。この例では選択の必要はありません。
ETL 機能の設定
順方向および逆方向タスクのハートビートテーブル SQL を削除
DTS インスタンス実行時にソースデータベースにハートビート SQL 情報を書き込むかどうかを選択します。
-
○:ハートビート SQL 情報はソースデータベースに書き込まれません。これにより、DTS インスタンスが遅延を報告する可能性があります。
-
×:ハートビート SQL 情報をソースデータベースに書き込みます。これにより、ソースデータベースの物理バックアップやクローンなどの機能に干渉する可能性があります。
-
-
-
タスクを保存して事前チェックを実行します。
-
API オペレーションを呼び出す際にこのインスタンスの設定パラメーターを確認するには、次:タスク設定の保存と事前チェック ボタンにポインターを合わせ、表示されるバルーンで OpenAPI パラメーターのプレビュー をクリックします。
-
API パラメーターを確認しない場合、または確認が完了した場合は、ページ下部の 次:タスク設定の保存と事前チェック をクリックします。
説明-
データ移行タスク開始前に、DTS が事前チェックを実行します。事前チェックに合格した後のみ、タスクが開始されます。
-
事前チェックに失敗した場合は、失敗したチェック項目の横にある 詳細を表示 をクリックし、プロンプトに基づいて問題を修正した後、再度事前チェックを実行してください。
-
事前チェック中に警告が報告された場合:
-
無視できないチェック項目の場合は、失敗した項目の横にある 詳細を表示 をクリックし、プロンプトに基づいて問題を修正した後、再度事前チェックを実行してください。
-
無視可能なチェック項目の場合は、アラートの詳細を確認、無視、OK、および 再度事前チェックを実行 をクリックして、警告項目をスキップして再度事前チェックを実行できます。警告を無視することを選択した場合、データの不整合などの問題が発生し、ビジネスにリスクをもたらす可能性があります。
-
-
-
インスタンスを購入します。
-
成功率 が 100% になったら、次:インスタンスの購入 をクリックします。
-
購入 ページで、データ移行インスタンスのリンク仕様を選択します。詳細は以下の表をご参照ください。
カテゴリ
パラメーター
説明
新しいインスタンスクラス
リソースグループの設定
インスタンスが属するリソースグループを選択します。デフォルト値はデフォルトリソースグループです。詳細については、「Resource Management とは」をご参照ください。
インスタンスクラス
DTS は、異なるパフォーマンスレベルを持つ移行仕様を提供しています。リンク仕様は移行速度に影響します。ビジネスシナリオに基づいて仕様を選択できます。詳細については、「データ移行リンク仕様」をご参照ください。
-
設定が完了したら、Data Transmission Service (従量課金) 利用規約 を読み、同意してください。
-
購入して起動 をクリックします。表示される OK ダイアログボックスで、OK をクリックします。
データ移行タスク リストページで、移行タスクの進行状況を確認できます。
説明-
移行タスクに増分移行が含まれていない場合、完全移行完了後に自動的に停止します。タスク停止後、ステータス は 完了 に変更されます。
-
移行タスクに増分移行が含まれている場合、自動的に停止しません。増分移行タスクは継続して実行されます。増分移行タスク実行中、タスクの ステータス は 実行中 です。
-
-