Data Transmission Service (DTS) は、セルフマネージドデータベースや ApsaraDB RDS for MySQL インスタンスなどの MySQL ソースから ApsaraMQ for RocketMQ インスタンスへデータを移行します。本トピックでは、ApsaraDB RDS for MySQL インスタンスからのデータ移行方法について説明します。
前提条件
-
ターゲットとなる非 Serverless ApsaraMQ for RocketMQ インスタンスを作成済みである必要があります。詳細については、「インスタンスの管理」または「インスタンスの管理」をご参照ください。
説明ソースおよびターゲットデータベースでサポートされているバージョンについては、「移行シナリオ」をご参照ください。
-
移行するデータを受信するためのトピックが、ターゲット Alibaba Cloud Message Queue for RocketMQ インスタンス内に作成済みである必要があります。トピックの作成方法の詳細については、「トピックの管理」または「トピックの管理」をご参照ください。
重要4.x シリーズの場合、トピックの メッセージタイプ を パーティション順序付きメッセージ に設定する必要があります。
5.x シリーズの場合、トピックの メッセージタイプ を 順序付きメッセージ に設定する必要があります。
制限事項
|
種別 |
説明 |
|
ソースデータベースの制限事項 |
|
|
その他の制限事項 |
|
|
特殊なケース |
|
課金
|
移行タイプ |
インスタンス構成料金 |
|
完全なデータ移行 |
無料です。 |
|
増分データ移行 |
課金対象です。詳細については、「課金概要」をご参照ください。 |
増分移行の SQL 操作
操作タイプ | SQL ステートメント |
DML | INSERT、UPDATE、DELETE |
DDL |
|
データベースアカウントの権限
|
データベース |
必要な権限 |
操作 |
|
ソース ApsaraDB RDS for MySQL インスタンス |
移行対象オブジェクトに対する読み取り権限。 |
ApsaraDB RDS for MySQL コンソールで作成および認証されていないソースデータベースアカウントには、REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、および SELECT 権限が必要です。
操作手順
-
次のいずれかの方法で、宛先リージョンの移行タスクリストページに移動します。
DTS コンソールから
-
Data Transmission Service (DTS) コンソール にログインします。
-
左側のナビゲーションウィンドウで、データの移行 をクリックします。
-
ページ左上隅で、移行インスタンスが配置されているリージョンを選択します。
DMS コンソールから
説明実際の操作は、DMS コンソールのモードおよびレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS コンソールのレイアウトとスタイルのカスタマイズ」をご参照ください。
-
Data Management (DMS) コンソール にログインします。
-
トップメニューバーで、 を選択します。
-
データ移行タスク の右側で、移行インスタンスが配置されているリージョンを選択します。
-
-
タスクの作成 をクリックして、タスク構成ページに移動します。
-
ソースおよびターゲットデータベースを構成します。
カテゴリ
パラメーター
説明
該当なし
タスク名
DTS は自動的にタスク名を生成します。識別しやすいように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
移行元データベース
既存の接続情報の選択
-
システムに追加済み(作成または保存済み)のデータベースインスタンスを使用する場合は、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報が自動的に構成されます。
説明DMS コンソールでは、このパラメーターの名前は DMS データベースインスタンスの選択 です。
-
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用しない場合は、以下でデータベース情報を手動で構成してください。
データベースタイプ
MySQL を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
ソース ApsaraDB RDS for MySQL インスタンスが配置されているリージョンを選択します。
Alibaba Cloud アカウント間でデータを複製
この例では、現在の Alibaba Cloud アカウントの下にあるデータベースインスタンスを使用します。× を選択します。
RDS インスタンス ID
ソース ApsaraDB RDS for MySQL インスタンスの ID を選択します。
データベースアカウント
ソース ApsaraDB RDS for MySQL インスタンスのデータベースアカウントを入力します。必要な権限については、「データベースアカウントに必要な権限」をご参照ください。
データベースのパスワード
データベースアカウントのパスワードを入力します。
暗号化
必要に応じて、非暗号化 または SSL 暗号化 を選択します。SSL 暗号化 を選択する場合は、事前に RDS for MySQL インスタンスで SSL 暗号化を有効にする必要があります。詳細については、「クラウド証明書を使用して SSL 暗号化を迅速に有効化」をご参照ください。
移行先データベース
既存の接続情報の選択
-
システムに追加済み(作成または保存済み)のデータベースインスタンスを使用する場合は、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報が自動的に構成されます。
説明DMS コンソールでは、このパラメーターの名前は DMS データベースインスタンスの選択 です。
-
データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用しない場合は、以下でデータベース情報を手動で構成してください。
データベースタイプ
RocketMQ を選択します。
アクセス方法
Alibaba Cloud インスタンス を選択します。
インスタンスのリージョン
宛先 ApsaraMQ for RocketMQ インスタンスが配置されているリージョンを選択します。
RocketMQ バージョン
宛先 ApsaraMQ for RocketMQ インスタンスのバージョンを選択します。
インスタンス ID
宛先 ApsaraMQ for RocketMQ インスタンスの ID を選択します。
データベースアカウント
宛先 ApsaraMQ for RocketMQ インスタンスのデータベースアカウントおよびパスワードを入力します。
説明-
これらのパラメーターは、RocketMQ バージョン を 5.x に設定した場合にのみ必要です。
-
認証情報は、ApsaraMQ for RocketMQ コンソールの アクセス制御 ページの インテリジェント認証 タブで取得できます。
データベースのパスワード
トピック
ドロップダウンリストから、移行データを受信するトピックを選択します。
DDL 情報を格納するトピック
ドロップダウンリストから、DDL 情報を格納するトピックを選択します。
説明トピックを選択しない場合、DDL 情報はデフォルトで トピック パラメーターで指定されたトピックに格納されます。
-
-
構成が完了したら、ページ下部の 接続をテストして続行 をクリックします。
説明-
DTS サーバーからのアクセスを許可するために、ソースおよびターゲットデータベースのセキュリティ設定に DTS サービスの IP アドレスセグメントが自動または手動で追加されていることを確認してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加」をご参照ください。
-
ソースまたはターゲットデータベースがセルフマネージドデータベースである場合(アクセス方法 が Alibaba Cloud インスタンス ではない場合)、表示される DTS サーバーの CIDR ブロック ダイアログボックス内で、接続テスト をクリックする必要があります。
-
-
タスクオブジェクトを構成します。
-
オブジェクト設定 ページで、移行するオブジェクトを構成します。
パラメーター
説明
移行タイプ
-
完全移行のみを実行する必要がある場合は、完全データ移行 を選択します。
-
ダウンタイムなしで移行を実行するには、完全データ移行 と 増分データ移行 の両方を選択します。
説明増分データ移行 を選択しない場合、データ整合性を確保するために、データ移行中にソースインスタンスに新しいデータを書き込まないでください。
競合するテーブルの処理モード
-
エラーの事前チェックと報告:宛先データベースに同名のテーブルが存在するかどうかをチェックします。同名のテーブルが存在しない場合、事前チェックは合格します。同名のテーブルが存在する場合、事前チェック中にエラーが報告され、データ移行タスクは開始されません。
説明宛先データベースのテーブルが同じ名前でありながら簡単に削除または名前変更できない場合は、宛先データベースのテーブル名を変更できます。詳細については、「オブジェクト名マッピング」をご参照ください。
-
エラーを無視して続行:同名のテーブルのチェックをスキップします。
警告エラーを無視して続行 を選択すると、データの不整合やビジネスリスクが発生する可能性があります。例として:
-
テーブルスキーマが一致しており、宛先データベースのレコードがソースデータベースのレコードと同じプライマリキー値を持つ場合:
-
完全移行中、DTS は宛先データベースのレコードを保持します。ソースデータベースのレコードは移行されません。
-
増分移行中、DTS は宛先データベースのレコードを保持しません。ソースデータベースのレコードが宛先データベースのレコードを上書きします。
-
-
テーブルスキーマが不一致の場合、一部のカラムのデータのみが移行されるか、移行が失敗する可能性があります。慎重に進めてください。
-
RocketMQ に配信されるデータ形式
ビジネス要件に基づいて、宛先トピックに書き込まれるデータのストレージフォーマットを選択します。詳細については、「メッセージキュー内のデータストレージフォーマット」をご参照ください。
すべてのフィールドを同期する
ソースで UPDATE 文が実行された場合、DTS は宛先トピックの old フィールドに事前イメージ(更新前のデータ)を移行します。この設定は、事前イメージに更新されたフィールドを含む行全体を含めるか、更新されたフィールドのみを含めるかを制御します。
説明このパラメーターは、RocketMQ に配信されるデータ形式 を Canal JSON に設定した場合にのみ利用可能です。
-
○:更新されたフィールドを含む行全体の事前イメージを移行します。
-
×(デフォルト):更新されたフィールドの事前イメージのみを移行します。
RocketMQ に配信されるメッセージ順序のルール
ビジネス要件に基づいて、宛先トピックに書き込まれるメッセージの順序付けルールを選択します。詳細については、「ApsaraMQ for RocketMQ のメッセージ順序付けルール」をご参照ください。
DTS プロデューサーグループ名
ビジネス要件に基づいて、宛先トピックでメッセージを送信するプロデューサーグループ (ProducerGroup) を指定します。詳細については、「プロデューサー」をご参照ください。
説明デフォルト値は dts-producer-group です。
RocketMQ メッセージ送受信の TPS 制限
宛先トピックに書き込まれるデータの最大メッセージング TPS を指定します。メッセージング TPS の詳細については、「コンピューティング仕様」をご参照ください。
重要-
値は、ApsaraMQ for RocketMQ インスタンスの最大 TPS 以下である必要があります。詳細については、「インスタンス仕様」をご参照ください。
-
移行インスタンスの実行中、ApsaraMQ for RocketMQ インスタンスの実際のメッセージング TPS は、指定された値の周囲でわずかに変動する可能性があります。
大規模なレコードのフィルタリングを設定するかどうか
4 MB を超えるメッセージを宛先トピックへの書き込みからフィルターするかどうかを指定します。
重要× を選択した場合、4 MB を超えるメッセージが宛先トピックに書き込まれると、移行インスタンスは失敗します。
移行先インスタンスでのオブジェクト名の大文字化
移行されたオブジェクト(データベース、テーブル、カラムなど)の名前に対する大文字小文字の扱いポリシーを、宛先インスタンス内で構成できます。デフォルトでは、DTS のデフォルトポリシー が選択されています。また、ソースまたはターゲットデータベースのデフォルトポリシーと大文字小文字の扱いを一致させることも選択できます。詳細については、「宛先データベースにおけるオブジェクト名の大文字小文字区別」をご参照ください。
ソースオブジェクト
ソースオブジェクト ボックスで、移行するオブジェクトをクリックし、
をクリックして 選択中のオブジェクト ボックスに移動します。説明移行オブジェクトとしてデータベースまたはテーブルを選択できます。
選択中のオブジェクト
この例では、追加の構成は不要です。マッピング機能を使用して、宛先 ApsaraMQ for RocketMQ インスタンスのトピック名を指定したり、フィルター条件を設定したり、移行する SQL 操作を選択したり、パーティションキーを設定したりできます。詳細については、「オブジェクト名マッピング」をご参照ください。
-
-
詳細設定へ をクリックして、詳細パラメーターを構成します。
パラメーター
説明
タスクのスケジュールに使用する専用クラスターの選択
デフォルトでは、DTS は共有クラスター上でタスクをスケジューリングします。選択する必要はありません。より安定したタスクを希望する場合は、DTS 移行タスクを実行するための専用クラスター を購入できます。
失敗した接続の再試行時間
移行タスク開始後、ソースまたはターゲットデータベースへの接続が失敗した場合、DTS はエラーを報告し、直ちに接続の再試行を開始します。デフォルトの再試行時間は 720 分です。10 分から 1440 分の範囲で再試行時間をカスタマイズできます。30 分以上に設定することを推奨します。指定された時間内に DTS がソースおよびターゲットデータベースに再接続できた場合、移行タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
説明-
同じソースまたはターゲットを共有する複数の DTS インスタンスの場合、ネットワークリトライ時間は、最後に作成されたタスクの設定によって決定されます。
-
接続再試行期間中もタスクに対して課金されるため、ビジネスニーズに基づいて再試行時間をカスタマイズするか、ソースおよびターゲットデータベースインスタンスをリリースした後はできるだけ早く DTS インスタンスをリリースすることを推奨します。
移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。
移行タスク開始後、接続性以外の問題(DDL または DML 実行例外など)がソースまたはターゲットデータベースで発生した場合、DTS はエラーを報告し、直ちに操作の再試行を開始します。デフォルトの再試行時間は 10 分です。1 分から 1440 分の範囲で再試行時間をカスタマイズできます。10 分以上に設定することを推奨します。指定された再試行時間内に関連操作が成功した場合、移行タスクは自動的に再開されます。そうでない場合、タスクは失敗します。
重要移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値より小さくする必要があります。
完全移行率を制限するかどうか
完全移行中、DTS はソースおよびターゲットデータベースの読み取り・書き込みリソースを消費するため、データベースの負荷が増加する可能性があります。必要に応じて、完全移行タスクのスロットリングを有効化できます。1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS を設定して、ターゲットデータベースの負荷を軽減できます。
説明-
この設定項目は、移行タイプ で 完全データ移行 を選択した場合にのみ利用可能です。
-
移行インスタンスの実行後にも、完全移行速度を調整 できます。
増分移行率を制限するかどうか
必要に応じて、増分移行タスクの速度制限を設定することもできます。1 秒あたりの増分移行の行数 RPS および 1 秒あたりの増分移行データ量 (MB) BPS を設定して、ターゲットデータベースの負荷を軽減できます。
説明-
この設定項目は、移行タイプ で 増分データ移行 を選択した場合にのみ利用可能です。
-
移行インスタンスの実行後にも、増分移行速度を調整 できます。
順方向および逆方向タスクのハートビートテーブル SQL を削除
DTS インスタンスの実行中に、ハートビート SQL 情報をソースデータベースに書き込むかどうかを選択します。
-
○:ハートビート SQL 情報はソースデータベースに書き込まれません。これにより、DTS インスタンスが遅延を報告する可能性があります。
-
×:ハートビート SQL 情報をソースデータベースに書き込みます。これにより、ソースデータベースの物理バックアップやクローンなどの機能に干渉する可能性があります。
環境タグ
インスタンスを識別するために環境タグを選択できます。この例では、タグは不要です。
ETL 機能の設定
抽出・変換・書き出し (ETL) 機能を有効にするかどうかを選択します。詳細については、「ETL とは」をご参照ください。有効値:
-
○:ETL 機能を有効化します。コードエディタにデータ処理文を入力します。詳細については、「データ移行またはデータ同期タスクでの ETL の構成」をご参照ください。
-
×:ETL 機能を無効化します。
監視アラート
ビジネスニーズに基づいて、アラートを設定し、アラート通知を受信するかどうかを選択します。
-
×:アラートを設定しません。
-
○:アラートのしきい値 および アラート通知 を設定してアラートを構成します。移行が失敗した場合や遅延がしきい値を超えた場合、システムがアラート通知を送信します。
-
-
-
タスクを保存して事前チェックを実行します。
-
API オペレーションを呼び出す際にこのインスタンスを構成するパラメーターを表示するには、次:タスク設定の保存と事前チェック ボタンにポインターを合わせ、表示されるバルーン内で OpenAPI パラメーターのプレビュー をクリックします。
-
API パラメーターを表示する必要がない場合、または表示が完了した場合は、ページ下部の 次:タスク設定の保存と事前チェック をクリックします。
説明-
移行タスク開始前に、DTS は事前チェックを実行します。事前チェックに合格した後にのみ、タスクが開始されます。
-
事前チェックに失敗した場合は、失敗したチェック項目の横にある 詳細を表示 をクリックし、プロンプトに基づいて問題を修正してから、再度事前チェックを実行してください。
-
事前チェック中に警告が報告された場合:
-
無視できないチェック項目の場合、失敗した項目の横にある 詳細を表示 をクリックし、プロンプトに基づいて問題を修正してから、再度事前チェックを実行してください。
-
無視可能なチェック項目の場合、アラートの詳細を確認、無視、OK、および 再度事前チェックを実行 をクリックして、警告項目をスキップして再度事前チェックを実行できます。警告を無視することを選択した場合、データの不整合などの問題が発生し、ビジネスにリスクをもたらす可能性があります。
-
-
-
インスタンスを購入します。
-
成功率 が 100% になったら、次:インスタンスの購入 をクリックします。
-
購入 ページで、データ移行インスタンスのリンク仕様を選択します。詳細については、次の表をご参照ください。
カテゴリ
パラメーター
説明
新しいインスタンスクラス
リソースグループの設定
インスタンスが属するリソースグループを選択します。デフォルト値はデフォルトリソースグループです。詳細については、「Resource Management とは」をご参照ください。
インスタンスクラス
DTS は、異なるパフォーマンスレベルを持つ移行仕様を提供します。リンク仕様は移行速度に影響します。ビジネスシナリオに基づいて仕様を選択できます。詳細については、「データ移行リンク仕様」をご参照ください。
-
構成が完了したら、Data Transmission Service (従量課金) 利用規約 を読み、同意してください。
-
購入して起動 をクリックします。表示される OK ダイアログボックスで、OK をクリックします。
データ移行タスク リストページで、移行タスクの進捗状況を確認できます。
説明-
移行タスクに増分移行が含まれていない場合、完全移行が完了した後に自動的に停止します。タスクが停止すると、ステータス は 完了 に変更されます。
-
移行タスクに増分移行が含まれている場合、自動的には停止しません。増分移行タスクは継続して実行されます。増分移行タスクが実行中の間、タスクの ステータス は 実行中 です。
-
-
マッピング情報
-
選択中のオブジェクト リストで、ターゲットトピック名にポインターを合わせます。
-
編集 をクリックします。
-
ダイアログボックスで、マッピング情報を構成します。
説明-
データベースレベルおよびテーブルレベルの両方にマッピングルールを構成した場合、テーブルレベルのルールがデータベースレベルのルールよりも優先されます。
-
データベースレベルのマッピングは スキーマの編集 ダイアログボックスで構成し、テーブルレベルのマッピングは テーブルの編集 ダイアログボックスで構成します。
データベースレベル
パラメーター
説明
スキーマ名
データ移行の宛先トピック名で、デフォルトでは ソースデータベースとターゲットデータベースの設定 ステップの 移行先データベース で選択した トピック になります。
重要-
データ移行の宛先トピック名で、デフォルトでは ソースデータベースとターゲットデータベースの設定 ステップの 移行先データベース で選択した トピック になります。
-
スキーマ名 を変更した場合、DTS は指定したトピックにデータを書き込みます。
同期する DDL および DML 操作を選択
増分移行する SQL 操作を選択します。
テーブルレベル
パラメーター
説明
テーブル名
データ移行の宛先トピック名で、デフォルトでは ソースデータベースとターゲットデータベースの設定 ステップの 移行先データベース で選択した トピック になります。
重要-
指定したトピックが宛先 Message Queue for Apache RocketMQ インスタンス内に存在する必要があります。存在しない場合、データ移行タスクは失敗します。
-
テーブル名 を変更した場合、DTS は指定したトピックにデータを書き込みます。
フィルタリング条件
詳細については、「フィルター条件の設定」をご参照ください。
同期する DDL および DML 操作を選択
増分移行する SQL 操作を選択します。
パーティションキー
このパラメーターは、RocketMQ に配信されるメッセージ順序のルール を 指定した列のハッシュ値による配信 に設定した場合に利用可能です。1 つ以上のカラムをパーティションキーとして指定します。DTS はこのキーを使用してハッシュ値を計算し、各行の宛先パーティションを決定します。
-
-
OK をクリックします。