Data Transmission Service:ApsaraDB for MongoDB から PolarDB for MySQL への移行

前提条件

• ソースデータベースが ApsaraDB for MongoDB シャードクラスターである場合は、各シャードノードのエンドポイントを申請します。すべてのシャードノードで同じアカウントとパスワードを使用していることを確認してください。手順については、「シャードエンドポイントの申請」をご参照ください。

• ターゲットの PolarDB for MySQL クラスターを作成します。ストレージ容量は、ソースの ApsaraDB for MongoDB インスタンスよりも大きくする必要があります。手順については、「カスタム購入」および「サブスクリプションクラスターの購入」をご参照ください。

  説明

  ターゲットクラスターのストレージ容量は、ソースデータベースの使用済みストレージ容量より少なくとも 10% 大きくすることを推奨します。

• ターゲットの PolarDB for MySQL クラスターで、データを受け取るためのデータベースとテーブルを作成します。テーブルにはプライマリキーが必要です。詳細については、「データベース管理」をご参照ください。

  重要

  • ターゲットテーブルのデータ型が、ソースの MongoDB データと互換性があることを確認してください。たとえば、MongoDB の _id フィールドが ObjectId の場合、ターゲットの PolarDB for MySQL クラスターの対応する列は varchar である必要があります。

  • PolarDB for MySQL クラスターでは、ターゲットテーブルの列名を _id または _value にすることはできません。

注意事項

課金

移行タイプ

データベースアカウントに必要な権限

操作手順

1. 次のいずれかの方法で、ターゲットリージョンの移行タスクリストページに移動します。

   DTS コンソールから

   1. Data Transmission Service (DTS) コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、データの移行 をクリックします。

   3. ページの左上隅で、移行インスタンスが配置されているリージョンを選択します。

   DMS コンソールから

   説明

   実際の操作は、DMS コンソールのモードとレイアウトによって異なる場合があります。詳細については、「シンプルモードコンソール」および「DMS コンソールのレイアウトとスタイルをカスタマイズする」をご参照ください。

   1. Data Management (DMS) コンソールにログインします。

   2. トップメニューバーで、[データ + AI] > [Data Transmission (DTS)] > [データ移行] を選択します。

   3. データ移行タスク の右側で、移行インスタンスが配置されているリージョンを選択します。

2. タスクの作成をクリックすると、タスク構成ページに移動します。

3. ソースデータベースとターゲットデータベースを設定します。

   カテゴリ	パラメーター	説明
   N/A	タスク名	DTS は自動的にタスク名を生成します。簡単に識別できるように、わかりやすい名前を指定することを推奨します。名前は一意である必要はありません。
   移行元データベース	既存の接続情報の選択	システムに追加された (作成または保存された) データベースインスタンスを使用するには、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報が自動的に設定されます。 説明 DMS コンソールでは、このパラメーターは DMS データベースインスタンスの選択 という名前です。 データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用する必要がない場合は、以下のデータベース情報を手動で設定します。
   	データベースタイプ	MongoDB を選択します。
   	アクセス方法	Alibaba Cloud インスタンス を選択します。
   	インスタンスのリージョン	ソースの ApsaraDB for MongoDB インスタンスが存在するリージョンを選択します。
   	Alibaba Cloud アカウント間でデータを複製	この例では、現在の Alibaba Cloud アカウント配下のデータベースインスタンスが使用されます。× を選択します。
   	アーキテクチャ	この例では、レプリカセット を選択します。 説明 ソースの ApsaraDB for MongoDB インスタンスが シャードクラスター の場合は、Shardアカウント と Shardパスワード も指定する必要があります。
   	移行方法	要件に基づいて増分データ移行の方法を選択します。 Oplog (推奨)： このオプションは、ソースデータベースで Oplog が有効になっている場合に使用できます。 説明 Oplog は、自主管理 MongoDB データベースと ApsaraDB for MongoDB インスタンスの両方でデフォルトで有効になっています。この方法は、ログのプルが高速なため、増分データ移行の遅延が少なくなります。したがって、Oplog を選択することを推奨します。 ChangeStream: ソースデータベースで変更ストリームが有効な場合に利用できるオプションです。 説明 ソースデータベースが Amazon DocumentDB インスタンス (非エラスティッククラスター) の場合、ChangeStream のみを選択できます。 アーキテクチャ をソースデータベースの シャードクラスター に設定した場合、Shardアカウント や Shardパスワード を入力する必要はありません。
   	インスタンス ID	ソースの ApsaraDB for MongoDB インスタンスの ID を選択します。
   	認証データベース	ソースの ApsaraDB for MongoDB インスタンスでデータベースアカウントが属するデータベースの名前を入力します。変更していない場合、デフォルト値は admin です。
   	データベースアカウント	ソースの ApsaraDB for MongoDB インスタンスのデータベースアカウントを入力します。必要な権限の詳細については、「データベースアカウントの権限」をご参照ください。
   	データベースのパスワード	データベースアカウントに対応するパスワードを入力します。
   	暗号化	DTS は 非暗号化、SSL 暗号化、Mongo Atlas SSL の 3 つの接続方法をサポートしています。暗号化 のオプションは、選択した アクセス方法 と アーキテクチャ によって異なります。コンソールに表示されるオプションが優先されます。 説明 アーキテクチャ が シャードクラスター で、移行方法 が Oplog の MongoDB データベースは、SSL 暗号化 をサポートしていません。 ソースが自主管理 MongoDB データベース (アクセス方法 が Alibaba Cloud インスタンス ではない) で、レプリカセット アーキテクチャの場合、SSL 暗号化 を選択すると、DTS は接続を検証するために CA 証明書をアップロードすることもできます。
   移行先データベース	既存の接続情報の選択	システムに追加された (作成または保存された) データベースインスタンスを使用するには、ドロップダウンリストから目的のデータベースインスタンスを選択します。以下のデータベース情報が自動的に設定されます。 説明 DMS コンソールでは、このパラメーターは DMS データベースインスタンスの選択 という名前です。 データベースインスタンスをシステムに登録していない場合、または登録済みのインスタンスを使用する必要がない場合は、以下のデータベース情報を手動で設定します。
   	データベースタイプ	PolarDB for MySQL を選択します。
   	アクセス方法	Alibaba Cloud インスタンス を選択します。
   	インスタンスのリージョン	ターゲットの PolarDB for MySQL クラスターが存在するリージョンを選択します。
   	Alibaba Cloud アカウント間でデータを複製	この例では、現在の Alibaba Cloud アカウント配下のデータベースインスタンスが使用されます。× を選択します。
   	PolarDB クラスター ID	ターゲットの PolarDB for MySQL クラスターの ID を選択します。
   	データベースアカウント	ターゲットの PolarDB for MySQL クラスターのデータベースアカウントを入力します。必要な権限の詳細については、「データベースアカウントの権限」をご参照ください。
   	データベースのパスワード	データベースアカウントのパスワードを入力します。
   	暗号化	ビジネス要件に基づいてオプションを選択します。SSL 暗号化機能の詳細については、「SSL 暗号化の有効化」をご参照ください。

4. 設定が完了したら、ページ下部の 接続をテストして続行 をクリックします。

   説明

   • DTS サーバーからのアクセスを許可するために、DTS サービスの IP アドレスセグメントがソースおよびターゲットデータベースのセキュリティ設定に自動または手動で追加されていることを確認してください。詳細については、「DTS サーバーの IP アドレスをホワイトリストに追加する」をご参照ください。

   • ソースまたはターゲットデータベースが自己管理データベースである場合 (アクセス方法 が Alibaba Cloud インスタンス ではない)、表示される DTS サーバーの CIDR ブロック ダイアログボックスで 接続テスト をクリックする必要もあります。

5. タスクオブジェクトを設定します。

   1. オブジェクト設定 ページで、移行するオブジェクトを設定します。

      パラメーター	説明
      移行タイプ	完全移行のみを実行する必要がある場合は、完全データ移行 を選択します。 ダウンタイムなしで移行を実行するには、完全データ移行 と 増分データ移行 の両方を選択します。 説明 増分データ移行 を選択しない場合は、データ整合性を確保するために、データ移行中にソースインスタンスに新しいデータを書き込まないでください。
      競合するテーブルの処理モード	エラーの事前チェックと報告：ターゲットデータベースに同じ名前のコレクションが存在するかどうかを確認します。同じ名前のコレクションが存在しない場合、事前チェックは合格します。同じ名前のコレクションが存在する場合、事前チェック中にエラーが報告され、データ移行タスクは開始されません。 説明 ターゲットデータベースのコレクションが同じ名前で、簡単に削除または名前変更できない場合は、ターゲットデータベースのコレクションの名前を変更できます。詳細については、「オブジェクト名のマッピング」をご参照ください。 エラーを無視して続行：同じ名前のコレクションのチェックをスキップします。 警告 エラーを無視して続行 を選択すると、データの不整合やビジネスリスクが発生する可能性があります。例： ターゲットデータベースのレコードがソースデータベースのレコードと同じプライマリキー値を持つ場合、ターゲットデータベースのレコードが保持されます。ソースデータベースのレコードはターゲットデータベースに移行されません。 データ初期化が失敗したり、一部のデータしか移行されなかったり、移行が失敗したりする可能性があります。
      移行先インスタンスでのオブジェクト名の大文字化	ターゲットインスタンスで移行されるオブジェクト (データベース、テーブル、列など) の名前の大文字と小文字の区別ポリシーを設定できます。デフォルトでは、DTS のデフォルトポリシー が選択されています。ソースまたはターゲットデータベースのデフォルトポリシーと大文字と小文字の区別を一致させることも選択できます。詳細については、「ターゲットデータベースのオブジェクト名の大文字と小文字の区別」をご参照ください。
      ソースオブジェクト	ソースオブジェクト ボックスで、移行するオブジェクトをクリックし、 をクリックして 選択中のオブジェクト ボックスに移動します。 説明 コレクションレベルでオブジェクトを選択できます。
      選択中のオブジェクト	データベース名のマッピングを編集します。 選択中のオブジェクト ボックスで、移行するコレクションを含むソースデータベースを右クリックします。 この例では、データベース名は dtsdb で、ツリー構造のルートにあります。 スキーマ名 を、ターゲットの PolarDB for MySQL クラスターでデータを受け取るデータベースの名前に変更します。[スキーマの編集] パネルで、[スキーマ名] をターゲット名 (例：dtsdb) に変更します。 OK をクリックします。 テーブル名のマッピングを編集します。 選択中のオブジェクト ボックスで、移行するコレクションを右クリックします。 たとえば、[選択したオブジェクト] パネルのツリー構造が dtsdb > Table > class の場合、ターゲットコレクションを右クリックします。 テーブル名 を、ターゲットの PolarDB for MySQL クラスターでデータを受け取るテーブルの名前に変更します。右クリックした後、表示される [テーブルの編集] ページで [テーブル名] を変更できます (例：class)。注：テーブル名または列名を編集すると、ターゲットデータベースのテーブル名と列名が新しい名前に変更されます。 (オプション) 完全データ移行のフィルター条件を設定します。詳細については、「フィルター条件の設定」をご参照ください。[フィルター条件] テキストボックスに、フィルターステートメントを入力できます。構文は標準の SQL WHERE 句とは異なります。たとえば、ユーザー ID でフィルタリングするには、{"_id": {$gt:"user100844658590795****",$lte:"user101674868045948****"}} を使用できます。ここで、$gt はより大きいことを意味し、$lte は以下を意味します。 (オプション) 同期する DDL および DML 操作を選択 セクションで、増分データ移行の操作を選択します。[同期する DML 操作を選択] セクションで、insert、update、delete を選択できます。 MongoDB から移行するフィールドを設定します。 デフォルトでは、DTS は移行対象のコレクションのデータをマッピングし、代入 列に式を設定します。式が要件を満たしているか確認し、列名、タイプ、長さ、精度 などのパラメーターを設定します。 重要 ターゲットテーブルのプライマリキー列に値 bson_value("_id") を割り当てる必要があります。 bson_value() 式を設定する際は、階層の最下位のサブフィールドまでのパスを指定する必要があります。そうしないと、データ損失やタスクの失敗が発生する可能性があります。 代入 列の bson_value() 式で、MongoDB の対応するフィールド名を確認します。 引用符 ("") 内のテキストは MongoDB のフィールド名です。たとえば、式が bson_value("age") の場合、この行は MongoDB の age フィールドに対応します。 (オプション) 移行する必要のないフィールドを削除します。 説明 フィールドを削除するには、その行の アイコンをクリックします。 移行するフィールドを設定します。 次の手順は、デフォルトの bson_value() 式が要件を満たしているかどうかによって異なります。 カスタム式 説明 これは、親子関係などの階層構造を持つフィールドに適用される場合があります。 操作 列で、行の アイコンをクリックします。 [+ 列を追加] をクリックします。 列名、タイプ、長さ、および 精度 を設定します。 重要 ターゲットテーブルのデータ型がソースの MongoDB データと互換性があることを確認してください。データ型マッピングの詳細については、「データ型マッピング」をご参照ください。 代入 の下のテキストボックスに、bson_value() 式を入力します。詳細については、「割り当て設定の例」をご参照ください。 これらの手順を繰り返して、関連するすべてのフィールドをマッピングします。 デフォルトの式 列名 を入力します。 説明 これは、ターゲットの PolarDB for MySQL クラスターでデータを受け取るテーブルの列の名前です。 列のデータ タイプ を選択します。 重要 ターゲットテーブルのデータ型がソースの MongoDB データと互換性があることを確認してください。データ型マッピングの詳細については、「データ型マッピング」をご参照ください。 (オプション) 列データの 長さ と 精度 を設定します。 これらの手順を繰り返して、関連するすべてのフィールドをマッピングします。 OK をクリックします。

   2. 詳細設定へ をクリックして、詳細パラメーターを設定します。

      パラメーター	説明
      タスクのスケジュールに使用する専用クラスターの選択	デフォルトでは、DTS は共有クラスターでタスクをスケジュールします。選択する必要はありません。より安定したタスクが必要な場合は、専用クラスターを購入して DTS 移行タスクを実行できます。
      移行先データベースのエンジンタイプを選択します。	要件に基づいて、ターゲットデータベースのストレージエンジンを選択します。 InnoDB：デフォルトのストレージエンジン。 X-Engine：オンライントランザクション処理 (OLTP) データベースストレージエンジン。
      失敗した接続の再試行時間	移行タスクが開始された後、ソースまたはターゲットデータベースへの接続が失敗した場合、DTS はエラーを報告し、すぐに接続の再試行を開始します。デフォルトの再試行時間は 720 分です。再試行時間は 10 分から 1440 分の間でカスタマイズできます。30 分以上に設定することを推奨します。指定された時間内に DTS がソースおよびターゲットデータベースに再接続した場合、移行タスクは自動的に再開されます。そうでない場合、タスクは失敗します。 説明 同じソースまたはターゲットを共有する複数の DTS インスタンスの場合、ネットワークの再試行時間は最後に作成されたタスクの設定によって決まります。 接続再試行期間中もタスクには課金されるため、ビジネスニーズに基づいて再試行時間をカスタマイズするか、ソースおよびターゲットデータベースインスタンスがリリースされた後、できるだけ早く DTS インスタンスをリリースすることを推奨します。
      移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。	移行タスクが開始された後、DDL または DML 実行例外などの接続以外の問題がソースまたはターゲットデータベースで発生した場合、DTS はエラーを報告し、すぐに操作の再試行を開始します。デフォルトの再試行時間は 10 分です。再試行時間は 1 分から 1440 分の間でカスタマイズできます。10 分以上に設定することを推奨します。指定された再試行時間内に関連操作が成功した場合、移行タスクは自動的に再開されます。そうでない場合、タスクは失敗します。 重要 移行元データベースと移行先データベースで他の問題が発生した場合の、再試行までの待機時間です。 の値は、失敗した接続の再試行時間 の値より小さくする必要があります。
      完全移行率を制限するかどうか	完全移行中、DTS はソースおよびターゲットデータベースの読み取りおよび書き込みリソースを消費し、データベースの負荷を増加させる可能性があります。必要に応じて、完全移行タスクの速度制限を有効にできます。1 秒あたりのソースデータベースのクエリ率 QPS、1 秒あたりの完全移行の行数 RPS、および 1 秒あたりの完全移行データ量 (MB) BPS を設定して、ターゲットデータベースの負荷を軽減できます。 説明 この設定項目は、移行タイプ で 完全データ移行 を選択した場合にのみ使用できます。 移行インスタンスの実行後に 完全移行速度を調整することもできます。
      同期するデータのうち、同一テーブル内のプライマリキー_id のデータ型が一意かどうか	移行対象のデータについて、同じコレクション内でプライマリキー _id のデータ型が一意であるかどうかを示します。 重要 要件に基づいてオプションを選択してください。そうしないと、データ損失が発生する可能性があります。 このパラメーターは、移行タイプで完全データ移行を選択した場合にのみ利用可能です。 ○：データ型は一意です。完全データ移行中、DTS はソースデータのプライマリキーのデータ型をスキャンしません。単一のコレクションに対して、DTS は 1 つのプライマリキーデータ型に対応するデータのみを移行します。 ×：データ型は一意ではありません。完全データ移行中、DTS はソースデータのプライマリキーのデータ型をスキャンし、すべてのデータを移行します。
      増分移行率を制限するかどうか	必要に応じて、増分移行タスクの速度制限を設定することもできます。1 秒あたりの増分移行の行数 RPS と 1 秒あたりの増分移行データ量 (MB) BPS を設定して、ターゲットデータベースの負荷を軽減できます。 説明 この設定項目は、移行タイプ で 増分データ移行 を選択した場合にのみ使用できます。 移行インスタンスの実行後に 増分移行速度を調整することもできます。
      環境タグ	要件に基づいてインスタンスを識別するために環境タグを選択できます。この例ではタグは不要です。
      ETL 機能の設定	抽出・変換・書き出し (ETL) 機能を有効にするかどうかを選択します。詳細については、「ETL とは？」をご参照ください。有効な値： ○：ETL 機能を有効にします。コードエディタにデータ処理ステートメントを入力します。詳細については、「データ移行またはデータ同期タスクで ETL を設定する」をご参照ください。 ×：ETL 機能を無効にします。
      監視アラート	ビジネスニーズに基づいて、アラートを設定し、アラート通知を受け取るかどうかを選択します。 ×：アラートを設定しません。 ○：アラートのしきい値とアラート通知を設定してアラートを構成します。移行が失敗した場合や遅延がしきい値を超えた場合、システムはアラート通知を送信します。

6. タスクを保存し、事前チェックを実行します。

   • API オペレーションを呼び出す際にこのインスタンスを設定するためのパラメーターを表示するには、次：タスク設定の保存と事前チェック ボタンにポインターを合わせ、表示されるバブルで OpenAPI パラメーターのプレビュー をクリックします。

   • API パラメーターを表示する必要がない場合、または表示が完了した場合は、ページ下部の 次：タスク設定の保存と事前チェック をクリックします。

   説明

   • 移行タスクが開始される前に、DTS は事前チェックを実行します。タスクは事前チェックに合格した後にのみ開始されます。

   • 事前チェックが失敗した場合は、失敗した確認項目の横にある 詳細を表示 をクリックし、プロンプトに基づいて問題を修正してから、再度事前チェックを実行します。

   • 事前チェック中に警告が報告された場合：

     • 無視できない確認項目については、失敗した項目の横にある 詳細を表示 をクリックし、プロンプトに基づいて問題を修正してから、再度事前チェックを実行します。

     • 無視できる確認項目については、アラートの詳細を確認、無視、OK、再度事前チェックを実行 をクリックしてアラート項目をスキップし、再度事前チェックを実行できます。警告を無視することを選択した場合、データの不整合などの問題が発生し、ビジネスにリスクをもたらす可能性があります。

7. インスタンスを購入します。

   1. 成功率 が 100% になったら、次：インスタンスの購入 をクリックします。

   2. 購入 ページで、データ移行インスタンスのリンク仕様を選択します。詳細については、次の表をご参照ください。

      カテゴリ	パラメーター	説明
      新しいインスタンスクラス	リソースグループの設定	インスタンスが属するリソースグループを選択します。デフォルト値はデフォルトリソースグループです。詳細については、「Resource Management とは？」をご参照ください。
      	インスタンスクラス	DTS は、異なるパフォーマンスレベルの移行仕様を提供します。リンク仕様は移行速度に影響します。ビジネスシナリオに基づいて仕様を選択できます。詳細については、「データ移行リンクの仕様」をご参照ください。

   3. 設定が完了したら、Data Transmission Service (従量課金) 利用規約 を読んで選択します。

   4. 購入して起動 をクリックします。表示される OK ダイアログボックスで、[OK] をクリックします。

      データ移行タスク リストページで移行タスクの進捗状況を確認できます。

      説明

      • 移行タスクに増分移行が含まれていない場合、完全移行が完了すると自動的に停止します。タスクが停止すると、その ステータス は 完了 に変わります。

      • 移行タスクに増分移行が含まれている場合、自動的には停止しません。増分移行タスクは実行を続けます。増分移行タスクの実行中、タスクの ステータス は 実行中 です。

データ型マッピング

割り当て設定の例

{
  "_id":"62cd344c85c1ea6a2a9f****",
  "person":{
    "name":"neo",
    "age":26,
    "sex":"male"
  }
}