Data Transmission Service:ApsaraDB for MongoDB から Lindorm へのデータ同期

ソースデータベースの制限事項

• ソースサーバーに十分なアウトバウンド帯域幅がない場合、同期速度が低下します。

• 同期対象のコレクションには PRIMARY KEY または一意制約が必要であり、すべてのフィールド値が一意である必要があります。そうでない場合、宛先に重複レコードが発生する可能性があります。

• DTS は SRV エンドポイント経由で MongoDB インスタンスに接続できません。

• ソースとして Azure Cosmos DB for MongoDB クラスターや Amazon DocumentDB エラスティッククラスターは使用できません。

• 単一のデータ入力は 16 MB を超えてはなりません。

• ソースがシャードクラスターインスタンスの場合：

  • 各コレクションの _id フィールドは一意である必要があります。そうでない場合、データの不整合が発生する可能性があります。

  • Mongos ノードの数は 10 個を超えてはなりません。

  • 同期中に次のコマンドを実行しないでください：shardCollection、reshardCollection、unshardCollection、moveCollection、または movePrimary。これらのコマンドはデータ分散を変更し、データの不整合を引き起こす可能性があります。

  • タスクを開始する前に、ソースインスタンスに孤立ドキュメントがないことを確認してください。それらを削除する方法については、「MongoDB ドキュメント」および「DTS のよくある質問」をご参照ください。

  • ソースでバランサーがアクティブな場合、遅延が発生する可能性があります。

• ソースに TTL インデックスが含まれている場合、同期後にデータの不整合が発生する可能性があります。

• oplog が有効になっており、少なくとも 7 日分のデータを保持している必要があります。または、チェンジストリームが有効になっており、過去 7 日分をカバーしている必要があります。いずれの条件も満たされない場合、DTS は増分変更を取得できず、データ損失またはデータの不整合が発生する可能性があります。このようなケースは DTS サービスレベル契約 (SLA) の適用外です。

  • 可能であれば、データ変更を記録するために oplog を使用してください。

  • チェンジストリームには MongoDB 4.0 以降が必要であり、双方向同期はサポートされていません。

  • 非エラスティック Amazon DocumentDB クラスターの場合は、チェンジストリームを使用し、移行方法 を ChangeStream に、アーキテクチャ を Sharded Cluster に設定してください。

• 完全データ同期中は、データベースまたはコレクションのスキーマ、および ARRAY 型のデータを変更しないでください。完全同期のみを実行する場合は、ソースデータベースへの書き込みも行わないでください。

• 同期オブジェクトとしてコレクションを選択し、宛先で名前を変更する必要がある場合、1 つのタスクで最大 1,000 コレクションまでサポートされます。1,000 コレクションを超える場合は、複数のタスクを構成するか、同期オブジェクトとしてデータベース全体を選択してください。

宛先およびタスクの制限事項

• ドイツ (フランクフルト) リージョン内でのタスクのみがサポートされます。

• DTS は admin、config、または local データベースからのデータ同期を実行できません。

• 宛先 Lindorm インスタンスには、_id または _value カラムを持つコレクションがあってはなりません。

• トランザクションは保持されません。DTS は各トランザクションを宛先で個別のレコードに変換します。

• Lindorm に書き込まれるデータは、データリクエストの使用制限の要件を満たす必要があります。

• 増分同期中の UPDATE および DELETE 操作について：

  • ワイドテーブルが Lindorm SQL を使用して作成されている場合、テーブル作成時にプライマリキー以外のカラムとして _mongo_id_ という名前のカラムを追加してください。このカラムのデータ型は、ソースの _id カラムの型と一致している必要があります。また、このカラムに対してセカンダリインデックスを作成してください。

  • ワイドテーブルが Apache HBase API を使用して作成されている場合、カラムファミリー f に _mongo_id_ という名前のプライマリキー以外のカラムを追加してください。このカラムのデータ型は、ソースの _id カラムの型と一致している必要があります。また、このカラムに対してセカンダリインデックスを作成してください。追加カラムを追加し、抽出・変換・書き出し (ETL) 機能を使用する場合は、Lindorm インスタンスに重複データがないことを確認してください。

• DTS は ROUND(COLUMN,PRECISION) を使用して FLOAT および DOUBLE カラムから値を取得します。デフォルトの精度は、FLOAT が 38 桁、DOUBLE が 308 桁です。これらの精度設定が要件を満たしているか確認してください。

• DTS は失敗したタスクを最大 7 日間再開しようと試みます。ワークロードを宛先に切り替える前に、失敗したタスクを停止またはリリースするか、REVOKE を実行して宛先に対する DTS の書き込み権限を削除してください。そうしない場合、再開されたタスクによって宛先データがソースデータで上書きされます。

• タスクはピーク時を避けて実行してください。完全データ同期はソースおよび宛先データベースの両方に対して読み取りおよび書き込みを行うため、サーバー負荷が増加し、宛先コレクションに一時的な断片化が発生する可能性があります。

• 同期遅延は、最新の同期済みデータのタイムスタンプと現在のソースタイムスタンプとの差で計算されます。ソースに長時間書き込みがない場合、このメトリックが不正確になる可能性があります。遅延値を更新するには、ソースに書き込みを実行してください。

• DTS タスクが失敗した場合、テクニカルサポートが 8 時間以内に復旧を試みます。復旧中にタスクが再起動され、一部のタスクパラメーターが変更される可能性があります。ただし、データベースパラメーターは変更されません。

ステップ 1：データ同期ページを開く

以下のいずれかの方法を使用してください。

ステップ 2：ソースおよび宛先データベースを構成する

タスクの作成 をクリックし、パラメーターを構成します。

タスク設定：

ソースデータベース：

宛先データベース：

ステップ 3：接続性をテストする

接続性をテストして次へ進む をクリックします。

DTS は、自動的にそのサーバーの CIDR ブロックをソースデータベースおよびターゲットデータベースのセキュリティ設定に追加します。アクセス方法が Alibaba Cloud インスタンス 以外の自己管理データベースを使用している場合、[接続性のテスト] をクリックして、[DTS サーバーの CIDR ブロック] ダイアログボックスで接続性を確認してください。詳細については、「DTS サーバーの CIDR ブロックを追加する」をご参照ください。

ステップ 4：同期オブジェクトを構成する

オブジェクトの構成 ステップで、以下のパラメーターを設定します。

パラメーター	説明
同期タイプ	増分データ同期 が選択されています。完全データ同期 のみを選択することもできます。スキーマ同期は利用できません。
競合テーブルの処理モード	デフォルト設定のままにしてください。
宛先インスタンスでのオブジェクト名の大文字小文字	宛先インスタンスにおけるデータベース名およびコレクション名の大文字小文字を制御します。デフォルトは [DTS デフォルトポリシー] です。詳細については、「宛先インスタンスにおけるオブジェクト名の大文字小文字の指定」をご参照ください。
ソースオブジェクト	1 つ以上のオブジェクトを選択し、 をクリックして 選択済みオブジェクト に移動させます。個々のコレクションを選択できます。
選択済みオブジェクト	各コレクションのカラムマッピングを構成します。宛先ワイドテーブルに追加されていないカラムは同期されません。

MongoDB フィールドを Lindorm カラムにマッピングする：

選択済みオブジェクト にコレクションを追加すると、DTS は各フィールドに対して bson_value() 式を自動的に生成します。カラムマッピングを確定させるには、以下の手順に従ってください。

1. データベース名を編集する（任意）：選択済みオブジェクト でデータベースを右クリックし、スキーマの編集 ダイアログでターゲットスキーマ名を入力し、同期する DML 操作を選択します。OK をクリックします。

   

2. コレクション名を編集する（任意）：選択済みオブジェクト でコレクションを右クリックし、テーブル名の編集 ダイアログでターゲットテーブル名を入力し、必要に応じてフィルター条件を指定するか、DML 操作を選択します。OK をクリックします。

   

3. カラムマッピングを構成する：DTS は各行に対して bson_value() 式を自動生成します。各行を確認し、カラム名、型、長さ、および 精度 を指定します。各 bson_value() 式内の "" 内の文字列は、ソース MongoDB ドキュメント内のフィールド名です。たとえば、bson_value("age") は age フィールドをマッピングします。フィールドの同期を除外するには、該当行の横にある をクリックします。

   式が要件を満たしている場合

   • カラム名 を設定します：

     • SQL で作成されたテーブルの場合：宛先カラム名を使用します。

     • Apache HBase API テーブルの場合：プライマリキーカラムには ROW を使用し、プライマリキー以外のカラムには カラムファミリー:カラム名（例：person:name）を使用します。必要に応じて、事前にカラムマッピングを作成してください。「Apache HBase API テーブルのカラムマッピングを追加する」をご参照ください。

   • 各カラムの 型 を選択します。ソースデータ型と互換性があることを確認してください。

   • 必要に応じて 長さ および 精度 を設定します。

   • すべてのカラムに対して繰り返します。

   式が要件を満たしていない場合

   1. 該当行の横にある をクリックし、+ 新規カラム をクリックします。

   2. カラム名、型、長さ、および 精度 を設定します。

   3. 値の割り当て に bson_value() 式を入力します。参考として、「値の割り当て例」をご参照ください。> 重要： プライマリキーカラムには bson_value("_id") を割り当ててください。ネストされたフィールドの場合は、bson_value() 内に完全な階層パスを指定します。たとえば、bson_value("person","name") を使用し、bson_value("person") は使用しないでください。親フィールドのみを使用すると、増分操作時にデータ損失またはタスク失敗が発生する可能性があります。

   4. すべてのカラムに対して繰り返します。

4. OK をクリックします。

ステップ 5：詳細設定を構成する

次へ：詳細設定 をクリックし、以下のパラメーターを構成します。

ステップ 6：事前チェックを実行する

次へ：タスク設定を保存して事前チェック をクリックします。

このタスク構成の OpenAPI パラメーターを表示するには、次へ：タスク設定を保存して事前チェック にポインターを合わせ、次へ進む前に OpenAPI パラメーターをプレビュー をクリックしてください。

DTS はタスク開始前に事前チェックを実行します。事前チェックが失敗した場合は、以下を実行してください。

• 失敗した項目の横にある 詳細を表示 をクリックして問題を解決し、再度事前チェック をクリックします。

• 無視可能なアラートが表示された場合は、アラートの詳細を確認 をクリックし、詳細を表示 ダイアログで 無視 > OK をクリックしてから、再度事前チェック をクリックします。アラートを無視すると、データの不整合が発生する可能性があることにご注意ください。

ステップ 7：インスタンスを購入する

1. 成功率 が 100% に達したら、次へ：インスタンスを購入 をクリックします。

2. 購入 ページで、以下のパラメーターを構成します。

1. Data Transmission Service (従量課金) サービス利用規約 を読み、同意します。

2. 購入して開始 をクリックし、確認ダイアログで OK をクリックします。

タスクがタスクリストに表示されます。ここから進行状況をモニターできます。