同步时源库为MongoDB的注意事项及限制 - 数据传输服务 DTS

如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。

源库为MongoDB的同步方案概览

根据如下同步方案，查看同步任务的注意事项及限制：

MongoDB（副本集架构）同步至MongoDB（副本集架构、分片集群架构）
MongoDB（分片集群架构）间双向同步
MongoDB（分片集群架构）间单向同步
MongoDB（副本集架构）间双向同步

MongoDB（副本集架构）同步至MongoDB（副本集架构、分片集群架构）

如果同步的目标数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，具体注意事项及限制如下：


类型	说明
源库限制	带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为集合级别，且需进行编辑（如集合的名称映射），则单次同步任务仅支持同步至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明如为增量同步任务，DTS要求源数据库的Oplog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的Oplog日志至少保留7天以上（您可在全量同步完成后将Oplog日志保存时间设置为24小时以上），否则DTS可能因无法获取Oplog日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。
其他限制	建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。不支持同步admin和local库中的数据。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用`db.$table_name.aggregate([{ $count:"myCount"}])`语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。
特殊情况	当源库为自建MongoDB时：在同步时，如果源库进行主备切换，将会导致同步任务失败。由于DTS的延迟时间是根据同步到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行更新操作可能导致延迟信息不准确。如果任务显示的延迟时间过大，您可以在源库执行一个更新操作来更新延迟信息。说明如果同步对象选择为整库，您还可以创建心跳，心跳每秒定期更新或者写入数据。

MongoDB（分片集群架构）间双向同步

如果同步的目标数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，具体注意事项及限制如下：


类型	说明
源和目标库的限制	带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为集合级别，且需进行编辑（如集合的名称映射），则单次同步任务仅支持同步至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明如为增量同步任务，DTS要求源数据库的Oplog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的Oplog日志至少保留7天以上（您可在全量同步完成后将Oplog日志保存时间设置为24小时以上），否则DTS可能因无法获取Oplog日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 MongoDB分片集群为源的单向同步不支持源端做分片的扩缩容，双向同步源和目标都不支持分片数量的扩缩容，否则会导致DTS任务失败。若源实例为自建MongoDB，则源自建MongoDB不支持分片集群架构。源MongoDB分片集群实例的Mongos节点的数量不能超过10个。
其他限制	建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。源实例或目标实例位于海外地域的同步任务，仅支持同地域间的双向同步，不支持跨地域的双向同步。例如，支持日本地域间的双向同步，不支持日本地域与法兰克福地域间的双向同步。不支持同步admin和local库中的数据。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用`db.$table_name.aggregate([{ $count:"myCount"}])`语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。全量同步期间必须关闭源MongoDB数据库的均衡器（Balancer），直至每个子任务都运行到增量阶段，否则可能会造成数据不一致。关于均衡器的操作，请参见管理MongoDB均衡器Balancer 。

MongoDB（分片集群架构）间单向同步

如果同步的目标数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，具体注意事项及限制如下：


类型	说明
源和目标库的限制	带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为集合级别，且需进行编辑（如集合的名称映射），则单次同步任务仅支持同步至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明如为增量同步任务，DTS要求源数据库的Oplog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的Oplog日志至少保留7天以上（您可在全量同步完成后将Oplog日志保存时间设置为24小时以上），否则DTS可能因无法获取Oplog日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。在DTS同步期间，不支持MongoDB分片集群进行分片的扩缩容，否则会导致DTS任务失败。若源实例为自建MongoDB，则源自建MongoDB不支持分片集群架构。源MongoDB分片集群实例的Mongos节点的数量不能超过10个。
其他限制	建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。不支持同步admin和local库中的数据。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用`db.$table_name.aggregate([{ $count:"myCount"}])`语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。全量同步期间必须关闭源MongoDB数据库的均衡器（Balancer），直至每个子任务都运行到增量阶段，否则可能会造成数据不一致。关于均衡器的操作，请参见管理MongoDB均衡器Balancer 。

MongoDB（副本集架构）间双向同步

如果同步的目标数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，具体注意事项及限制如下：


类型	说明
源和目标库的限制	带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为集合级别，且需进行编辑（如集合的名称映射），则单次同步任务仅支持同步至多1000张集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明如为增量同步任务，DTS要求源数据库的Oplog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的Oplog日志至少保留7天以上（您可在全量同步完成后将Oplog日志保存时间设置为24小时以上），否则DTS可能因无法获取Oplog日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Oplog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。
其他限制	建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。如双向同步任务的源实例或目标实例位于海外地域，则仅支持同地域的双向同步，不支持跨地域的双向同步。例如，支持日本地域间的双向同步，不支持日本地域与法兰克福地域间的双向同步。不支持同步admin和local库中的数据。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用`db.$table_name.aggregate([{ $count:"myCount"}])`语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提条件下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。