如果同步的源数据库类型为Redis,如自建Redis、云数据库Redis,您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。

源库为Redis的同步方案概览

根据如下同步方案,查看同步任务的注意事项及限制:

云数据库Redis间的双向同步

具体注意事项及限制如下:
类型 说明
源库限制
  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
  • 为保障同步质量,DTS会在源库中插入一个key:DTS_REDIS_TIMESTAMP_HEARTBEAT,用于记录更新时间点。
  • 为保障同步链路稳定性,建议将配置文件redis.confrepl-backlog-size参数的值适当调大。
  • 请勿在源库中执行FLUSHDBFLUSHALL命令,否则将导致源和目标的数据不一致。
  • AOF日志:
    • 需开启。
    • 如为增量同步任务,DTS要求源数据库的AOF日志保存24小时以上,如为全量同步和增量同步任务,DTS要求源数据库的AOF日志至少保留7天以上(您可在全量同步完成后将AOF日志保存时间设置为24小时以上),否则DTS可能因无法获取AOF日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的AOF日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。

  • 如果源库中的某些Key使用了过期(expire)策略,由于可能存在Key已过期但未被及时删除的情况,所以在目标库中查看到的Key数量(例如通过info命令查看)会比源库的Key数量少。
    说明 源和目标库中,未设置过期策略或未过期的Key数量是一致的。
  • 如果目标库的数据逐出策略(maxmemory-policy)配置为noeviction以外的值,可能导致目标库的数据与源库不一致。关于数据逐出策略详情,请参见Redis数据逐出策略介绍
其他限制
  • 建议源和目标库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。
  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。
  • 如双向同步任务的源实例或目标实例位于海外地域,则仅支持同地域的双向同步,不支持跨地域的双向同步。例如,支持日本地域间的双向同步,不支持日本地域与法兰克福地域间的双向同步。
特殊情况
  • 同步期间,如源Redis发生扩缩容(如增加或者减少分片)、规格变配(如扩大内存),则您需重新配置任务。且为保障数据一致性,建议重新配置任务前,先清空已同步至目标Redis的数据。
  • 同步期间,如自建Redis连接地址变化,则您需要提交工单进行处理,如果长时间未处理,自建Redis会重置AOF文件,届时您需重新配置任务。

跨账号同步至云数据库Redis

如果跨账号同步的目标数据库类型为云数据库Redis,具体注意事项及限制如下:
类型 说明
源库限制
  • 待同步的集合需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。
  • 数据同步期间,请勿在源库中执行FLUSHDBFLUSHALL命令,否则将导致源和目标的数据不一致。
  • AOF日志:
    • 需开启。
    • 如为增量同步任务,DTS要求源数据库的AOF日志保存24小时以上,如为全量同步和增量同步任务,DTS要求源数据库的AOF日志至少保留7天以上(您可在全量同步完成后将AOF日志保存时间设置为24小时以上),否则DTS可能因无法获取AOF日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的AOF日志保存时间低于DTS要求的时间进而导致的问题,不在DTS的SLA保障范围内。

  • 如果源库中的某些Key使用了过期(expire)策略,由于可能存在Key已过期但未被及时删除的情况,所以在目标库中查看到的Key数量(例如通过info命令查看)会比源库的Key数量少。
    说明 源和目标库中,未设置过期策略或未过期的Key数量是一致的。
  • 如果目标库的数据逐出策略(maxmemory-policy)配置为noeviction以外的值,可能导致目标库的数据与源库不一致。关于数据逐出策略详情,请参见Redis数据逐出策略介绍
其他限制
  • 建议源和目标库版本保持一致,或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本,可能存在数据库兼容性问题。
  • 执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。
特殊情况 同步期间,如源Redis发生扩缩容(如增加或者减少分片)、规格变配(如扩大内存),则您需重新配置任务。且为保障数据一致性,建议重新配置任务前,先清空已同步至目标Redis的数据。