全部產品
Search
文件中心

Data Transmission Service:從通過專線、VPN網關或Smart Access Gateway接入的自建Redis同步至ECS上的自建Redis

更新時間:Jul 06, 2024

Data Transmission Service支援Redis資料庫的單向同步,適用於異地多活、資料異地容災等多種應用情境。本文以通過專線、VPN網關或Smart Access Gateway接入的自建Redis同步至ECS上的自建Redis為例,介紹資料同步作業的配置流程。

警告 完成資料同步作業的配置後,請勿變更來源資料庫或目標資料庫的架構類型(例如將主從架構變更為叢集架構),否則會導致資料同步失敗。

前提條件

  • 源Redis資料庫的版本為2.8、3.0、3.2、4.0或5.0版本。
    說明 目標Redis資料庫支援的版本為2.8、3.0、3.2、4.0或5.0版本,如需跨版本同步(僅支援從低版本同步到高版本)請提前確認相容性。
  • 目標Redis資料庫的儲存空間需大於源Redis資料庫已使用的儲存空間。
  • 當源Redis資料庫為叢集架構時,叢集的每個節點必須能夠執行psync命令,且串連的密碼一致。
  • 源Redis執行個體Slave和Master之間的複製逾時時間參數repl-timeout,預設為60秒, 建議使用config set repl-timeout 600命令設定為600秒。若來源資料庫資料量比較大,可以適當增大repl-timeout參數的值。
  • 已在目標庫建立用於同步的帳號並配置密碼。

注意事項

  • DTS在執行全量資料初始化時將佔用源庫和目標庫一定的資源,可能會導致資料庫伺服器負載上升。如果資料庫業務量較大或伺服器規格較低,可能會加重資料庫壓力,甚至導致資料庫服務不可用。建議您在執行資料同步前謹慎評估,在業務低峰期執行資料同步。
  • 如果源庫中的某些Key使用了到期(expire)策略,由於可能存在Key已到期但未被及時刪除的情況,所以在目標庫中查看到的Key數量(例如通過info命令查看)會比源庫的Key數量少。

    說明

    源和目標庫中,未設定到期策略或未到期的Key數量是一致的。

  • 如果在來源資料庫的設定檔redis.conf中配置了bind參數,請將該參數的值設定為ECS的內網IP地址以保障DTS可以正常串連來源資料庫。
  • 為保障同步鏈路穩定性,建議將源Redis資料庫的設定檔redis.confrepl-backlog-size參數的值適當調大。
  • 為保障同步品質,DTS會在源Redis資料庫中插入一個key:DTS_REDIS_TIMESTAMP_HEARTBEAT,用於記錄更新時間點。
  • 如果配置Redis叢集間的資料同步,請勿在源叢集中執行FLUSHDBFLUSHALL命令,否則將導致源和目標的資料不一致。
  • 若目標資料庫記憶體不足,觸發資料逐出時,由於ApsaraDB for Redis的預設資料逐出策略(maxmemory-policy)為volatile-lru,會導致目標庫與源庫資料不一致的情況,但不會影響任務的正常運行。

    為避免該情況發生,建議將目標庫的資料逐出原則設定為noeviction,當目標庫記憶體不足時,資料會寫入失敗,同時任務也會失敗,但目標庫不會因為資料逐出而遺失資料。

    說明 關於資料逐出策略詳情,請參見Redis資料逐出策略介紹
  • 同步期間,如自建Redis發生擴縮容(如增加或者減少分區)、規格變更配置(如擴大記憶體),則您需重新設定任務。且為保障資料一致性,建議重新設定任務前,先清空已同步至目標Redis的資料。
  • 同步期間,如自建Redis串連地址變化,則您需要重新設定任務。
  • 源庫單機版Redis同步到目標庫叢集版Redis的操作限制:由於叢集cluster只允許單個命令操作單個slot,若在源庫執行多Key操作時,Key不在同一個slot或涉及多個slot,則會出現以下報錯:

    CROSSSLOT Keys in request don't hash to the same slot

    建議在DTS同步過程中僅執行單Key操作,以免導致鏈路中斷。

  • 若目標執行個體的架構類型為叢集版且某一個分區達到了記憶體上限,或目標執行個體的儲存空間不足時,DTS任務會因記憶體溢出(Out of Memory)而失敗。

  • 為保障同步品質,DTS會在源庫中插入一個首碼為DTS_REDIS_TIMESTAMP_HEARTBEAT的Key用於記錄更新時間點,如果源庫為叢集架構,DTS會在各個shard上均插入該Key。同步過程中會過濾該Key,同步任務結束,該Key就會到期。

  • 如果源庫為唯讀執行個體或者DTS帳號沒有寫(SETEX)許可權,上報的延遲可能不準確。

費用說明

同步類型鏈路配置費用
庫表結構同步和全量資料同步不收費。
增量資料同步收費,詳情請參見計費概述

支援的同步拓撲

  • 一對一單向同步
  • 一對多單向同步
  • 級聯單向同步

關於各類同步拓撲的介紹及注意事項,請參見資料同步拓撲介紹

支援的同步命令

  • APPEND
  • BITOP、BLPOP、BRPOP、BRPOPLPUSH
  • DECR、DECRBY、DEL
  • EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT
  • GEOADD、GETSET
  • HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX
  • INCR、INCRBY、INCRBYFLOAT
  • LINSERT、LPOP、LPUSH、LPUSHX、LREM、LSET、LTRIM
  • MOVE、MSET、MSETNX、MULTI
  • PERSIST、PEXPIRE、PEXPIREAT、PFADD、PFMERGE、PSETEX
  • RENAME、RENAMENX、RESTORE、RPOP、RPOPLPUSH、RPUSH、RPUSHX
  • SADD、SDIFFSTORE、SELECT、SET、SETBIT、SETEX、SETNX、SETRANGE、SINTERSTORE、SMOVE、SPOP、SREM、SUNIONSTORE
  • ZADD、ZINCRBY、ZINTERSTORE、ZREM、ZREMRANGEBYLEX、ZUNIONSTORE、ZREMRANGEBYRANK、ZREMRANGEBYSCORE
  • SWAPDB、UNLINK(僅當源端Redis執行個體的版本為4.0時支援)
說明
  • 不支援同步PUBLISH命令。
  • 對於通過EVAL或者EVALSHA調用Lua指令碼,在增量資料同步時,由於目標端在執行指令碼時不會明確返回執行結果,DTS無法確保該類型指令碼能夠執行成功。
  • 對於List,由於DTS在調用sync或psync進行重傳時,不會對目標端已有的資料進行清空,可能導致出現重複資料。

操作步驟

  1. 購買資料同步執行個體,詳情請參見購買資料同步任務
    說明 購買時,源執行個體和目標執行個體均選擇為Redis
  2. 登入資料轉送控制台

    說明

    若資料轉送控制台自動跳轉至Data Management控制台,您可以在右下角的jiqiren中單擊返回舊版,返回至舊版資料轉送控制台。

  3. 在左側導覽列,單擊資料同步

  4. 同步作業列表頁面頂部,選擇同步的目標執行個體所屬地區。

  5. 定位至已購買的資料同步執行個體,單擊配置同步鏈路
  6. 配置資料同步的源執行個體及目標執行個體資訊。Redis叢集同步源目執行個體資訊配置
    類別配置說明
    同步作業名稱DTS會自動產生一個同步作業名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
    源執行個體資訊執行個體類型選擇通過專線/VPN網關/Smart Access Gateway接入的自建資料庫
    執行個體地區購買資料同步執行個體時選擇的源執行個體地區資訊,不可變更。
    對端專用網路選擇自建資料庫接入的VPC ID。
    資料庫類型固定為Redis
    執行個體模式根據源Redis資料庫的架構選擇單機版叢集版
    IP地址填入源Redis資料庫的IP地址。
    說明 當源Redis資料庫為叢集架構時,填入任一節點的Master所屬伺服器的IP地址。
    連接埠填入源Redis資料庫的服務連接埠,預設為6379
    說明 當源Redis資料庫為叢集架構時,填入任一節點的Master的服務連接埠。
    資料庫密碼填入串連源Redis資料庫的密碼。
    說明 非必填項,如果沒有設定密碼可以不填。
    目標執行個體資訊執行個體類型選擇ECS上的自建資料庫
    執行個體地區購買資料同步執行個體時選擇的目標執行個體地區資訊,不可變更。
    執行個體ID選擇作為同步目標的ECS執行個體ID。
    說明 當目標Redis資料庫為叢集架構時,選擇任一節點的Master所在的ECS執行個體ID。
    執行個體模式根據目標Redis資料庫的架構選擇單機版叢集版
    連接埠填入目標Redis資料庫的服務連接埠,預設為6379
    說明 當目標Redis資料庫為叢集架構時,填入任一節點的Master的服務連接埠。
    資料庫密碼填入串連目標Redis資料庫的密碼。
    說明 必填項,否則預檢查會報錯。
  7. 單擊頁面右下角的授權白名單並進入下一步
    說明
    • 如果源或目標資料庫是阿里雲資料庫執行個體(例如RDS MySQLApsaraDB for MongoDB等)或ECS上的自建資料庫,DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單或ECS的安全規則中,您無需手動添加,請參見DTS伺服器的IP位址區段
    • DTS任務完成或釋放後,建議您手動刪除添加的DTS伺服器IP位址區段。
  8. 配置目標已存在表的處理模式和同步對象。配置處理模式和同步對象
    配置說明
    目標已存在表的處理模式
    • 預檢查並報錯攔截:檢查目標庫是否為空白。如果待同步的目標庫為空白,則通過該檢查專案;如果不為空白,則在預檢查階段提示錯誤,資料同步作業不會被啟動。
    • 忽略報錯並繼續執行:跳過目標庫是否為空白的檢查項。
      警告 選擇為忽略報錯並繼續執行後,如果在同步過程中遇到目標庫中的Key與源庫中的Key相同,會將源庫的資料覆蓋寫入目標庫中,請謹慎選擇。
    同步對象
    • 源庫對象框中單擊待同步的資料庫,然後單擊將其移動到已選擇對象框。
    • 同步對象的選擇粒度為庫,暫不支援Key粒度的選擇。
    映射名稱更改不支援更改映射名稱。
    源表DMS_ONLINE_DDL過程中是否複製暫存資料表到目標庫

    如源庫使用Data Management(Data Management)執行Online DDL變更,您可以選擇是否同步Online DDL變更產生的暫存資料表資料。

    • :同步Online DDL變更產生的暫存資料表資料。

      說明

      Online DDL變更產生的暫存資料表資料過大,可能會導致同步任務延遲。

    • :不同步Online DDL變更產生的暫存資料表資料,只同步源庫的原始DDL資料。

      說明

      該方案會導致目標庫鎖表。

    源、目標庫無法串連重試時間

    當源、目標庫無法串連時,DTS預設重試720分鐘(即12小時),您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫,同步任務將自動回復。否則,同步任務將失敗。

    說明

    由於串連重試期間,DTS將收取任務運行費用,建議您根據業務需要自訂重試時間,或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

  9. 上述配置完成後單擊頁面右下角的下一步
  10. 配置同步初始化選項,當前固定為包含全量資料+增量資料Redis同步初始化
    說明
    • DTS會將源Redis執行個體中的存量資料同步至目標Redis執行個體中,並同步增量資料。
    • 如果跳出版本相關的報錯提示,請您按照提示將源Redis執行個體升級至指定版本。關於升級版本方式,請參見升級大版本升級小版本與代理版本
  11. 上述配置完成後,單擊頁面右下角的預檢查並啟動

    說明
    • 在同步任務正式啟動之前,會先進行預檢查。只有預檢查通過後,才能成功啟動同步任務。

    • 如果預檢查失敗,單擊具體檢查項後的提示,查看失敗詳情。

      • 您可以根據提示修複後重新進行預檢查。

      • 如無需修複警示檢測項,您也可以選擇確認屏蔽忽略警示項並重新進行預檢查,跳過警示檢測項重新進行預檢查。

  12. 預檢查對話方塊中顯示預檢查通過後,關閉預檢查對話方塊,同步作業將正式開始。
  13. 等待同步作業的鏈路初始化完成,直至處於同步中狀態。資料同步狀態
    說明 您可以在資料同步頁面,查看資料同步作業的狀態。