全部產品
Search
文件中心

Data Online Migration:結合調度策略和覆蓋策略實現增量遷移

更新時間:Aug 02, 2024

本文介紹如何結合調度策略和覆蓋策略實現增量資料移轉。

概述

線上遷移服務執行遷移任務時,每一輪遷移都需要對源端資料進行全量掃描。若在遷移過程中產生了增量資料,需要等待下一輪執行才能掃描到並將其遷移到目的端。本文檔將介紹如何結合自動調度策略和覆蓋策略來實現增量資料的遷移。

警告

線上遷移服務無法保證增量資料移轉的及時性,因此該方案不適用於檔案數量較多且對時效性要求嚴格的情境。

在遷移過程中,無法確保資料的一致性,因此務必在遷移任務完成後對目的端的遷移資料進行校正。在刪除來源資料之前,必須確認目的端的遷移資料無誤,否則由此導致的資料丟失所引起的一切損失和後果均由您自行承擔。

遷移實施教程

結合調度策略和覆蓋策略實現增量資料移轉,適用於各種遷移情境,如需瞭解更詳細的資訊,請參考遷移教程,並根據具體情境選擇相應的遷移教程。

在建立任務時,需要選擇相應的調度策略和覆蓋策略,具體介紹如下:

策略

描述

覆蓋策略

線上遷移服務提供三種檔案覆蓋方式:不覆蓋全部覆蓋根據最後修改時間覆蓋

為了實現增量遷移,選擇根據最後修改時間覆蓋,如果目的端檔案符合跳過的條件,則不會重新遷移該檔案。

說明

根據最後修改時間覆蓋仍然會請求源端和目的端擷取檔案元資訊。

調度策略

配置定時任務或周期調度,請參見執行頻率參考。任務執行ID在執行輪次限制內(任務從啟動到結束為一輪執行,執行ID加1),會根據啟動時間和暫停時間自動調度任務,超過執行輪次限制時,不會再自動調度,但您仍然可以手動進行調度。

線上遷移服務將根據調度策略自動調度您的任務。每一輪資料移轉都會進行全量資料掃描。如果目標端已經存在同名檔案,系統將通過最後修改時間覆蓋策略的判斷條件來確定是否跳過,從而實現資料的增量遷移。

說明

請查看每種情境的遷移教程->遷移實施->建立任務->執行時間,以擷取有關周期調度或指定執行時間的描述。

請查看每種情境的遷移教程->遷移實施->建立任務->覆蓋方式,以擷取覆蓋策略的詳細資料。

遷移樣本

樣本:每天零點進行一次增量資料移轉。

假設使用者在源端的OSS上儲存了2000個歷史資料檔案,每天不定時會產生大約50個增量資料檔案,使用者希望每天零點時將這些增量資料上傳至OSS。

請按照以下步驟參考阿里雲OSS遷移教程,實現增量遷移:

  1. 建立源OSS 資料地址

  2. 建立目的OSS 資料地址

  3. 建立遷移任務,覆蓋方式選擇根據最後修改時間覆蓋;任務調度選擇周期調度執行頻率設定每天零點執行,執行次數100次。

說明

根據此配置,在任務執行100輪次內,線上遷移服務會在每天零點自動啟動您的任務,全量掃描源端資料,並根據最後修改時間覆蓋策略將增量資料移轉到目的端。超出100輪次限制後,線上遷移服務將不再自動啟動您的任務,但您仍然可以手動啟動任務。

如果任務的檔案數量很大,每輪執行在一天內不能完成,在零點啟動任務時,任務已經在運行中,則會在下一個零點嘗試啟動任務。