本文介紹了某互連網企業在某雲端運算服務上架設的業務使用線上遷移服務和鏡像回源無縫遷移至阿里雲OSS的案例。
背景資訊
客戶A為一家互連網服務公司,其主要業務依託於雲端運算服務提供者B,為使用者提供圖片、視頻等線上編輯服務。客戶A在B處儲存的歷史資料約為1億個檔案,總大小約為320 TB,每天新增資料約為20 GB。OSS的訪問頻寬為250 MB/s,而業務所需的最高頻寬為50 MB/s。
鑒於公司發展需要,現考慮將業務切換至OSS平台。在切換過程中,需將未經處理資料及新增資料移轉至OSS。鑒於歷史資料量較大,為確保公司業務的正常運作,此次業務切換必須滿足以下要求:
遷移中,需保證業務的正常進行,不能影響其使用者正常讀取資料。
遷移完成後,需保證資料完整,業務可無縫切換。
遷移方案
根據客戶需求及背景資訊,制定了如下遷移方案:
通過阿里雲線上遷移服務將客戶的存量資料從原雲端服務遷移到阿里雲OSS,遷移完成前,客戶業務不做變動。
存量資料移轉完成後,配置阿里雲OSS鏡像回源到原雲端服務,使得通過OSS能夠訪問到尚未遷移到OSS的增量資料。
客戶將業務切換至阿里雲OSS,此時讀寫資料都在OSS。
業務切換完成後,原雲端服務不再有增量資料產生,通過阿里雲線上遷移服務將使用者的增量資料移轉至OSS。
資料全部遷移完成並檢查無誤後,刪除源端資料。
步驟一:遷移存量資料
步驟二:配置鏡像回源
遷移存量資料用時約25天,資料移轉過程中,來源站點還在不斷產生新的資料。為了不中斷業務,做到業務無縫切換,還需要配置鏡像回源功能。當使用者請求的檔案在OSS中沒有找到時,OSS會自動到來源站點抓取對應檔案儲存到OSS,並將內容直接返回給使用者。
步驟三:業務切換至OSS
客戶將商務服務器上的讀寫資料來源地址切換至OSS,此時,原資料地址將不再產生增量資料。
步驟四:遷移增量資料
遷移存量資料期間,源端產生了約100,000個,共500 GB左右大小的檔案,還需要將這部分增量資料移轉到OSS。
再次啟動遷移任務,將對源端檔案進行全量掃描,並根據最後修改時間將增量檔案遷移至目的端。
遷移完成後,需通過查看遷移報告,對比源地址和目的地址的資料,確認資料已經遷移完成。
