本文介紹了某互連網企業在某雲端運算服務上架設的業務使用線上遷移服務和鏡像回源無縫遷移至阿里雲OSS的案例。
背景資訊
客戶A為一家互連網服務公司,其主要業務依託於雲端運算服務提供者B,為使用者提供圖片、視頻等線上編輯服務。客戶A在B處儲存的歷史資料約為1億個檔案,總大小約為320 TB,每天新增資料約為20 GB。OSS的訪問頻寬為250 MB/s,而業務所需的最高頻寬為50 MB/s。
鑒於公司發展需要,現考慮將業務切換至OSS平台。在切換過程中,需將未經處理資料及新增資料移轉至OSS。鑒於歷史資料量較大,為確保公司業務的正常運作,此次業務切換必須滿足以下要求:
-
遷移中,需保證業務的正常進行,不能影響其使用者正常讀取資料。
-
遷移完成後,需保證資料完整,業務可無縫切換。
遷移方案
根據客戶需求及背景資訊,制定了如下遷移方案:
-
通過阿里雲線上遷移服務將客戶的存量資料從原雲端服務遷移到阿里雲OSS,遷移完成前,客戶業務不做變動。
-
存量資料移轉完成後,配置阿里雲OSS鏡像回源到原雲端服務,使得通過OSS能夠訪問到尚未遷移到OSS的增量資料。
-
客戶將業務切換至阿里雲OSS,此時讀寫資料都在OSS。
-
業務切換完成後,原雲端服務不再有增量資料產生,通過阿里雲線上遷移服務將使用者的增量資料移轉至OSS。
-
資料全部遷移完成並檢查無誤後,刪除源端資料。
步驟一:遷移存量資料
步驟二:配置鏡像回源
遷移存量資料用時約25天,資料移轉過程中,來源站點還在不斷產生新的資料。為了不中斷業務,做到業務無縫切換,還需要配置鏡像回源功能。當使用者請求的檔案在OSS中沒有找到時,OSS會自動到來源站點抓取對應檔案儲存到OSS,並將內容直接返回給使用者。
-
登入OSS管理主控台。
-
在左側導覽列單擊Bucket 列表。
-
在Bucket 列表頁面單擊需要配置鏡像回源的Bucket名稱。
-
在左側導覽列選擇資料管理 > 鏡像回源。
-
單擊創建規則,在彈出的創建規則面板填寫回源資訊。
在回源地址中,按
http://[BucketName].bcebos.com/data/格式填寫來源站點地址。例如 OSS 訪問地址為bucketname.oss-endpoint.com/image.jpg時,回源擷取的檔案地址為http://abcbj.bcebos.com/data/image.jpg。-
回源類型:選擇鏡像。
-
回源條件:預設選擇HTTP狀態代碼404,可根據需求選擇是否配置文件名前綴和檔案名稱尾碼。
-
回源地址:填寫原雲端服務訪問地址資訊。
-
更多參數設定,請參見設定回源規則。
說明鏡像回源可以配置5條,5條規則同時生效。如果有多個資源,可以配置多條鏡像回源規則,通過設定不同的文件名前綴回源不同的資料。
-
-
單擊確定,完成配置。
步驟三:業務切換至OSS
客戶將商務服務器上的讀寫資料來源地址切換至OSS,此時,原資料地址將不再產生增量資料。
步驟四:遷移增量資料
遷移存量資料期間,源端產生了約100,000個,共500 GB左右大小的檔案,還需要將這部分增量資料移轉到OSS。
-
再次啟動遷移任務,將對源端檔案進行全量掃描,並根據最後修改時間將增量檔案遷移至目的端。
-
遷移完成後,需通過查看遷移報告,對比源地址和目的地址的資料,確認資料已經遷移完成。