使用者可參考以下方法,將增量資料自動同步到OSS的Bucket中。
主要方法
- OSS跨區域複製:將OSS的BucketA資料,同步到另一個區域的BucketB中。您可以在控制台中,對OSS源Bucket設定跨區域複製。
- 鏡像回源:適用於客戶源站無縫遷移資料到OSS。即服務已在建源站或者在其他雲產品上運行,需遷移到OSS,但又不能停止服務。在Ossimport完成曆史資料移轉且業務切換到OSS後,當訪問的資料不在OSS,會觸發鏡像回源到源站抓取,並下載到OSS中。
- OSS API或SDK:使用OSS API或SDK編寫代碼實現,詳情請參見CopyObject、UploadPartCopy。
場景1:OSS的不同Bucket之間的資料同步
當需要將BucketA資料,同步到BucketB時,可參考如下方法:
- 設定跨區域複製
- 適用於源BucketA、目的BuketB都不是Archive Storage,且分屬不同區域場景
- 鏡像回源
- 適用於當用戶端訪問BucketB時,BucketB中沒有該資料,觸發鏡像回源去BcuektA中抓取,下載到BucketB。
- OSS API/SDK CopyObject、UploadPartCopy
- 適用於使用者有特性需求,且有較強開發能力
常見疑問
是否可以指定Bucket下特定目錄而非整個Bucket間進行同步?
可以。通過設定跨區域複製功能指定檔案名首碼進行同步,只同步特定目錄。Archive Storage是否可以使用跨區域複製功能?
當源Bucket或目標Bucket是Archive Storage時,不支援設定跨區域複製。使用者可以使用OSS API/SDK 編寫代碼,以實現同步。由于歸檔儲存存在恢復,如果客戶在應用中,需要由Archive Storage,向標準或低頻儲存間同步,建議採用更合理的架構,將源Bucket改為標準或低頻儲存,目標Bucket改為Archive Storage,節省成本,提升業務體驗。
場景2:第三方資料來源的資料“同步”到OSS
第三方資料來源,自動同步到OSS,可參考如下方法:
- 鏡像回源
- 當用戶端訪問OSS時,OSS如沒有該資料,則觸發鏡像回源去第三方資料來源站中抓取,下載到OSS。
- OSS API/SDK Copy Object、Upload Part Copy
適用於使用者有特性需求,且有較強開發能力 - 使用ossimport增量移轉模式
使用ossimport資料移轉增量模式定期查詢源站資料,並將其同步到OSS中。
常見疑問
- 如果是將曆史資料,批量地遷移或複製到OSS,請參考如何將資料移轉到OSS。
其他
如果問題還未能解決,請聯繫售後支援人員。