全部產品
Search
文件中心

Object Storage Service:如何將資料移轉到OSS

更新時間:Aug 29, 2018

使用者希望將曆史資料移轉到使用者在OSS的某個目標Bucket上。其中,需要遷移的來源資料可能來自於OSS的某個Bucket,也可能來自於本地、第三方雲端儲存(如AWS S3、Azure Blob、騰訊雲COS、七牛、百度BOS、又拍雲、金山KS3等)、HTTP等。

主要方法

  • OssImport
    使用Ossimport工具進行遷移,適用於各類資料來源的曆史資料,批量遷移到OSS,請參考OssImport文檔

  • 鏡像回源
    適用於客戶源站無縫遷移資料到OSS。即服務已經在自己建立的源站或者在其他雲產品上運行,需要遷移到OSS上,但是又不能停止服務,此時可利用鏡像回源功能實現。在Ossimport完成曆史資料移轉後,將新產生的資料移轉過程,請參考鏡像回源無縫遷移到OSS

  • OSS跨區域複製
    適用於同一賬戶下,從OSS Bucket A將資料複製到Bucket B,請參考設定跨區域複製。在使用時,需注意設定“同步曆史資料”。此外,如果不希望同步BucketA的刪除操作,可將同步原則設定為“寫同步”。

  • Data Transport
    適用於線下資料中心大規模資料移轉上雲,支援TB到PB等級大規模資料上雲。具體參考官網產品介紹Data Transport

  • OSS API或SDK
    使用OSS API或SDK編寫代碼實現,適用於開發能力較強的客戶,請參考Copy ObjectUpload Part Copy

場景1:將非OSS上的資料移轉到OSS中

在此場景中,遷往目的地是OSS上的Bucket,而來源資料不是儲存在OSS上,比如在本地、HTTP、第三方雲端儲存(如AWS S3、Azure Blob等)。

各方法的選擇如下:

  • OssImport
    適用於曆史資料批量遷移到OSS,特別適合資料量比較大的情況。資料量大時,使用ossimport分布式版本。

  • 鏡像回源
    適用於源站新的熱資料線上遷移到OSS,如滿足您對於資料熱遷移、特定請求重新導向等需求。

  • Data Transport
    適用於使用者本機資料中心,TB到PB等級大規模資料上雲

  • OSS API/SDK Copy Object、Upload Part Copy
    適用於有特性需求,使用OSS API/SDK 編寫代碼上傳OSS。

場景2:OSS之間的資料移轉

此場景是指將OSS源Bucket資料移轉到OSS目標Bucket中。遷移的資料來源和遷移目的地都是OSS的Bucket。

各方法的選擇如下:

  • OSS跨區域複製

    • 源Bucket和目標Bucket屬於同一個使用者,且分屬不同的區域。
    • 源Bucket、目標Bucket儲存類型都不是歸檔類型:

      說明:如果希望源Bucket曆史資料移轉(複製到)目標Bucket後,源Bucket的變更(新增、更新、刪除)不再同步到目標Bucket,可以在控制台關閉源Bucket的跨區域複製。

  • OssImport
    更適合資料量較大(如大於10TB)曆史資料移轉場景。

  • OSS API/SDK Copy Object、Upload Part Copy
    建議優先使用ossImport或跨區域複製,除非使用者有更細化或特性的需求,且有一定的開發能力。

其他

如果問題還未能解決,請聯繫售後支援人員