全部產品
Search
文件中心

Object Storage Service:資料移轉概述

更新時間:Oct 14, 2025

業務資料分散在本機資料中心、第三方雲端儲存,或分布在不同地區、不同帳號的阿里雲 OSS Bucket 中,缺乏統一管理會導致營運複雜、成本高昂。您可以將這些資料高效遷移至目標 OSS Bucket,阿里雲提供線上遷移服務、命令列工具及離線遷移(Lightning Cube)等多種方案,以滿足不同業務情境下的遷移需求。

阿里雲OSS間遷移

在阿里雲 OSS 之間進行資料移轉時,可根據源端與目標端所屬地區的不同選擇合適的遷移方式,以保證遷移效率和操作便捷性。

同地區遷移

當源 Bucket 與目標 Bucket 處於同一地區時,遷移方式可根據實際情境選擇:

  • 對於小至中等規模的資料且 Bucket 屬於同一帳號下,建議使用命令列工具 ossutil 的 cp(拷貝檔案)命令進行資料移轉,支援批量檔案拷貝及斷點續傳。

  • 對於大規模資料移轉或涉及不同帳號下 Bucket 之間的遷移情境,建議使用同地區複製功能,資料無需中轉下載或額外網路傳輸,在源端資料新增、修改、刪除時自動同步到目標端,適合跨團隊、跨子公司之間的資料集中與共用情境。

跨地區遷移

當源 Bucket 與目標 Bucket 跨越不同地區,例如從華東1(杭州)遷移至華北 2(北京),建議使用跨地區複製功能,利用阿里雲內部網路傳輸,保障資料安全可靠,在源端資料新增、修改、刪除時自動同步到目標端,適合異地多點協作與即時備份情境。

第三方儲存遷移至OSS

當您的資料存放區在其他雲廠商中,需要遷移至阿里雲 OSS 時,推薦使用阿里雲線上遷移服務。支援包括AWS S3、騰訊雲 COS、華為雲 OBS、火山雲 TOS、Google雲 GCS、微軟 Azure Blob等在內的多種儲存服務,亦支援相容 S3 協議的自建Object Storage Service。遷移時無需搭建遷移環境,可線上提交遷移任務並隨時監控遷移過程。可根據實際業務情境選擇對應的線上遷移教程,輕鬆實現資料的平滑遷移。

本地檔案系統遷移至OSS

小規模資料遷移

對於體量較小的資料(小於 5 GB),推薦使用 Object Storage Service控制台直接上傳。該方式操作簡便,無需安裝額外工具或進行複雜配置,適合臨時檔案上傳、測試資料移轉或低頻次的遷移任務。可以通過瀏覽器介面快速完成檔案上傳,適用於零散檔案或少量資料的快速上雲需求。

中規模資料遷移

對於中等規模的資料移轉,您可以根據實際需求選擇以下兩種方式:

  • 如需實現常規業務資料、記錄檔、備份資料等的高效傳輸,推薦使用命令列工具 ossutil 執行 cp(上傳檔案)命令,支援批量檔案上傳、斷點續傳及並發加速等功能。

  • 當您的本網環境較為複雜,或者希望實現雲端對遷移任務的統一調度和集中管理時,推薦使用阿里雲線上遷移服務實現LocalFS遷移至OSS。該服務提供託管式的資料移轉解決方案,支援任務的建立、監控和管理,簡化了營運複雜度,適合對遷移過程有集中管控需求的企業客戶。

大規模資料遷移

對於超大規模資料移轉,您可以根據實際需求選擇以下兩種方式:

  • 使用阿里雲線上遷移服務,遷移時無需搭建遷移環境,可線上提交遷移任務,並即時監控遷移進度,適合需要靈活調度且能夠通過公網進行傳輸的業務情境。

  • 當您的資料受公網頻寬節流設定,或需要從線下資料中心遷移時,推薦使用離線遷移(Lightning Cube),適合資料中心整體上雲、大型企業歸檔檔案及歷史影像資料等情境。離線遷移(Lightning Cube)專為 TB 級至 PB 級的大規模資料移轉設計,通過物理介質完成資料擷取和傳輸,徹底避免公網頻寬瓶頸,顯著提升遷移效率。

HTTP/HTTPS 源遷移至OSS

若資料存放區在 HTTP/HTTPS 源上,可使用阿里雲線上遷移服務將資料高效、平滑地將資料從HTTP/HTTPS源遷移至OSS。遷移過程中無需搭建額外環境,只需線上提交遷移任務,即可即時監控任務進度和狀態,確保資料安全可靠地完成遷移。

巨量資料儲存遷移至OSS

遷移 HDFS 資料至 OSS

對於分布在Distributed File System(HDFS)中的大規模資料,推薦使用阿里雲Jindo DistCp遷移HDFS資料到OSS。Jindo DistCp 是一款基於 MapReduce 的分布式檔案拷貝工具,可在大規模叢集內部或不同叢集之間高效傳輸檔案。通過將檔案和目錄列表作為 MapReduce 任務的輸入,切分為多個並行任務分發執行,每個任務負責拷貝源列表中的部分資料,從而提升傳輸效率,支援容錯、斷點續傳和異常恢複,能夠在 TB 甚至 PB 層級的巨量資料遷移中確保穩定性和資料完整性。適用於巨量資料計算、資料湖建設等情境。

遷移 OSS 外部表格(gpossext)資料至 OSS

當資料以 OSS 外部表格(gpossext)的形式儲存,並需要在 OSS 與資料倉儲之間高效匯入匯出時,建議使用雲原生資料倉儲AnalyticDB PostgreSQL版將資料並行匯出到OSS,支援通過 gpossext 功能將 OSS 中的資料並行匯入到 AnalyticDB PostgreSQL,或將資料並行匯出到 OSS。基於分布式架構,遷移過程具備高並發和高吞吐能力,可大幅縮短資料轉送時間,同時保障資料安全與完整性。適用於大規模資料分析、歷史資料歸檔以及跨系統資料交換等業務情境。

巨量資料儲存遷移至OSS-HDFS

OSS-HDFS 服務(又稱 JindoFS 服務)是一款雲原生資料湖儲存產品,基於統一的中繼資料管理能力,在完全相容 HDFS 檔案系統介面的同時提供了完整的 POSIX 能力支援,能夠更好地適配巨量資料計算與 AI 訓練等資料湖情境。既可以將現有資料移轉至 OSS-HDFS,也可以在不同 OSS-HDFS Bucket 之間進行高效的資料移轉。

遷移 HDFS 資料至 OSS-HDFS

針對傳統 HDFS 叢集資料移轉,可使用阿里雲Jindo DistCp 工具遷移HDFS資料到OSS-HDFS,能夠實現叢集內部或跨叢集的大規模檔案分發,支援自動錯誤偵測、重試及任務恢複,提高了遷移任務的穩定性和效率。其工作原理是將檔案和目錄列表作為 MapReduce 任務的輸入,每個任務負責拷貝部分檔案,適合批量處理海量資料的遷移情境。藉助 Jindo DistCp,使用者可以實現平滑遷移,快速將資料匯入 OSS-HDFS,助力巨量資料平台向雲原生轉型。

OSS-HDFS 間資料移轉

對於已部署 OSS-HDFS 服務的使用者,阿里雲同樣支援使用阿里雲Jindo DistCp 工具遷移OSS-HDFS服務不同Bucket之間的資料。適用於資料分區調整、儲存資源最佳化或跨地區資料調度需求,確保業務資料始終保持一致性和高可用性。

遷移半託管 JindoFS 叢集資料至 OSS-HDFS

使用半託管 JindoFS 叢集時,可通過JindoDistJob工具遷移半託管JindoFS叢集資料到OSS-HDFS服務,支援全量和增量遷移,並可在不遷移資料區塊的情況下,平穩切換到 JindoFS 服務化方案,確保遷移過程業務無感知,適合需要快速切換儲存架構的情境。

遷移 Hive 表和分區資料至 OSS-HDFS

實現結構化資料移轉,可使用 JindoTable MoveTo 命令遷移Hive表和分區資料到OSS-HDFS服務。該命令在完成底層資料拷貝後,會自動更新中繼資料,使表與分區完整遷移到新路徑。支援條件式篩選,可一次性遷移大量分區,並通過多重資料校正機制保障資料完整性與安全性,非常適合結構化巨量資料集的遷移。

配置無停機遷移

建議:先確定遷移方式,再根據業務需求額外配置鏡像回源,以實現無停機遷移。

若需要在遷移過程中保持商務持續性,實現無停機遷移,可額外配置鏡像回源。在服務切換至OSS後,任何尚未遷移的資料被訪問時,系統會自動從來源站點拉取,確保業務平穩過渡,使用者無感知。遷移流程通常為:先完成歷史資料移轉並將業務入口切換至 OSS,再由鏡像回源自動擷取未遷移的資料,實現資料逐步回填,最終完成全量上雲。

例如,某業務原本部署在其他雲端儲存平台,由於業務發展需要遷移至 OSS,但不能停止線上服務。此時可配置鏡像回源規則,在遷移過程中自動抓取未遷移的資料並同步到 OSS,保障服務持續穩定運行。