全部產品
Search
文件中心

Cloud Parallel File Storage:CPFS資料流動

更新時間:Nov 07, 2025

檔案儲存體CPFS與Object Storage Service之間已實現資料流動。您可以通過建立資料流動任務實現不同源端的資料同步。

背景資訊

當CPFS Fileset與OSS Bucket建立資料流動後,CPFS檔案系統會自動同步OSS Bucket中的對象中繼資料。同步完成後您能通過高效能且POSIX相容的檔案介面快速地處理OSS中的資料。同時,CPFS檔案系統支援通過CPFS控制台或OpenAPI將資料匯出至OSS Bucket。

  • 按需載入

    CPFS檔案系統與OSS Bucket建立資料流動後,當您訪問CPFS目錄或檔案時會按需從OSS上載入需要的中繼資料或資料。例如,執行ls命令列出與OSS Bucket連結的目錄時,會按需從OSS載入目錄項的中繼資料,在訪問檔案時會按需從OSS負載檔案的資料區塊。

  • 資料的匯入與匯出

    您可以建立資料流動任務實現CPFS與OSS之間的資料匯入和匯出,以便在計算任務開始前將資料同步至高效能的CPFS檔案系統上。CPFS支援分類樹的整體匯入和匯出,也支援按照檔案清單的匯入和匯出。使用者任務結束後,可通過任務報告檢查任務的執行情況。

    重要
    • CPFS會將中繼資料匯出到OSS Bucket的自訂中繼資料中,其命名為x-oss-meta-afm-xxx,不能刪除或修改,否則檔案系統中的中繼資料會錯誤。

    • 任務報告僅供您參考,以實際資料流動完成後的內容為準,請您自行完成源端和目的端資料一致性校正。

  • 中繼資料自動更新

    配置當OSS的資料發生變化後,CPFS可通過OSS的資料修改事件監控到中繼資料變化,並自動將修改後的檔案中繼資料同步到CPFS上。這樣可確保CPFS與OSS上的資料保持最終一致,從而節省營運開銷。

  • Auto Scaling

    資料流動的規格支援升配和降配,您可以在業務高峰時升級資料流動頻寬,在業務低穀時對資料流動頻寬降配。

使用限制

  • Fileset

    • 僅CPFS 2.2.0及以上版本支援Fileset。

    • 單個CPFS檔案系統最多支援建立10個Fileset。

    • Fileset可連結到CPFS檔案系統內的目錄的深度最大為8層。

    • Fileset內的檔案或目錄數量上限是100萬個。

    • 不支援Fileset中嵌套Fileset。

  • 資料流動

    • 僅CPFS 2.2.0及以上版本支援資料流動。

    • 單個CPFS檔案系統最多支援建立10個資料流動。

    • 單個資料流動最多可配置5個自動更新目錄。

    • 單個CPFS檔案系統的Fileset只能與一個OSS Bucket連結。

    • 資料流動任務的記錄最長保留90天。

    • 資料流動任務報告儲存在CPFS檔案系統中,佔用CPFS檔案系統空間,最多可儲存100萬個。

    • CPFS檔案系統不支援與其他地區的OSS Bucket建立資料流動。

  • 資料流動對檔案系統的限制

    • 在資料流動關聯的Fileset中,不可對非空目錄執行重新命名操作,否則報錯Permission Denied或者目錄非空。

    • 資料流動不支援Object Storage Service中的歸檔或者冷歸檔檔案。

    • 目錄、檔案名稱中的特殊字元需要謹慎使用,支援大小寫字母、數字、驚嘆號(!)、短劃線(-)、底線(_)、半形句號(.)、星號(*)和半形圓括弧(())。

    • 不支援超長路徑,資料流動支援的路徑最大長度是1023字元。

  • 資料流動匯出限制

    • 資料流動不支援匯出Hard links類型資料和Symlinks類型資料至OSS Bucket。

    • 資料流動不支援將空目錄匯出到OSS Bucket。

    • 資料流動不支援將ChangeTime屬性匯出到OSS Bucket。

    • 資料流動匯出稀疏資料時,0值會在填充後再匯出到OSS Bucket。

  • 中繼資料自動更新限制

    僅華東1(杭州)、西南1(成都)、華東2(上海)、華南1(深圳)、華北3(張家口)、華北2(北京)支援中繼資料自動更新功能。

使用流程

  1. 建立CPFS Fileset。具體操作,請參見建立Fileset

  2. 建立資料流動。具體操作,請參見建立資料流動

  3. 建立資料匯入、資料匯出或資料刪除任務。具體操作,請參見建立資料流動任務

  4. 校正資料。資料流動任務完成後,請務必校正目的端資料,確保資料準確無誤。

    警告

    如果您在刪除來源資料前,未校正目的端資料轉送無誤,由此造成的資料丟失及一切損失和後果均由您自行承擔。

效能指標

操作類型

指標

說明

匯入資料

GB級以上檔案吞吐

  • 單檔案匯入吞吐200 MB/s。

  • 多檔案匯入吞吐可達配置頻寬。

MB級檔案OPS

單目錄、多目錄匯入:1000。

匯出資料

GB級以上檔案吞吐

  • 單檔案匯出吞吐200 MB/s。

  • 多檔案匯出吞吐可達配置頻寬。

MB級檔案OPS

單目錄、多目錄匯出:600。

刪除資料

OPS

單目錄、多目錄刪除:2000。

按需載入(Lazy-load)

GB級以上檔案吞吐

  • 單檔案匯入吞吐200 MB/s。

  • 多檔案匯入吞吐可達配置頻寬。

MB級檔案OPS

單目錄、多目錄匯入:1000。

中繼資料自動更新

OPS

  • 資料流動規格600 MB/s:2000。

  • 資料流動規格1200 MB/s:3000。

  • 資料流動規格1500 MB/s:4000。