檔案儲存體CPFS與Object Storage Service之間已實現資料流動。您可以通過建立資料流動任務實現不同源端的資料同步。
背景資訊
當CPFS Fileset與OSS Bucket建立資料流動後,CPFS檔案系統會自動同步OSS Bucket中的對象中繼資料。同步完成後您能通過高效能且POSIX相容的檔案介面快速地處理OSS中的資料。同時,CPFS檔案系統支援通過CPFS控制台或OpenAPI將資料匯出至OSS Bucket。
按需載入
CPFS檔案系統與OSS Bucket建立資料流動後,當您訪問CPFS目錄或檔案時會按需從OSS上載入需要的中繼資料或資料。例如,執行ls命令列出與OSS Bucket連結的目錄時,會按需從OSS載入目錄項的中繼資料,在訪問檔案時會按需從OSS負載檔案的資料區塊。
資料的匯入與匯出
您可以建立資料流動任務實現CPFS與OSS之間的資料匯入和匯出,以便在計算任務開始前將資料同步至高效能的CPFS檔案系統上。CPFS支援分類樹的整體匯入和匯出,也支援按照檔案清單的匯入和匯出。使用者任務結束後,可通過任務報告檢查任務的執行情況。
重要CPFS會將中繼資料匯出到OSS Bucket的自訂中繼資料中,其命名為
x-oss-meta-afm-xxx,不能刪除或修改,否則檔案系統中的中繼資料會錯誤。任務報告僅供您參考,以實際資料流動完成後的內容為準,請您自行完成源端和目的端資料一致性校正。
中繼資料自動更新
配置當OSS的資料發生變化後,CPFS可通過OSS的資料修改事件監控到中繼資料變化,並自動將修改後的檔案中繼資料同步到CPFS上。這樣可確保CPFS與OSS上的資料保持最終一致,從而節省營運開銷。
Auto Scaling
資料流動的規格支援升配和降配,您可以在業務高峰時升級資料流動頻寬,在業務低穀時對資料流動頻寬降配。
使用限制
Fileset
僅CPFS 2.2.0及以上版本支援Fileset。
單個CPFS檔案系統最多支援建立10個Fileset。
Fileset可連結到CPFS檔案系統內的目錄的深度最大為8層。
Fileset內的檔案或目錄數量上限是100萬個。
不支援Fileset中嵌套Fileset。
資料流動
僅CPFS 2.2.0及以上版本支援資料流動。
單個CPFS檔案系統最多支援建立10個資料流動。
單個資料流動最多可配置5個自動更新目錄。
單個CPFS檔案系統的Fileset只能與一個OSS Bucket連結。
資料流動任務的記錄最長保留90天。
資料流動任務報告儲存在CPFS檔案系統中,佔用CPFS檔案系統空間,最多可儲存100萬個。
CPFS檔案系統不支援與其他地區的OSS Bucket建立資料流動。
資料流動對檔案系統的限制
在資料流動關聯的Fileset中,不可對非空目錄執行重新命名操作,否則報錯
Permission Denied或者目錄非空。資料流動不支援Object Storage Service中的歸檔或者冷歸檔檔案。
目錄、檔案名稱中的特殊字元需要謹慎使用,支援大小寫字母、數字、驚嘆號(!)、短劃線(-)、底線(_)、半形句號(.)、星號(*)和半形圓括弧(())。
不支援超長路徑,資料流動支援的路徑最大長度是1023字元。
資料流動匯出限制
資料流動不支援匯出Hard links類型資料和Symlinks類型資料至OSS Bucket。
資料流動不支援將空目錄匯出到OSS Bucket。
資料流動不支援將ChangeTime屬性匯出到OSS Bucket。
資料流動匯出稀疏資料時,0值會在填充後再匯出到OSS Bucket。
中繼資料自動更新限制
僅華東1(杭州)、西南1(成都)、華東2(上海)、華南1(深圳)、華北3(張家口)、華北2(北京)支援中繼資料自動更新功能。
使用流程
效能指標
操作類型 | 指標 | 說明 |
匯入資料 | GB級以上檔案吞吐 |
|
MB級檔案OPS | 單目錄、多目錄匯入:1000。 | |
匯出資料 | GB級以上檔案吞吐 |
|
MB級檔案OPS | 單目錄、多目錄匯出:600。 | |
刪除資料 | OPS | 單目錄、多目錄刪除:2000。 |
按需載入(Lazy-load) | GB級以上檔案吞吐 |
|
MB級檔案OPS | 單目錄、多目錄匯入:1000。 | |
中繼資料自動更新 | OPS |
|