本文介紹CPFS智算版檔案系統的使用限制。
檔案系統
限制項 | 閾值 | 說明 |
單個檔案系統可建立的掛載點數量 | 1個 | 單個CPFS智算版檔案系統最多支援建立一個VPC掛載點。 |
是否支援子目錄掛載 | 支援 | 支援通過子目錄掛載CPFS智算版檔案系統。 |
單個檔案系統的最大容量 | 1 PiB | 單個檔案系統最大容量1 PiB。 如需建立20 PiB的檔案系統,請提交工單申請建立 。 |
單個檔案系統最大檔案或目錄數量 | 100億個 | 檔案/目錄數量隨檔案系統容量增長而增加。 |
單個檔案系統通過VSC掛載時支援的節點數量 | 4000個 | 單個檔案系統最多支援4000台節點通過VSC訪問。 |
訪問路徑最大長度 | 4096位元組 | Linux VFS的訪問路徑(例如:/a/b/c)最大長度為4096位元組。 |
檔案名稱長度 | 255位元組 | 檔案名稱最大支援255位元組。 |
VPC掛載點支援的ECS數量 | 6000 | ECS通過VPC掛載點訪問CPFS智算版時,每300 TiB容量支援500個ECS,單個檔案系統最大支援掛載6000個ECS,如需掛載更多ECS,請提交工單申請。 |
掛載
僅支援在阿里雲Platform for AI (PAI)(靈駿智算資源、PAI通用計算資源、PAI靈駿智算資源(單租戶版))和Container Compute Service (ACS)(高效能網路GPU型工作負載)中掛載訪問,不支援ECS執行個體訪問。
作業系統
CPFS智算版用戶端僅支援Linux(Alibaba Cloud Linux、Ubuntu)作業系統。支援的作業系統版本資訊,請參見下表。
作業系統類型 | 發行版 | 核心版本 |
Alibaba Cloud Linux | Alibaba Cloud Linux 3 | 5.10.134-13 以上 |
Ubuntu | Ubuntu 24.04 | 6.8.0-79 以上 |
協議
僅支援POSIX協議。
擴容縮容
僅支援擴容CPFS智算版檔案系統執行個體,不支援縮容。擴容步長為10240 GiB,支援擴容到1 PiB。如需建立20 PiB的檔案系統,請提交工單申請建立 。
資料流動
資料流動
CPFS智算版2.4.0及以上版本支援同帳號資料流動,CPFS智算版2.6.0及以上版本支援跨帳號資料流動。
單個CPFS智算版檔案系統最多支援建立10個資料流動。
CPFS智算版檔案系統的一個檔案路徑只能與一個OSS Bucket連結。
CPFS智算版檔案系統不支援與其他地區的OSS Bucket建立資料流動。
資料流動對路徑、檔案名稱和目錄名的限制
在資料流動關聯的檔案系統路徑中,不可對非空目錄執行重新命名操作,否則報錯
Permission Denied或者目錄非空。目錄、檔案名稱中的特殊字元需要謹慎使用。
支援大小寫字母、數字、驚嘆號(!)、短劃線(-)、底線(_)、半形句號(.)、星號(*)和半形圓括弧(())特殊字元。
不支援出現以下特殊字元,否則可能會導致您的任務產生非預期的結果或運行失敗。
不支援子目錄或檔案名稱為雙半形句號(..)的檔案。
不支援路徑包含反斜線(\)、連續反斜線(\\)的檔案。
不支援子目錄和檔案名稱包含正斜線(/)的檔案。
不支援超長路徑,資料流動支援的路徑最大長度是1023個字元。
資料流動任務限制
僅CPFS智算版2.6.0及以上版本支援流式任務,且僅支援通過OpenAPI使用。
單個資料流動下最多支援同時運行4個批式任務,流式任務無限制。
匯入限制
Symlink類型的檔案匯入到CPFS智算版後,會轉變為包含資料的普通檔案,並丟失Symlink資訊。
如果OSS Bucket存在多個版本,則只複製最新的版本。
不支援長度大於255位元組的檔案名稱或子目錄名。
匯出限制
Symlink類型的檔案在同步到OSS後,不會同步Symlink所指向的檔案,而是會變成一個普通的無資料空白對象。
Hardlink類型的檔案僅作為普通檔案同步到OSS。
Socket、Device、Pipe類型的檔案匯出到OSS Bucket時,會變成一個普通的無資料空白對象。
不支援長度大於1023字元的目錄路徑。
Fileset
當前Fileset功能僅供白名單使用者受限申請使用,如果您希望使用Fileset功能,您可先提交工單,申請添加Fileset使用白名單。
Fileset
限制項
說明
檔案系統
僅CPFS智算版2.7.0及以上版本支援Fileset。
單檔案系統可建立的Fileset數量
預設為500個。
若需更高配額,可通過提交工單申請提升,上限最高可達3000個。
Fileset內可建立的檔案或目錄數量
100億
Fileset
不支援在 Fileset中嵌套Fileset,即當父目錄已指定為 Fileset,其子目錄不支援指定為Fileset。
不支援跨Fileset建立永久連結、rename操作。
Fileset路徑
路徑必須以正斜線(/)開頭和結尾。
必須為新路徑,不能為已存在路徑,Fileset路徑不支援修改。
Fileset路徑為多層目錄時,父目錄必須是已存在的目錄。
路徑深度最多為8層,根目錄(/)為0層。例如,Fileset路徑為/workspace/dir1/則表示路徑深度為2層,依此類推。
路徑總長度最多為990個字元。
單層目錄名稱長度最多為255個字元,支援大小寫英文字母,可包含數字、底線(_)、半形句號(.)和短劃線(-)。
Fileset刪除
Fileset只能通過控制台或API刪除,直接刪除Fileset不會立即釋放空間,會有24小時回收。
如果您需要立即釋放空間,可先清空Fileset下的資料,再刪除Fileset。資料被刪除後無法恢複,請謹慎刪除。
Fileset配額
限制項
說明
檔案系統
僅CPFS智算版2.7.0及以上版本支援Fileset配額。
配額
一個Fileset路徑只支援一個配額。
配額容量
最小起步10 GiB,擴容步長為1 GiB。
配額檔案數
最小起步10,000,擴容步長為1,上限為100億。
配額寫入
如果Fileset的寫入資料達到容量配額或寫入檔案數達到檔案數配額,都將無法寫入新資料。
配額統計
配額的統計大約有15分鐘的延遲,當前的實際使用量大約15分鐘之後才會生效。
修改配額
修改目錄配額時,設定的配額容量或檔案數必須高於已使用容量或檔案數,否則會報錯。