阿里云全栈自研的并行文件存储 CPFS,从后端存储到 DPU 加速通道,再到 EFC 弹性客户端,全部采用自研技术,针对训练场景的 IO 特征构建了端到端的加速能力。CPFS 基于阿里云盘古分布式存储底座,scale-out 分布式架构设计,元数据与数据分离独立扩展,实现文件系统的容量和性能线性扩展;在计算节点侧通过 DPU 卸载存储协议栈,构建专用的高速存储访问通道,并实现数据零拷贝,大幅提高计算节点访问存储的性能。
核心能力
在规模方面,新一代 CPFS 单文件系统容量突破 100 PiB,支持万亿级文件数量和百万卡级客户端并发访问。架构上通过多物理集群组成逻辑集群的方式实现水平扩展,对用户呈现为统一命名空间的完整文件系统,无需进行数据拆分。
在性能方面,文件系统总吞吐从上一代的 20 TB/s 提升至 100 TB/s,亿级 IOPS,访问时延降至百微秒级,单客户端吞吐达 40 GB/s、4K 随机读 100 万 IOPS。
在成本方面,新一代 CPFS 支持 100MB/s/TiB、400MB/s/TiB 多种性能规格。支持按需加载 OSS 数据(Lazyload),配合元数据自动同步与智能淘汰机制,将训练数据就绪时间从小时级缩短至分钟级,冷数据常驻低成本对象存储,降低整体存储成本。
在访问能力方面,新一代 CPFS 支持 PAI Serverless、ACS、ACK、ECS、灵骏等阿里云全系列计算产品同时挂载访问,并具备跨亲和域自适应通道能力——同域走 RDMA、跨域自动切换 VPC,路径由系统自动决策。同时支持基于 Access Point 的目录级权限隔离与跨账号授权访问。
在数据治理方面,新一代 CPFS 提供数据洞察能力,包含热点分析、容量分析和元数据投递三项功能,基于每 24 小时可处理百亿级元数据的引擎,帮助用户识别数据冷热分布,辅助降本决策。
产品规格
CPFS智算版(next-gen)各规格的容量范围、性能基线、计费方式和开放范围,请参见产品规格。
使用流程
查看产品规格,确认地域、开放状态和计费方式。
根据数据规模和性能需求选择规格。
创建文件系统和挂载点,并完成客户端挂载。
验证文件读写,并根据业务需要配置监控。
具体步骤请参见入门指引。
开服地域
华东2(上海)
华北6(乌兰察布)
新加坡