高性能文件存储服务
文件存储 CPFS(Cloud Parallel File Storage)是阿里云推出的全托管、可扩展并行文件系统,满足高性能计算场景的需求。
文件存储 CPFS 提供了统一的命名空间,支持成百上千的机器同时访问,拥有数十 GB 的吞吐、数百万的 IOPS 能力的同时还能保证亚毫秒级的延时。
文件存储 CPFS 应用于 AI 训练、自动驾驶、基因计算、影视渲染、石油勘探、气象分析、EDA 仿真等场景,适用于高吞吐、高IOPS,海量文件的 IO 密集型业务。
产品规格
200MB/s/TiB 基线
-
IOPS:最高可达 280万
-
吞吐:最高可达 100000MBps
-
平均单路 4k 读延迟:0.4ms
-
平均单路 4k 写延迟:0.6ms
支持与 OSS 数据迁移
100MB/s/TiB 基线
-
IOPS:最高可达 280万
-
吞吐:最高可达 100000MBps
-
平均单路 4k 读延迟:0.6ms
-
平均单路 4k 写延迟:0.8ms
支持与 OSS 数据迁移
产品优势
高性能
采用分布式并行架构,最高可达 2TB/s 吞吐,3000 万 IOPS。
弹性可扩展
支持在线扩容,性能随容量扩展线性提升。
与 OSS 数据湖融合
支持与 OSS 数据流动,降低数据存储成本。
简单易用
分钟级创建高性能文件系统。
产品功能
高性能计算文件存储
支持标准的 POSIX、MPI-IO、NFS 协议,高性能计算程序无需进行任何接口适配和性能优化即可高效率执行。
兼容 POSIX/MPI/NFS
兼容标准 POSIX/MPI-IO/NFS 协议,高性能应用程序无需进行任何更改,即可直接通过 ECS 或容器 CSI 接口连接 CPFS 读写数据。
高吞吐,低延时
新一代并行架构,用户 I/O 在客户端和存储节点间完全并行访问,通过集群聚合,吞吐可以线性增加。同时基于全闪 SSD 介质,提供亚毫秒级时延。
并发访问优化
元数据和数据均采用分布式的并行架构,无惧小文件,支持百万级 IOPS,几千台服务器同时并发访问,适合 GPU 多机多卡训练。
与阿里云计算生态密切整合
与 E-HPC、容器 ACK、无影等计算平台整合,支持方便的挂载 CPFS 文件系统。用户可以在云上分钟级构建高性能计算和分析平台。
与 E-HPC 深度整合
通过 E-HPC 控制台可以快速创建 CPFS 文件系统并搭建完整的高性能计算平台。
支持容器 ACK CSI 接口
CPFS 支持阿里云ACK容器服务。通过 CSI 接口,容器服务可以方便的利用 CPFS 的高速 I/O 能力。同时实现计算力大规模弹性伸缩。
支持无影云桌面
CPFS 通过 NFS 协议服务支持无影桌面直接挂载。实现开发调试终端与高性能运算集群的数据共享。
应用场景
-
场景描述与概要
将 CPFS 、NAS、OSS 和 ESSD 等多个存储产品组合与 GPU 云服务器、SCC、神龙弹性裸金属等计算集群无缝对接。通过容器化部署服务实现资源弹性调度,提供超高吞吐和超高 IOPS 能力。
-
场景需求与痛点
AI 数据流复杂,存储系统 IO 存在瓶颈。
AI 训练、推理需求高性能计算存储。
面对快速增长的数据,如何做好高效、低成本数据生命周期管理。 -
解决方案与优势
CPFS 与 AI 场景完美结合,支持海量小文件访问,提升 AI 训练性能。
CPFS 灵活整合多种计算集群,提供超高吞吐和超高 IOPS 能力。
云上云下数据流转和生命周期管理,满足高效计算和成本优化。 -
方案效果与价值
CPFS 高性能 IO 加速训练时的小文件读取效率,提升业务模型的训练迭代效率,有力的支撑了客户业务增长带来的大容量和高性能的需求。
OSS 冷热数据分级存储能力,为客户提供海量数据长期存储服务,进一步协助客户节省开支。
-
场景描述与概要
自动驾驶场景下,每台测试车每天将产生几十 TB 数据,针对这些数据需要进行快速分析,也要兼顾数据存储的成本。
-
场景需求与痛点
业务创新为要,降低 IT 支出成本。
海量数据需要实现高速处理。 -
解决方案与优势
数据通过专线上传至 OSS。
需要训练的数据,从 OSS 导入到 CPFS,利用 GPU 和 CPFS 文件系统的强大处理能力,在云端进行模型训练。
训练完成后,数据归档到 OSS 进行长期保存。 -
方案效果与价值
CPFS 高性能、灵活扩展的能力,有力的支撑了客户业务增长带来的大容量和高性能的需求。
OSS 冷热数据分级存储能力,为客户提供海量数据长期存储服务,进一步协助客户节省开支。
推荐搭配使用
-
场景描述与概要
文件存储 CPFS 为影视渲染提供几十GBps吞吐和百万 IOPS 的性能,在线扩容,业务无需中断,专线上云,确保数据安全。
-
场景需求与痛点
几十 GBps 热点数据访问,需要极高的存储吞吐能力。
闭源商业渲染应用,需要应用零改造访问共享存储。
不同项目算力,容量、性能需求不同,需要随需而变。
计算密集型业务,成本高昂,需要在各个环节控制成本。 -
解决方案与优势
CPFS 高性能提供百万 IOPS 和几十GBps吞吐,支持前端缓存加速。
CPFS 提供极致弹性,磁盘层按需进行容量扩容,缓存层按需(性能)购买,应用无感知。
CPFS 高性价比,支持按照容量购买空间,按性能配置缓存,无需副本,无需拷贝,单份数据提供极致性能,有效降低TCO。 -
方案效果与价值
CPFS 提供高吞吐和高IOPS,极大的提高了渲染任务的执行效率,简化日常运维工作,降低整体成本。
-
场景描述与概要
以高性能并行文件存储 CPFS 为核心,充分利用与 OSS 和 NAS 之间的数据分层流动, 与神龙、GPU 和容器等计算产品无缝结合,为 AI、超算、仿真和生信等业务提供高性能计算存储解决方案。
-
场景需求与痛点
海量业务带来的吞吐和 IO 性能瓶颈。
传统文件存储无法弹性扩展性能和容量。
运维需要重度参与数据管理和性能维护。 -
解决方案与优势
超高性能存储提高了计算资源的利用率。
便于性能升级和容量扩展,减少运维管理成本。
与云上无缝对接,数据冷热分层,降低成本。 -
方案效果与价值
阿里云 CPFS 文件系统提供超高吞吐与 IOPS,有效应对上千节点的数据读写压力,提升了计算效率,显著降低业务的整体成本,助力企业实现降本增效。
IOPS:最高可达 3000万