PAI(Platform of Artificial Intelligence)支持在DLC、DSW、EAS中挂载CPFS智算版,实现数据、代码、模型一份存储、多处访问,各环节路径一致,无需重复拷贝或修改代码。
前提条件
在DLC中挂载CPFS
创建DLC训练任务时,可通过直接挂载或数据集挂载方式配置CPFS存储。训练任务的完整配置,请参见创建训练任务。
如果资源配额为通用计算资源,必须配置专有网络,且选择的专有网络要与智算CPFS一致。如果CPFS智算版文件系统还未配置专有网络,请通过添加VPC挂载点配置。
单次调参选直接挂载;团队协作或频繁创建任务选数据集挂载。
直接挂载
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择分布式训练(DLC),单击新建任务。
在环境信息区域的存储挂载中,单击智算CPFS。
配置以下挂载参数:
参数
说明
选择文件系统
选择已创建的CPFS智算版文件系统实例
文件系统挂载点
选择CPFS的VPC挂载点。仅通用计算资源需要配置,灵骏智算资源无需选择
文件系统路径
指定要挂载的CPFS目录。
/表示挂载整个文件系统,也可指定子目录。挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/。是否只读
设置挂载目录的读写权限。
完成其他配置后,提交任务。
数据集挂载
如需复用存储配置,可使用数据集挂载方式。请先创建CPFS智算版数据集。
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择分布式训练(DLC),单击新建任务。
在数据集挂载区域,单击自定义数据集。
切换到文件存储-智算CPFS页签,选择已创建的数据集,单击确认。
确认挂载路径,按需设置是否只读。
完成其他配置后,提交任务。
在DSW中挂载CPFS
创建DSW实例时,可通过直接挂载或数据集挂载方式配置CPFS存储。DSW实例的完整配置,请参见创建DSW实例。
如果资源配额为通用计算资源,必须配置专有网络,且选择的专有网络要与智算CPFS一致。如果CPFS智算版文件系统还未配置专有网络,请通过添加VPC挂载点配置。
单次调参选直接挂载;团队协作或频繁创建实例选数据集挂载。
直接挂载
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择交互式建模(DSW),单击新建实例。
在环境信息区域的存储挂载中,单击智算CPFS。
配置挂载参数:
参数
说明
选择文件系统
选择已创建的CPFS智算版文件系统实例
文件系统挂载点
选择CPFS的VPC挂载点。仅通用计算资源(含公共资源)需要配置,灵骏智算资源无需选择
文件系统路径
指定要挂载的CPFS目录。
/表示挂载整个文件系统,也可指定子目录。挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/是否只读
设置挂载目录的读写权限。
完成其他配置后,创建实例。
数据集挂载
数据集可保存存储配置供多个任务复用。请先创建CPFS智算版数据集。
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择交互式建模(DSW),单击新建实例。
在数据集挂载区域,单击自定义数据集。
切换到文件存储-智算CPFS页签,选择已创建的数据集,单击确认。
完成其他配置后,创建实例。
在EAS中挂载CPFS
部署EAS服务时,可通过直接挂载方式配置CPFS存储。EAS服务的完整配置,请参见自定义部署。
EAS仅支持直接挂载方式,不支持数据集挂载。如果资源配额设置为通用计算资源时,必须配置专有网络,且选择的专有网络需要与智算CPFS的VPC挂载点一致。如果CPFS智算版文件系统还未配置专有网络信息,请先添加VPC挂载点。
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择模型在线服务(EAS),选择推理服务页签。
单击部署服务 > 自定义部署。
在环境信息区域的存储挂载中,单击智算CPFS。
配置以下挂载参数:
参数
说明
存储权限资源组
选择存储权限资源组。
选择文件系统
选择已创建的CPFS智算版文件系统实例。
文件系统路径
指定要挂载的CPFS目录。
/表示挂载整个文件系统,也可指定子目录。挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/。是否只读
设置挂载目录的读写权限。
完成其他配置后,部署服务。
创建CPFS智算版数据集
数据集是存储配置的模板,记录文件系统、目录路径、挂载路径等信息。创建后可被多个DLC/DSW任务复用,避免重复配置。
EAS不支持数据集挂载。
登录PAI控制台,进入目标工作空间,选择AI资产管理 > 数据集。
在自定义数据集页签下单击新建数据集,配置以下参数:
配置区域
参数
说明
数据集配置
名称
数据集名称。
数据集类型
选择基础型。
存储类型
选择文件存储(智算CPFS)。
内容类型
选择数据类型:图片、文本、音频、视频、表格、通用。
版本配置
存储权限资源组
选择有权限访问目标CPFS文件系统的资源组。
文件系统
选择已创建的CPFS智算版文件系统实例。
文件系统路径
指定CPFS中的目录。
/表示挂载整个文件系统,也可指定子目录如/datasets/train默认挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/。单击确定。
常见问题
报错:not support cross azone attach
CPFS智算版的可用区或集群编号与灵骏GPU资源不一致。选择相同可用区和集群编号的CPFS智算版文件系统。
创建数据集时VPC挂载点无可选项
CPFS智算版文件系统未配置VPC挂载点。先添加VPC挂载点。