PAI(Platform of Artificial Intelligence)支持在DLC、DSW、EAS中挂载CPFS智算版,实现数据、代码、模型一份存储、多处访问,各环节路径一致,无需重复拷贝或修改代码。
前提条件
CPFS 智算版提供 VSC 与 VPC 两种访问通道。其中 VSC 通道基于 RDMA 协议,可充分发挥文件系统性能上限;VPC 通道基于 TCP 协议,单文件系统默认读带宽 10 GB/s、写带宽 5 GB/s。两种通道的完整性能规格请参见产品规格。根据使用的资源类型完成对应网络配置,关于资源类型的详细说明,请参见 PAI 资源概述。
灵骏智算资源:先判断灵骏与 CPFS 是否处于同一存算亲和域(判断方式见下方说明)。同一存算亲和域使用 VSC 通道,无需额外配置;不在同一存算亲和域使用 VPC 通道,需为 CPFS 文件系统创建 VPC 挂载点。
通用计算资源:使用 VPC 通道,需为 CPFS 文件系统创建 VPC 挂载点,且 DLC/DSW/EAS 任务的专有网络需与 VPC 挂载点同 VPC,或已通过云企业网打通。
如何判断灵骏与 CPFS 是否处于同一存算亲和域
调用 查询文件系统关联的HpnZone列表,传入目标 CPFS 文件系统 ID,获取与该文件系统同存算亲和域的灵骏 HPNZone 列表。
通过灵骏 OpenAPI 或 PAI 控制台查询计划使用的灵骏资源所在的 HPNZone。
若灵骏 HPNZone 命中上述列表,则属于同一存算亲和域;未命中则属于不同存算亲和域。
判断结果一律以 API 返回为准,不能仅凭可用区或 HPNZone 取值是否相同直接判断。计算和存储同集群编号时属于同一个存算亲和域,集群编号不同时可能属于同一个存算亲和域,跨可用区的灵骏与 CPFS 一定不属于同一存算亲和域。
在DLC中挂载CPFS
创建DLC训练任务时,可通过直接挂载或数据集挂载方式配置CPFS存储。训练任务的完整配置,请参见创建训练任务。
如果资源配额为通用计算资源,必须配置专有网络,且选择的专有网络要与使用的CPFS挂载点所在专有网络一致。如果CPFS智算版文件系统还未配置专有网络,请通过管理VPC挂载点配置。
如果是灵骏资源,出现跨亲和域访问时会自动切换到VPC访问通道,也需要为 CPFS 文件系统创建 VPC 挂载点。
单次调参选直接挂载;团队协作或频繁创建任务选数据集挂载。
直接挂载
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择分布式训练(DLC),单击新建任务。
在环境信息区域的存储挂载中,单击智算CPFS。
配置以下挂载参数:
参数
说明
选择文件系统
选择已创建的CPFS智算版文件系统实例
文件系统挂载点
(可选)选择 CPFS 的 VPC 挂载点域名。仅当计算资源与 CPFS 文件系统不在同一存算亲和域时需要配置。同一存算亲和域内通过 VSC通道直接访问,无需填写。
存算亲和域如何判断见前提条件。
文件系统路径
指定要挂载的CPFS目录。
/表示挂载整个文件系统,也可指定子目录。挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/。是否只读
设置挂载目录的读写权限。
完成其他配置后,提交任务。
数据集挂载
如需复用存储配置,可使用数据集挂载方式。请先创建CPFS智算版数据集。
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择分布式训练(DLC),单击新建任务。
在数据集挂载区域,单击自定义数据集。
切换到文件存储-智算CPFS页签,选择已创建的数据集,单击确认。
确认挂载路径,按需设置是否只读。
完成其他配置后,提交任务。
在DSW中挂载CPFS
创建DSW实例时,可通过直接挂载或数据集挂载方式配置CPFS存储。DSW实例的完整配置,请参见创建DSW实例。
如果资源配额为通用计算资源,必须配置专有网络,且选择的专有网络要与使用的CPFS挂载点所在专有网络一致。如果CPFS智算版文件系统还未配置专有网络,请通过管理VPC挂载点配置。
如果是灵骏资源,出现跨亲和域访问时会自动切换到VPC访问通道,也需要为 CPFS 文件系统创建 VPC 挂载点。
单次调参选直接挂载;团队协作或频繁创建实例选数据集挂载。
直接挂载
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择交互式建模(DSW),单击新建实例。
在环境信息区域的存储挂载中,单击智算CPFS。
配置挂载参数:
参数
说明
选择文件系统
选择已创建的CPFS智算版文件系统实例
文件系统挂载点
(可选)选择 CPFS 的 VPC 挂载点域名。仅当计算资源与 CPFS 文件系统不在同一存算亲和域时需要配置。同一存算亲和域内通过 VSC通道直接访问,无需填写。
存算亲和域如何判断见前提条件。
文件系统路径
指定要挂载的CPFS目录。
/表示挂载整个文件系统,也可指定子目录。挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/是否只读
设置挂载目录的读写权限。
完成其他配置后,创建实例。
数据集挂载
数据集可保存存储配置供多个任务复用。请先创建CPFS智算版数据集。
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择交互式建模(DSW),单击新建实例。
在数据集挂载区域,单击自定义数据集。
切换到文件存储-智算CPFS页签,选择已创建的数据集,单击确认。
完成其他配置后,创建实例。
在EAS中挂载CPFS
部署EAS服务时,可通过直接挂载方式配置CPFS存储。EAS服务的完整配置,请参见自定义部署。
EAS仅支持直接挂载方式,不支持数据集挂载。如果资源配额设置为通用计算资源时,必须配置专有网络,且选择的专有网络要与使用的CPFS挂载点所在专有网络一致。如果CPFS智算版文件系统还未配置专有网络信息,请先管理VPC挂载点。
如果是灵骏资源,出现跨亲和域访问时会自动切换到VPC访问通道,也需要为 CPFS 文件系统创建 VPC 挂载点。
登录PAI控制台,进入目标工作空间。
在左侧导航栏选择模型在线服务(EAS),选择推理服务页签。
单击部署服务 > 自定义部署。
在环境信息区域的存储挂载中,单击智算CPFS。
配置以下挂载参数:
参数
说明
存储权限资源组
选择存储权限资源组。
选择文件系统
选择已创建的CPFS智算版文件系统实例。
文件系统路径
指定要挂载的CPFS目录。
/表示挂载整个文件系统,也可指定子目录。挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/。是否只读
设置挂载目录的读写权限。
完成其他配置后,部署服务。
创建CPFS智算版数据集
数据集是存储配置的模板,记录文件系统、目录路径、挂载路径等信息。创建后可被多个DLC/DSW任务复用,避免重复配置。
EAS不支持数据集挂载。
登录PAI控制台,进入目标工作空间,选择AI资产管理 > 数据集。
在自定义数据集页签下单击新建数据集,配置以下参数:
配置区域
参数
说明
数据集配置
名称
数据集名称。
数据集类型
选择基础型。
存储类型
选择文件存储(智算CPFS)。
内容类型
选择数据类型:图片、文本、音频、视频、表格、通用。
版本配置
存储权限资源组
选择有权限访问目标CPFS文件系统的资源组。
文件系统
选择已创建的CPFS智算版文件系统实例。
文件系统路径
指定CPFS中的目录。
/表示挂载整个文件系统,也可指定子目录如/datasets/train默认挂载路径
服务实例内访问CPFS的路径,如
/mnt/data/。单击确定。