在PAI子产品DLC、DSW或EAS中挂载NAS/CPFS数据集,可以统一存储训练代码、输入数据和结果文件。通用型NAS文件系统适合大多数训练和部署场景。
前提条件
已创建通用型NAS文件系统。具体操作,请参见创建文件系统。
步骤一:创建NAS数据集
在EAS中挂载NAS数据无需额外操作。在DLC和DSW中,您可以直接挂载NAS数据,也可以挂载NAS数据集。挂载数据集时,需提前创建NAS类型数据集。关键配置如下:
地域必须与DLC、DSW实例、EAS服务以及数据和代码的存储地域保持一致。
参数 | 描述 | |
数据集配置 | 存储类型 | 选择文件存储(通用型NAS)。 |
版本配置 | 文件系统 | 配置为已创建NAS文件系统的ID。登录NAS控制台,在目标地域查看文件系统ID;也可以在下拉列表中查看已有的文件系统ID。 |
文件系统路径 | NAS的挂载路径,配置为 | |
默认挂载路径 | NAS在DLC任务或DSW实例中的挂载路径,配置为 | |
步骤二:使用NAS数据集
创建NAS数据集后,在DLC、DSW或EAS中挂载该数据集,即可读取NAS文件系统中的数据。
在DLC中挂载NAS数据集
创建分布式训练(DLC)任务时,在环境信息区域绑定NAS存储。关键参数配置如下:
参数 | 描述 |
数据集挂载 | 单击自定义数据集,选择通用型NAS数据集,并配置挂载路径。DLC任务运行时会按该路径访问NAS数据。通过是否只读开关可以设置读写权限,避免误写训练数据。 |
存储挂载 | 单击通用型NAS,配置文件系统参数,并配置挂载路径,将数据集挂载到DLC容器的指定路径。DLC任务运行时会按该路径访问NAS数据。通过是否只读开关可以设置读写权限,避免误写训练数据。 在高级配置中设置nconnect参数,可以提升DLC容器访问NAS的吞吐性能。nconnect是NFS客户端的Linux挂载选项,通过增加客户端与服务器之间的TCP连接数来提升吞吐。建议设置为4。 使用已开启本地缓存的灵骏智算资源配额时,可以开启使用缓存开关。缓存能减少重复读取NAS数据的延迟,提升训练效率。 |
在DSW中挂载NAS数据集
在创建DSW实例时,绑定NAS类型数据集。关键参数配置如下:
数据集挂载:通过以下两个参数挂载数据集。
自定义数据集:单击
,选择已创建的文件存储-通用型NAS数据集。挂载路径:选择数据集后,系统会自动关联数据集中配置的挂载路径。在DSW开发环境中,您可以通过该路径访问NAS文件系统中的数据。
工作目录:默认将系统盘目录挂载到 /mnt/workspace。您也可以在下拉列表中选择已挂载的数据集,系统会同步挂载到DSW工作目录 /mnt/workspace 中。
在EAS中挂载NAS数据集
在部署EAS服务时,绑定NAS类型数据集。关键参数配置如下:
在环境信息区域完成模型配置,挂载类型选择通用型NAS,并配置以下参数:
选择文件系统:选择NAS文件系统。
文件系统挂载点:选择挂载点。EAS服务通过挂载点访问NAS文件系统。
文件系统路径:NAS中需要挂载的源路径,即NAS实例内部的文件系统路径。
挂载路径:挂载到服务实例的目标路径,用来读取NAS路径中的文件。