数据集加速槽用于绑定数据源地址。系统根据数据源类型、数据大小、训练框架和模型等因素预处理数据集,提升访问速度。您可创建、管理数据集加速槽及其挂载点。
前提条件
已创建数据集加速实例。具体操作,请参见创建及管理数据集加速实例。
创建数据集加速槽
登录PAI控制台,在左侧导航栏,选择。
进入创建加速槽配置面板。
方式一:在加速槽页签,单击创建加速槽。
方式二:在加速实例详情页面创建加速槽。
说明该方式下,所属实例固定为当前加速实例,无法选择其他实例。
在加速实例页签,单击目标实例名称,进入详情页面。
在数据集加速槽页签,单击创建加速槽。
在创建加速槽配置面板,配置以下参数。
参数
描述
所属实例
选择已创建的加速实例。
绑定云产品
阿里云对象存储OSS
读写属性:设置OSS的读写权限。支持只读和可读写。
选定OSS路径:选择数据集在OSS中的存储目录。
阿里云文件存储(通用型NAS)&阿里云文件存储(极速型NAS)
选择文件系统:选择已创建文件系统的ID。
文件系统挂载点:选择挂载点。训练集群通过挂载点访问文件系统。
文件系统路径:选择NAS中已有的存储路径。默认为
/。
最大容量
配置数据集加速槽容量,需大于等于数据集容量。容量不足会导致加速失败。参考具体数据集容量设置。
挂载点
绑定云产品选择阿里云对象存储OSS时,可配置该参数。
选择或新建挂载点,将数据集加速器挂载到训练集群。训练任务通过挂载点访问加速槽,读取数据集,提高访问效率。挂载点与训练集群不在同一VPC时,训练任务无法访问数据集。
支持以下两种配置方式:
选择挂载点:选择已有的挂载点。
新建挂载点:配置以下参数,创建新的挂载点。
挂载点类型:仅支持VPC。
VPC网络:选择已创建的专有网络。没有可用网络时,单击创建专有网络创建。
交换机:选择已创建的交换机。没有可用交换机时,单击创建交换机创建。
说明数据集加速器只支持专有网络类型的挂载点。
一个专有网络挂载点可被同VPC下不同交换机中的训练集群使用。
添加挂载点会占用文件系统的一个IP地址。建议选择内网IP较多的交换机。
挂载点只支持同一VPC网络的训练集群挂载。
启动自动回收
打开启动自动回收开关,配置数据集加速槽的运行时间或停止时间。
单击提交。
系统初始化加速槽实例。待状态变为运行中后,即可使用。状态未变为运行中前,训练任务无法读取加速槽数据。
管理数据集加速槽
可在加速槽页签或加速实例详情页面管理数据集加速槽,两个页面操作相同。在数据集加速器页面,单击加速槽页签,查看加速槽列表。列表包含加速槽名称/ID、挂载点、同步状态、所属实例、加速存储、存储路径、状态及加载时长。在操作列,可展开更多菜单查看停止和删除选项。
单击加速槽名称,进入详情页面,查看基本信息。
将鼠标悬停在加速存储列,查看数据集存储类型。
可停止、删除不再使用的加速槽,或克隆新加速槽。也可以单击自动回收配置运行时间或自动停止时间。及时清理不再使用的加速槽,可释放资源。
管理挂载点
单击加速槽名称进入详情页面,管理挂载点。挂载点信息包括挂载点名称、挂载点类型(如VPC)、VPC ID、VSwitch ID、可用区、IP 和 port。
查看配置信息:将鼠标悬停在挂载点名称上,查看其配置信息。
查看部署配置:单击挂载点名称,展示数据集加速器客户端的部署配置。
下载部署配置:在部署配置面板,单击下载,下载YAML文件。该文件用于在训练集群中配置数据集加速器。未在训练集群配置客户端,加速槽将无法挂载。
也可单击复制,将YAML内容复制到剪贴板。该YAML文件包含
apiVersion: data.datasetacc.io/v1、kind: DataSetAccelerator,以及metadata(含加速槽名称)和spec(含frontEndAddr和frontEndPort)等字段。
后续步骤
启用数据集的加速功能。创建DSW实例或提交DLC任务时即可使用,加快数据集访问速度。详情请参见在PAI平台使用数据集加速器。