创建及管理数据集 - 人工智能平台 PAI

数据集管理支持创建基础数据集和标注数据集，并通过版本管理追踪数据变更、复现实验和快速回退，确保业务连续性。

数据集简介

数据集分为基础数据集和标注数据集。基础数据集包含未经标注的原始数据，用于预训练模型；标注数据集包含人工标注的带标签数据，用于模型微调和评估。

在自定义数据集页签下单击新建数据集，数据类型选择基础型。在创建数据集时，数据存储类型支持对象存储（OSS）、文件存储（通用型NAS、极速型NAS、CPFS、智算CPFS），关键参数配置如下：

参数	描述
内容类型	选择数据类型：图片、文本、音频、视频、表格或通用。选定类型后，标注时系统会自动筛选匹配的数据集。
所有者	选择数据集所有者。仅工作空间管理员可配置该参数。
导入格式/OSS 路径	导入格式为文件时，OSS 路径选择一个文件，数据集与该文件对应，常用于 iTAG 数据集创建。导入格式为文件夹时，OSS 路径选择一个文件夹，可挂载到容器中，常用于 DSW、DLC 或 EAS 数据集。
默认挂载路径	数据的默认挂载路径，常用于 DSW 和 DLC：在 DSW 中，创建实例时可将文件系统挂载到该路径。在 DLC 中，运行代码时系统会在该目录下查找文件，例如`python /root/data/file.py`。
开启版本加速	当导入格式选择文件夹时，支持开启数据集版本加速。关键配置如下：最大容量：加速槽容量，需大于等于数据集容量。加速挂载点：默认使用内部挂载点，您也可以选择已有的加速挂载点或新建挂载点。说明使用灵骏智算资源时，如果加速挂载点选择为新建挂载点，则挂载点类型需选择VPC，且选择的 VPC和交换机需要与灵骏智算资源一致。加速版本默认挂载路径：数据集版本的默认挂载路径。

参数	描述
内容类型	选择数据类型：图片、文本、音频、视频、表格或通用。选定类型后，标注时系统会自动筛选匹配的数据集。
所有者	选择数据集所有者。仅工作空间管理员可配置该参数。
文件系统	选择文件系统，与数据存储类型对应。
文件系统挂载点	配置挂载点来访问NAS 文件系统。
文件系统路径	配置 NAS 中已有的存储路径。例如`/`。
默认挂载路径	数据的默认挂载路径，常用于 DSW 和 DLC：在 DSW 中，创建实例时可将文件系统挂载到该路径。在 DLC 中，运行代码时系统会在该目录下查找文件，例如`python /root/data/file.py`。
开启版本加速	当数据存储类型为通用型 NAS、极速型 NAS 或 CPFS 时，支持开启数据集版本加速。关键配置如下：最大容量：加速槽容量，需大于等于数据集容量。加速版本默认挂载路径：数据集版本的默认挂载路径。

在自定义数据集页签下单击目标数据集操作列的新建版本。

关键说明如下：

系统内置多种公共数据集（如 MMLU、CMMLU、GSM8K 等），您可以在公共数据集页签下单击数据集名称，查看公共数据集基本信息。

公共数据集列表展示每个数据集的数据集名称/ID、类型、任务、语言、大小、数据量和发布方信息。

对于自定义数据集，您可以对其进行版本列表查看、新建版本、公开和删除等操作；对于标注数据集，您可以对其进行数据查看、公开和删除等操作。

关键说明如下：

对于可见范围为仅数据集所有者可见的数据集，您也可以单击公开数据集，将数据集在工作空间内公开，让所有工作空间成员均可以查看该数据集。一旦公开后，该数据集后续不能再转为仅数据集所有者可见，请谨慎操作。
通过 RAM 用户查看数据集数据时，如果提示没有访问权限，请为RAM 用户授权。
删除数据集时，可能会影响已有的任务正常运行。一旦删除，则不可恢复，请谨慎操作。