建立及管理資料集 - Platform For AI

資料集管理支援建立基礎資料集和標註資料集，並通過版本管理追蹤資料變更、複現實驗和快速回退，確保商務持續性。

資料集簡介

資料集分為基礎資料集和標註資料集。基礎資料集包含未經標註的未經處理資料，用於預訓練模型；標註資料集包含人工標註的帶標籤資料，用於模型微調和評估。

在自定义数据集頁簽下單擊新建数据集，数据类型選擇基础型。在建立資料集時，資料存储类型支援Object Storage Service、檔案儲存體（通用型NAS、極速型NAS、CPFS、智算CPFS），關鍵參數配置如下：

參數	描述
内容类型	選擇資料類型：圖片、文本、音頻、視頻、表格或通用。選定類型後，標註時系統會自動篩選匹配的資料集。
所有者	選擇資料集所有者。僅工作空間管理員可配置該參數。
导入格式/OSS 路径	匯入格式為檔案時，OSS 直接選取一個檔案，資料集與該檔案對應，常用於 iTAG 資料集建立。匯入格式為檔案夾時，OSS 直接選取一個檔案夾，可掛載到容器中，常用於 DSW、DLC 或 EAS 資料集。
默认挂载路径	資料的預設掛載路徑，常用於 DSW 和 DLC：在 DSW 中，建立執行個體時可將檔案系統掛載到該路徑。在 DLC 中，運行代碼時系統會在該目錄下尋找檔案，例如`python /root/data/file.py`。
开启版本加速	當导入格式選擇檔案夾時，支援開啟資料集版本加速。關鍵配置如下：最大容量：加速槽容量，需大於等於資料集容量。加速掛載點：預設使用內部掛載點，您也可以選擇已有的加速掛載點或建立掛載點。說明使用靈駿智算資源時，如果加速挂载点選擇為新建挂载点，則挂载点类型需選擇VPC，且選擇的 VPC和交換器需要與靈駿智算資源一致。加速版本預設掛載路徑：資料集版本的預設掛載路徑。

參數	描述
内容类型	選擇資料類型：圖片、文本、音頻、視頻、表格或通用。選定類型後，標註時系統會自動篩選匹配的資料集。
所有者	選擇資料集所有者。僅工作空間管理員可配置該參數。
文件系统	選擇檔案系統，與資料存储类型對應。
文件系统挂载点	配置掛載點來訪問NAS 檔案系統。
文件系统路径	配置 NAS 中已有的儲存路徑。例如`/`。
默认挂载路径	資料的預設掛載路徑，常用於 DSW 和 DLC：在 DSW 中，建立執行個體時可將檔案系統掛載到該路徑。在 DLC 中，運行代碼時系統會在該目錄下尋找檔案，例如`python /root/data/file.py`。
开启版本加速	當資料存储类型為通用型 NAS、極速型 NAS 或 CPFS 時，支援開啟資料集版本加速。關鍵配置如下：最大容量：加速槽容量，需大於等於資料集容量。加速版本預設掛載路徑：資料集版本的預設掛載路徑。

在自定义数据集頁簽下單擊目標資料集操作列的新建版本。

關鍵說明如下：

系統內建多種公用資料集（如 MMLU、CMMLU、GSM8K 等），您可以在公共数据集頁簽下單擊資料集名稱，查看公用資料集基本資料。

公用資料集列表展示每個資料集的資料集名稱/ID、類型、任務、語言、大小、資料量和發布方資訊。

對於自訂資料集，您可以對其進行版本列表查看、建立版本、公開和刪除等操作；對於標註資料集，您可以對其進行資料查看、公開和刪除等操作。

關鍵說明如下：

對於可见范围為仅数据集所有者可见的資料集，您也可以單擊公开数据集，將資料集在工作空間內公開，讓所有工作空間成員均可以查看該資料集。一旦公開後，該資料集後續不能再轉為僅資料集所有者可見，請謹慎操作。
通過 RAM 使用者查看資料集資料時，如果提示沒有存取權限，請為RAM 使用者授權。
刪除資料集時，可能會影響已有的任務正常運行。一旦刪除，則不可恢複，請謹慎操作。