資料集是模型訓練與評測的基礎，阿里雲百鍊資料管理功能可以協助您高效地建立和管理資料集。
資料集概述
阿里雲百鍊数据管理功能對您業務空間下所有大模型相關資料集進行統一管理。資料集分為训练集（用於模型調優，支援 SFT/DPO/CPT）和评测集（用於模型評測兩類。
訓練集支援4種訓練情境：文本產生、多模態理解、圖生視頻（首幀）、圖生視頻（首尾幀）；評測集僅支援文本產生情境。資料集類型建立後不可變更，請根據下遊用途謹慎選擇。
資料集名稱最長50字元（支援中文、英文、數字、底線、連字號和點），描述最長200字元。不支援建立或發布空資料集。資料集建立數量無限制，匯入資料量無上限。
DPO/CPT 訓練方法、雲端儲存掛載僅支援北京地區。
訓練方法與情境
訓練集支援三種訓練方法，適用情境和最低資料量要求不同：
- SFT（監督微調）：指令微調，使模型學會解決特定任務。建議資料量上千條。全部網站可用。
- DPO（直接偏好最佳化）：偏好對齊訓練。建議資料量上百條。
- CPT（持續預訓練）：領域知識注入。建議資料量至少 5000 萬 Token。不支援草稿狀態和資料繼承。
CPT 和圖生視頻訓練集不支援草稿狀態，建立時只能立即發布；SFT 和 DPO 文本產生訓練集支援先存為草稿再發布。
訓練方法 | 用途 | 推薦資料量 | 網站可用性 | 草稿支援 |
|---|---|---|---|---|
SFT | 監督微調（指令微調） | 上千條 | 全部網站 | 支援 |
DPO | 直接偏好最佳化（偏好對齊） | 上百條 | 北京地區 | 支援 |
CPT | 持續預訓練（領域知識） | 5000萬 Token | 北京地區 | 不支援 |
匯入方式
資料集支援三種匯入方式，適用情境和前置條件不同：
- 本地上传：無前置條件，直接上傳本地檔案，適合小批量資料。
- OSS 导入：需在目標 Bucket 添加標籤
bailian-datahub-access=read，適合大批量資料。評測集不支援此方式。 - 日志回流：從 SLS 推理日誌自動提取訓練資料，需授權服務關聯角色，形成推理→資料→微調增強迴路。
日誌迴流僅支援最近 30 天內的日誌，單次匯入上限 10 萬條，且需指定 API Key 和模型篩選條件。
匯入資料自動啟用 OSS 服務端加密（SSE-OSS，AES256）。日誌迴流可用。完整受限項見資料集概述。
匯入方式 | 前置條件 | 適用情境 | 評測集支援 |
|---|---|---|---|
本地上傳 | 無 | 小批量資料 | 支援 |
OSS 匯入 | Bucket 標籤 bailian-datahub-access=read | 大批量資料 | 不支援 |
日誌迴流 | 授權 + API Key/模型篩選 | 從推理日誌構建訓練資料 | 支援 |
Warning日誌迴流需先授權服務關聯角色，且僅支援最近 30 天內的日誌，單次匯入上限 10 萬條。
数据准备
準備高品質資料是模型調優效果的關鍵。各訓練方式（SFT/DPO/CPT 文本產生）的推薦資料量詳見調優資料上傳規則。
多模態理解和圖生視頻訓練集暫無官方推薦資料量，建議根據實際情境準備充足樣本。
資料格式與模板
各訓練情境（SFT 文本/多模態理解（圖/視頻→文本）、DPO、CPT、評測集）的資料檔案格式規格詳見調優資料上傳規則。
建議在数据管理建立資料集頁面下載對應情境的資料範本，按模板結構準備資料可避免匯入失敗。
資料多樣性和擴充策略請參考模型調優文檔。評測集應準備一份資料不重疊的獨立集合，用於客觀評估模型泛化能力。
建立資料集
建立資料集前需滿足以下前提條件：已開通百鍊服務；OSS 匯入需在目標 Bucket 添加標籤 bailian-datahub-access=read；日誌迴流需授權服務關聯角色。
在資料管理 > 数据集列表頁，點擊新增数据集，按以下步驟操作：
- 填寫資料集名稱（最長50字元）和描述（最長200字元，可選）。
- 選擇資料集類型：训练集或评测集（建立後不可變更）。
- 選擇訓練情境：文本產生、多模態理解、圖生視頻（首幀）、圖生視頻（首尾幀）。評測集僅支援文本產生。
- 選擇訓練方法：SFT、DPO、CPT。
- 選擇儲存位置：平台 OSS 儲存（免費，無資料量上限）或云存储挂载（評測集不可用）。
- 選擇匯入方式並上傳資料：本地上傳、OSS 匯入、日誌迴流（詳見下方分 Tab 說明）。
- 配置發布選項：草稿或立即发布。CPT 和圖生視頻訓練集不支援草稿，只能立即發布。
- 點擊提交完成建立。
三種匯入方式的操作在不同 Tab 中進行，各 Tab 的欄位和操作不同。SFT 文本產生和 DPO 文本產生訓練集支援同時上傳多個檔案。
參數 | 說明 | 是否必填 | 取值說明 |
|---|---|---|---|
資料集名稱 | 資料集標識 | true | 最長50字元，中文/英文/數字/底線/連字號/點 |
資料集描述 | 資料集說明 | 最長200字元 | |
資料集類型 | 訓練集或評測集，建立後不可變更 | true | 訓練集/評測集 |
訓練情境 | 資料適用的訓練情境 | true | 文本產生/多模態理解/圖生視頻(首幀)/圖生視頻(首尾幀) |
訓練方法 | 訓練演算法類型 | true | SFT/DPO/CPT |
儲存位置 | 資料集儲存方式 | true | 平台OSS儲存/雲端儲存掛載 |
匯入方式 | 資料匯入來源 | true | 本地上傳/OSS匯入/日誌迴流 |
發布配置 | 草稿或立即發布 | true | 草稿/立即發布（CPT和圖生視頻不支援草稿） |
ImportantCPT 和圖生視頻訓練集不支援草稿狀態，建立時只能立即發布。
本地上傳
點擊上传文件選擇本機資料檔案，SFT 文本產生和 DPO 文本產生支援多檔案上傳。檔案格式需符合情境要求（詳見資料準備章節），匯入資料自動啟用 SSE-OSS 加密。
OSS 匯入
在目標 Bucket 添加標籤 bailian-datahub-access=read 後，選擇 Bucket 並指定資料檔案路徑。適合大批量資料匯入，評測集不支援此方式。
日誌迴流
需先授權服務關聯角色。選擇 API Key 和模型，篩選最近 30 天內的推理日誌（單次上限 10 萬條），系統自動從日誌提取訓練資料，形成推理→資料→微調增強迴路。完整操作細節請參考日誌迴流專篇。
版本管理
同一資料集可有多個獨立版本，版本號碼自動遞增。在資料集詳情頁點擊新增版本可建立新版本。
新增版本時需選擇資料繼承策略：
- 继承模式：基於上一版本資料增量修改，適合小幅迭代。
- 新建模式：重新匯入全部資料，適合大規模更新。
CPT 訓練集不支援資料繼承，每次新增版本均需建立資料。
草稿狀態的資料集版本可用於数据处理（資料清洗和資料增強），提升資料品質後再發布。
NoteCPT 訓練集不支援資料繼承，每次新增版本均需建立資料。
資料集管理
在資料管理 > 数据集列表頁可查看所有資料集，支援按類型（訓練集/評測集）篩選和按名稱搜尋。匯入中的資料集每 5 秒自動重新整理狀態，無需手動重新整理。
發布與刪除
发布操作無法復原，發布後的版本不可再編輯。發行版本的删除同樣無法復原，僅草稿版本可刪除；刪除整個資料集會移除其下所有版本，操作均不可恢複，請謹慎執行。
編輯與匯出
僅草稿版本可線上編輯（可編輯 Prompt/Completion 內容），發行版本編輯功能不可用。匯出資料集時各類型格式不同：SFT 訓練集匯出為 jsonl，多模態訓練集匯出為 zip，評測集匯出為 xlsx，不支援匯出空資料集。
Important發布和刪除操作均無法復原。發行版本不可再編輯，僅草稿版本可刪除，請謹慎執行。
計費說明
資料管理功能本身免費，但資料集儲存和下遊資源會產生費用，具體以百鍊計費頁面為準。
- 平台 OSS 儲存：費用以百鍊計費頁面為準。
- 云存储挂载：費用歸屬使用者自有 OSS 賬單。
- 日志回流：產生的 SLS 費用歸屬 SLS 產品賬單。
建議在使用前查閱百鍊計費文檔瞭解最新價格。
下一步
資料集建立並發布後，可用於以下下遊情境：
如需瞭解日誌迴流的完整操作細節（授權流程、篩選邏輯），請參考日誌迴流專篇。
資料集 CRUD 當前僅支援控制台操作；模型調優 API 可通過 training_file_ids 參數引用發行的訓練集 ID。