Qwen、Wan 訓練資料摘要
阿里雲百鍊上的 Qwen、Wan 系列模型是自主研發的，使用包含數萬億 token 的文本、映像、視頻和音訊資料集進行訓練。在模型開發過程中，最早使用的資料集早於 2022 年 1 月。
資料來源
訓練資料包括以下四類：
- 互連網公開資料——公眾可訪問的網路內容。
- 第三方夥伴資料——夥伴按協議提供的非公開資料。
- 標註與簽約資料——來自資料標註服務商及付費承包商的資料。
- 合成資料——由阿里雲自有模型產生，用於補充真實世界資料。
資料集可能包含受著作權、商標或專利保護的內容，也可能包含公用領域的內容。
合成資料
由自有模型產生的合成資料旨在滿足以下四方面需求：
- 填補真實世界訓練資料有限的缺口
- 應對需要專門訓練樣本的複雜任務
- 提升模型泛化能力與感知能力
- 增強模型安全性與魯棒性
核心能力
訓練資料構建了以下推理服務能力：
- 通用語言理解
- 高階推理
- 多模態互動
- 長上下文處理
- 視覺產生
訓練資料還支撐任務對齊、模態融合與能力強化，確保能夠準確、安全地處理多樣化、專業化、多模態的請求。
客戶資料政策
除非客戶明確同意，否則阿里雲百鍊不會使用客戶的業務資料來開發或改進模型。
資料治理
資料治理架構覆蓋從預訓練到後訓練的完整訓練流程，通過資料清洗、處理與結構性最佳化等措施予以保障。
預訓練
原始訓練資料經過清洗與過濾：
- 自動化Alibaba Content Security Service篩查，剔除有害或敏感內容。
- 人工複核作為補充保障，輔助自動化過濾。
- 個人資訊過濾，在預先處理階段減少訓練資料集中的個人資訊。
這些措施有助於模型在推理過程中識別並減少偏見，提升輸出的公平性與公正性。
後訓練
語言大模型資料增強
基於五個維度精細化標註架構篩選高品質資料：
維度 | 用途 |
|---|---|
教育價值 | 優先選擇具有強學習訊號的資料 |
領域覆蓋 | 覆蓋各知識領域的廣度 |
語言類型 | 支援多語言理解 |
推理複雜度 | 構建高階推理能力 |
安全等級 | 按Alibaba Content Security Service標準過濾 |
來自專門模型的合成資料，包括 Qwen-Math 和 Qwen-Coder，進一步提升了多語言理解、複雜推理與長上下文建模的效能。
視覺產生類模型處理
多模態資料會進行針對性預先處理：
- 高精度 OCR 與文檔結構化解析，用於從映像和文檔中提取文本
- 2D/3D 空間語義標註，用於空間理解
- 視訊框架與文本的顯式時間戳記對齊，用於視頻理解
大規模多模態合成資料集強化了視覺與語言之間的跨模態對齊，支援複雜文檔和長視頻理解，並為視覺產生和智能體互動提供訓練基礎。
安全對齊
通過專門的安全資料集進行安全對齊，增強模型內生的安全能力。
目標
這些處理旨在提升資料品質與任務對齊度，保障模型安全、合規，並在通用、專業與多模態推理情境下實現預期能力目標。
HappyHorse 訓練資料摘要
HappyHorse 系列模型是阿里雲百鍊自主研發的，使用包含數萬億 token 的文本、映像、視頻和音訊資料集進行訓練。
資料來源
訓練資料包括以下四類：
- 互連網公開資料——公眾可訪問的網路內容。
- 第三方夥伴資料——夥伴按協議提供的非公開資料。
- 標註與簽約資料——來自資料標註服務商及付費承包商的資料。
- 合成資料——由阿里雲自有模型產生，用於補充真實世界資料。
資料集可能包含受著作權、商標或專利保護的內容，也可能包含公用領域的內容。
合成資料
由自有模型產生的合成資料旨在滿足以下四方面需求：
- 填補真實世界訓練資料有限的缺口
- 應對需要專門訓練樣本的複雜任務
- 提升模型泛化能力與感知能力
- 增強模型安全性與魯棒性
核心能力
訓練資料構建了以下推理服務能力：
- 通用語言理解
- 高階推理
- 多模態互動
- 長上下文處理
- 視覺產生
訓練資料還支撐任務對齊、模態融合與能力強化，確保能夠準確、安全地處理多樣化、專業化、多模態的請求。
客戶資料政策
除非客戶明確同意，否則阿里雲百鍊不會使用客戶的業務資料來開發或改進模型。
資料治理
資料治理架構覆蓋從預訓練到後訓練的完整訓練流程，通過資料清洗、處理與結構性最佳化等措施予以保障。
預訓練
原始訓練資料經過清洗與過濾：
- 自動化Alibaba Content Security Service篩查，剔除有害或敏感內容。
- 人工複核作為補充保障，輔助自動化過濾。
- 個人資訊過濾，在預先處理階段減少訓練資料集中的個人資訊。
這些措施有助於模型在推理過程中識別並減少偏見，提升輸出的公平性與公正性。
後訓練
語言大模型資料增強
基於五個維度精細化標註架構篩選高品質資料：
維度 | 用途 |
|---|---|
教育價值 | 優先選擇具有強學習訊號的資料 |
領域覆蓋 | 覆蓋各知識領域的廣度 |
語言類型 | 支援多語言理解 |
推理複雜度 | 構建高階推理能力 |
安全等級 | 按Alibaba Content Security Service標準過濾 |
來自專門模型的合成資料進一步提升了多語言理解、複雜推理與長上下文建模的效能。
視覺產生類模型處理
多模態資料會進行針對性預先處理：
- 高精度 OCR
- 2D/3D 空間語義標註，用於空間理解
- 視訊框架與文本的顯式時間戳記對齊，用於視頻理解
大規模多模態合成資料集強化了視覺與語言之間的跨模態對齊，支援長視頻理解，並為視覺產生提供訓練基礎。
安全對齊
通過專門的安全資料集進行安全對齊，增強模型內生的安全能力。
目標
這些處理旨在提升資料品質與任務對齊度，保障模型安全、合規，並在通用、專業與多模態推理情境下實現預期能力目標。