模型評測(ModelEval)是PAI平台提供的模型評估工具,用於全面、高效地評估大語言模型在特定或通用情境下的表現。您可以使用權威公開資料集或自訂業務資料集,量化分析模型的各項能力,為模型選型、微調最佳化和版本迭代提供資料支援。
使用情境
模型基準測試:使用公開資料集評測模型通用能力,與行業模型或基準進行比較。
特定領域能力評測:使用自訂資料集評測模型在特定領域的表現,比較預訓練模型和微調模型的效能差異。
模型迴歸測試:構建迴歸測試集,評測模型在實際業務情境中的效能,確定模型是否符合生產標準。
模型效果對比:通過雙模型競技(線上對戰或離線對戰),在同一組問題上對比兩個模型的回答品質,量化選出效果更優的模型。
快速開始:5分鐘完成首次模型評測
本節將引導您用最少的配置,完成一次最簡單的評測任務:使用公開的 CMMLU 資料集評測千問 Qwen3-4B 模型中文理解和推理能力。
登入PAI控制台,在左側導覽列,選擇模型应用 > 模型评测(ModelEval)。
在模型評測頁面,單擊新建任务。
如下配置參數:
基础配置:可使用系統自動產生的任务名称和结果输出路径。
說明若工作空間未設定過OSS預設儲存路徑,請手動選擇結果輸出路徑。
评测模式配置:選擇单模型在线评测。
评测对象配置:评测对象選擇公共模型,在公共模型下拉框中,搜尋並選擇
Qwen3-4B。评测方式配置:勾選公开数据集评测,在資料集列表中,勾選CMMLU。
资源配置:選擇單機-標準機型。
资源类型:選擇通用计算。
资源来源:選擇公共资源。
任务资源:選擇一個GPU規格,例如
ecs.gn7i-c8g1.2xlarge(24 GB)。如果該規格執行個體庫存不足,您也可以選擇其他GPU執行個體。
提交任務:單擊頁面底部的确定,頁面將自動跳轉至任務詳情。
等待任務狀態變為已成功後,即可在评测报告頁簽瞭解
Qwen3-4B模型在CMMLU資料集上的表現。
配置詳解
配置評測模式
模型評測支援以下三種評測模式,您可以根據實際需求選擇合適的模式。
评测模式 | 說明 |
单模型在线评测 | 適合對單模型線上推理產生的結果進行打分。 |
双模型在线竞技 | 通過線上跑推理任務的方式,對比兩個模型在相同問題下的回答表現,選出效果更好的模型。 |
双模型离线竞技 | 通過提供已處理好的問題-回答資料集,對比兩個模型在相同問題下的表現,選出效果更好的模型。 |
配置評測對象
模型評測支援五種評測對象來源,您可以根據模型或服務的部署位置靈活選擇。
评测对象 | 說明 | 適用情境 |
PAI Token服務 | PAI Token 服務中提供的模型服務 | 評測 Token 服務中已部署的模型 |
公共模型 | PAI平台Model Gallery中的模型 | 快速評估主流開源大模型效果 |
自定义模型 | 在註冊的自訂模型 重要 請確保vLLM架構可相容該模型。 | 評估經過微調或定製的模型 |
PAI-EAS服务 | 已部署的PAI-EAS線上推理服務 | 評估生產環境中的模型服務 |
自定义服务 | 任意符合OpenAI介面規範的模型服務 | 評估第三方或自建模型服務 |
評測對象為公開模型或自訂模型時,模型需相容 HuggingFace AutoModelForCausalLM 架構。
配置評測方式
您可以選擇使用自訂資料集或公開資料集進行評測。自訂資料集適用於貼近實際業務情境的評測;公開資料集適用於與行業基準對比的通用能力評估。
自訂資料集評測
在自訂資料集上評測模型,支援通用NLP指标评测和基于裁判员模型的多指标评测兩種評測方法(可多選),區別如下:
資料集必須是 JSONL 格式,UTF-8編碼,每行一個 JSON 對象。上傳至 OSS 後在配置頁面填寫路徑。
通用NLP指标评测 | 基于裁判员模型的多指标评测 | |
適用情境 | 有明確標準答案,計算文本相似性。適用於翻譯、摘要、知識庫問答等任務。 | 無唯一標準答案,由球證模型從相關性、準確性等多維度評分。適用於開放式對話、內容創作等任務。 |
資料要求 | 必須包含 | 可僅提供 |
核心指標 |
| 包括正確性、幻覺度、有害性、指令遵循度、相關性,支援自訂評估指標。 |
公開資料集評測
在權威公開資料集上評測模型:通過在多種公開資料集上載入並執行模型預測,根據每個資料集特定的評價架構,為您提供行業標準的評估參考。
GSM8K、HellaSwag 資料集較大,任務所需時間預計較長。
資料集名稱 | 描述 | 語言 |
LiveCodeBench | 代碼處理能力評測。 | en |
Math500 | 數學推理能力評測(500 道高難度的數學競賽題目)。 | en |
AIME25 | 數學推理能力評測(基於 2025 年美國數學邀請賽題目)。 | en |
AIME24 | 數學推理能力評測(基於 2024 年美國數學邀請賽題目)。 | en |
CMMLU | 中文多學科語言理解評測。 | zh |
MMLU | 英文多學科語言理解評測。 | en |
C-Eval | 中文綜合能力評估。 | zh |
GSM8K | 數學推理能力評測。 | en |
HellaSwag | 常識推理能力評測(Allen Institute for AI 開發的進階基準,通過上下文填空任務挑戰模型對語境和邏輯關係的理解)。 | en |
TruthfulQA | 真實性評測。 | en |
管理工作
停止:執行中的任務,可以手動停止。此操作無法復原,任務無法恢複執行,已消耗的計算資源不會退還。
删除:刪除任務記錄。此操作不可恢複。
查看評測結果
單任務結果
在評測工作清單頁,單擊目標評測任務操作列下的查看报告,進入評測任務詳情頁,在评测报告一欄查看評測得分。
自訂資料集評測結果
通用指標評測:通過雷達圖展示模型在 ROUGE 和 BLEU 系列指標(共 13 個)上的得分。各指標含義詳見附錄:通用NLP評測指標說明。
球證模型評測:通過列表展示球證模型評分的統計指標:
Mean:球證模型打分的平均值(不含無效打分),最低 1 分,最高 5 分,越大表示模型回答越好。
Median:球證模型打分的中位元(不含無效打分),越大越好。
Skewness:球證模型打分的分布偏度(不含無效打分),正偏度表示分布右側(高分段)有較長尾部,負偏度表示左側(低分段)有較長尾部。
StandardDeviation:球證模型打分的標準差(不含無效打分),在均值和中位元相同情況下,標準差越小,模型越好。
頁面底部展示每條資料的評測詳情,包含問題、模型回答、參考答案等列,支援通過右上方导出报告按鈕下載評測資料。
公用資料集評測結果
如果評測任務選擇了公開資料集,則通過雷達圖展示模型在各公開資料集上的得分。
左側圖片展示模型在不同領域的得分情況。每個領域可能包含多個相關資料集,同一領域的資料集得分取均值作為領域得分。
右側圖片展示模型在各個公開資料集的得分情況。評測範圍詳見各資料集官方介紹。
雷達圖下方為評測結果表格,包含数据集名称、语言、得分列。表格右上方提供导出报告按鈕,支援匯出評測資料。
多評測任務對比
在評測工作清單頁左側勾選 2~5 個已成功的評測任務,單擊右上方对比按鈕,進入對比頁面。
在自定义数据集评测结果頁簽中,以表格形式對比各模型的球證評測指標(Mean、Median、StandardDeviation、Skewness),以雷達圖對比各模型在 BLEU 和 ROUGE 各維度上的表現,並提供詳細指標資料表格。
在公共数据集评测结果頁簽中,通過雷達圖和資料表格對比各模型在不同領域和各資料集上的得分分布。
計費說明
計算資源:評測任務運行在 DLC 計算資源上,支援公用資源和資源配額,詳見分布式訓練(DLC)計費說明。
OSS 儲存:評測資料集和結果儲存在 OSS 中,按 OSS 計費規則收費。請參見OSS計費說明。
PAI Token 服務:評測對象選擇 PAI Token 服務,或球證模型選擇
pai-judge/pai-judge-plus以外的模型時,產生 Token 消耗費用。詳細計費規則參見PAI Token服務計費說明。
附錄:通用NLP評測指標說明
自訂資料集通用指標評測中各指標的詳細定義。
ROUGE 指標
ROUGE 系列指標衡量模型預測與標準答案的相似性。
rouge-n 類指標計算 N-gram(連續的 N 個詞)的重疊度。rouge-1 和 rouge-2 分別對應 unigram 和 bigram 的重疊度。
rouge-l 指標基於最長公用子序列(LCS)。
各指標尾碼:-p(精確率)、-r(召回率)、-f(F-score)。
指標 | 說明 |
rouge-1-p | 系統摘要中的 unigram 與參考摘要中的 unigram 匹配的比例。 |
rouge-1-r | 參考摘要中的 unigram 在系統摘要中出現的比例。 |
rouge-1-f | rouge-1-p 和 rouge-1-r 的調和平均數。 |
rouge-2-p | 系統摘要中的 bigram 與參考摘要中的 bigram 匹配的比例。 |
rouge-2-r | 參考摘要中的 bigram 在系統摘要中出現的比例。 |
rouge-2-f | rouge-2-p 和 rouge-2-r 的調和平均數。 |
rouge-l-p | LCS 長度與系統輸出長度之比(精確率)。 |
rouge-l-r | LCS 長度與參考答案長度之比(召回率)。 |
rouge-l-f | rouge-l-p 和 rouge-l-r 的調和平均數。 |
BLEU 指標
BLEU(Bilingual Evaluation Understudy)通過測量模型輸出與參考答案之間的 N-gram 重疊度來評分。
指標 | 含義 |
bleu-1 | 考察 unigram 的匹配。 |
bleu-2 | 考察 bigram 的匹配。 |
bleu-3 | 考察 trigram(連續三個詞)的匹配。 |
bleu-4 | 考察 4-gram 的匹配。 |