模型評測（ModelEval） - Platform For AI

模型評測（ModelEval）是PAI平台提供的模型評估工具，用於全面、高效地評估大語言模型在特定或通用情境下的表現。您可以使用權威公開資料集或自訂業務資料集，量化分析模型的各項能力，為模型選型、微調最佳化和版本迭代提供資料支援。

快速開始：5分鐘完成首次模型評測

本節將引導您用最少的配置，完成一次最簡單的評測任務：使用公開的 CMMLU 資料集評測通義千問 Qwen3-4B 模型。

登入PAI控制台，在左側導覽列，選擇 模型應用 > 模型評測（ModelEval）。
在模型評測頁面，單擊建立任務。
基礎配置：可使用系統自動產生的任務名稱和結果輸出路徑。
說明
若工作空間未設定過OSS預設儲存路徑，請手動選擇結果輸出路徑。
評測模式配置：選擇單模型評測。
配置評測對象：
- 評測物件類型選擇公用模型。
- 在公用模型下拉框中，搜尋並選擇 Qwen3-4B。
配置評測方式：
- 勾選公開資料集評測。
- 在資料集列表中，勾選CMMLU。
配置資源：
- 資源群組類型選擇公用資源群組（隨用隨付），資源配置方法選擇一般資源。
- 在資源規格下拉框中，選擇一個GPU規格，例如 ecs.gn7i-c8g1.2xlarge (24 GB)。
提交任務：單擊頁面底部的確定。

任務提交後，頁面將自動跳轉至任務詳情。等待任務狀態變為已成功後，即可在評測報告頁簽瞭解Qwen3-4B模型在CMMLU資料集上的表現。

模型評測支援四種評測對象來源，您可以根據模型或服務的部署位置靈活選擇。

評測物件類型	說明	適用情境
公用模型	PAI平台Model Gallery中的模型	快速評估主流開源大模型效果
自訂模型	在AI資產管理 > 模型註冊的自訂模型重要請確保vLLM架構可相容該模型。	評估經過微調或定製的模型
PAI-EAS服務	已部署的PAI-EAS線上推理服務	評估生產環境中的模型服務
自訂服務	任意符合OpenAI介面規範的模型服務	評估第三方或自建模型服務

您可以選擇使用自訂資料集、公開資料集，或兩者結合進行評測。

使用您自己的資料集進行評測，最貼近實際業務情境。

評測方法	通用指標評測	球證模型評測
用途	當您有明確的標準答案時，用於計算模型輸出與標準答案的文本相似性。適用於翻譯、摘要、知識庫問答等任務。	當問題沒有唯一標準答案時（如開放式對話、內容創作），藉助一個強大的“球證模型”來對模型的回答品質進行打分。
資料集格式	JSON對象中必須包含 `question`（問題）和 `answer`（標準答案）兩個欄位。 `{"question": "中國的首都是哪裡？", "answer": "北京"}`	JSON對象中可以僅包含 `question`（問題）欄位，也可以提供`answer`（標準答案）欄位。 `{"question": "請介紹一下人工智慧的發展曆程"}`
核心指標	ROUGE (ROUGE-1, ROUGE-2, ROUGE-L)：基於召回率，衡量模型輸出覆蓋了多少標準答案中的資訊點。 BLEU (BLEU-1, BLEU-2,BLEU-3, BLEU-4)：基於精確率，衡量模型輸出中有多少內容是準確的。	系統會將 `question` 和被評測模型的輸出，一同發送給球證模型，由其從相關性、準確性、流暢性等多個維度進行綜合評分。

使用業界公認的權威資料集進行評測，便於將模型能力與行業基準進行對比。

在模型評測頁面，可以對評測任務進行生命週期管理。