Platform For AI：模型評測（ModelEval）

快速開始：5分鐘完成首次模型評測

本節將引導您用最少的配置，完成一次最簡單的評測任務：使用公開的 CMMLU 資料集評測千問 Qwen3-4B 模型中文理解和推理能力。

1. 登入PAI控制台，在左側導覽列，選擇模型应用 > 模型评测（ModelEval）。

2. 在模型評測頁面，單擊新建任务。

3. 如下配置參數：

   • 基础配置：可使用系統自動產生的任务名称和结果输出路径。

     說明

     若工作空間未設定過OSS預設儲存路徑，請手動選擇結果輸出路徑。

   • 评测模式配置：選擇单模型在线评测。

   • 评测对象配置：评测对象選擇公共模型，在公共模型下拉框中，搜尋並選擇 Qwen3-4B。

   • 评测方式配置：勾選公开数据集评测，在資料集列表中，勾選CMMLU。

   • 资源配置：選擇單機-標準機型。

     • 资源类型：選擇通用计算。

     • 资源来源：選擇公共资源。

     • 任务资源：選擇一個GPU規格，例如 ecs.gn7i-c8g1.2xlarge (24 GB)。

     • 如果該規格執行個體庫存不足，您也可以選擇其他GPU執行個體。

4. 提交任務：單擊頁面底部的确定，頁面將自動跳轉至任務詳情。

   等待任務狀態變為已成功後，即可在评测报告頁簽瞭解Qwen3-4B模型在CMMLU資料集上的表現。

功能詳解

{"question": "中國的首都是哪裡？", "answer": "北京"}

{"question": "請介紹一下人工智慧的發展曆程"}

任務管理

在模型評測頁面，可以對評測任務進行生命週期管理。

• 查看报告：對於狀態為已成功的任務，單擊此按鈕可查看詳細評測報告。

• 对比：勾選2至5個已成功的任務，單擊对比按鈕，可以並排比較它們在各項指標上的表現。

• 停止：對於 运行中的任務，可以手動停止。此操作無法復原，任務無法恢複執行，已消耗的計算資源不會退還。

• 删除：刪除任務記錄。此操作不可恢複。

計費說明

模型評測ModelEval計費項目如下：