Model Gallery 提供大語言模型評測入口,支援使用自訂資料集和公開資料集評測模型能力。
功能說明
Model Gallery 僅支援單模型評測,即對單個模型的線上推理結果進行打分。雙模型競技評測(双模型在线竞技和双模型离线竞技)需在獨立的模型評測(ModelEval)中進行。
說明
通過 Model Gallery 建立的評測任務,可在以下兩處查看和管理:
Model Gallery > 任务管理 > 评测任务
模型评测(ModelEval)
建立評測任務
登入PAI控制台,在左側導覽列選擇快速开始 > Model Gallery。
在模型广场的支持操作篩選區域選擇评测過濾出可評測的模型。
說明對於支援評測的模型,其二次訓練後的模型也支援評測。在任务管理 > 训练任务中,單擊目標任務進入詳情頁,右上方可看到评测按鈕。
單擊目標模型卡片進入詳情頁,在頁面右上方單擊评测。
評測模式和參數的完整說明,請參見模型評測(ModelEval)。