O Model Gallery oferece um ponto de entrada para avaliar large language models. Avalie as capacidades dos modelos usando datasets personalizados ou públicos.
Escopo do recurso
O Model Gallery oferece suporte apenas à avaliação de modelo único, que pontua os resultados de inferência online de um modelo. Para disputas entre dois modelos (Dual-Model Arena e Dual-Model Offline Competition), acesse Model evaluation (ModelEval).
Você pode visualizar e gerenciar as tarefas de avaliação criadas pelo Model Gallery em um destes locais:
Model Gallery > Job Management > Evaluation Jobs
Model Evaluation (ModelEval)
Crie uma tarefa de avaliação
Faça logon no PAI console. No painel de navegação à esquerda, escolha QuickStart > Model Gallery.
-
Na página Models, selecione Evaluate no filtro Supported Operations para exibir apenas os modelos avaliáveis.
NotaModelos derivados do fine-tuning de um modelo que oferece suporte à avaliação também podem ser avaliados. Em Job Management > Training Jobs, clique em uma tarefa para acessar sua página de detalhes. O botão Evaluate fica disponível no canto superior direito.
Clique no card do modelo desejado para acessar sua página de detalhes e, em seguida, clique em Evaluate no canto superior direito da página.
Para uma descrição completa dos modos e parâmetros de avaliação, consulte Model evaluation (ModelEval).