PAI ModelEval - evaluate and benchmark LLMs - Platform For AI: Central de Documentação do Alibaba Cloud

Casos de uso

Benchmarking de modelos: Avalie as capacidades do modelo em conjuntos de dados públicos e compare os resultados com modelos do setor ou linhas de base.
Avaliação específica de domínio: Analise o desempenho do modelo em um domínio específico usando um conjunto de dados personalizado. Compare a diferença de desempenho entre um modelo pré-treinado e um ajustado.
Testes de regressão: Crie um conjunto de testes de regressão para avaliar o desempenho do modelo em cenários de produção e determinar se ele atende aos padrões exigidos.
Comparação de modelos: Compare a qualidade das respostas de dois modelos no mesmo conjunto de perguntas por meio de batalhas online ou offline e selecione o modelo com melhor desempenho.

Início rápido: conclua sua primeira avaliação em 5 minutos

Esta seção orienta você em uma tarefa mínima de avaliação: use o conjunto de dados CMMLU público para avaliar as capacidades de compreensão e raciocínio em língua chinesa do modelo Qwen3-4B.

Faça login no PAI console. No painel de navegação à esquerda, escolha Model Application > Model Evaluation (ModelEval).
Na página Model Evaluation, clique em Create Task.
Configure os seguintes parâmetros:
- Basic Configuration: Use o Job Name e o Result Output Path gerados automaticamente.
  
  Nota
  Se nenhum caminho de armazenamento OSS padrão estiver configurado para o workspace, especifique manualmente o caminho de saída.
- Evaluation Mode Configuration: Selecione Single Model Online Evaluation.
- Evaluation Object Configurations: Defina o Evaluation Target como Public Model. Na lista suspensa Public Model, pesquise e selecione Qwen3-4B.
- Evaluation Method Configuration: Escolha Public Dataset Evaluation e selecione CMMLU na lista de conjuntos de dados.
- Resource Configuration: Selecione Single-Node-Standard.
  - Resource Type: Escolha General Computing.
  - Source: Selecione Public Resources.
  - Job Resource: Escolha um tipo de instância GPU, por exemplo, ecs.gn7i-c8g1.2xlarge (24 GB).
    
    Se este tipo de instância estiver indisponível, selecione outro tipo de instância GPU.
Envie a tarefa: Clique em OK na parte inferior da página. O sistema redirecionará você para a página de detalhes da tarefa.

Quando o status da tarefa mudar para Succeeded, acesse a aba Evaluation Report para visualizar o desempenho do modelo Qwen3-4B no conjunto de dados CMMLU.

Configuração

Modos de avaliação

O ModelEval oferece suporte aos três modos de avaliação a seguir.

Evaluation Mode	Descrição
Single Model Online Evaluation	Avalia os resultados de inferência de um único modelo.
Dual-Model Arena	Executa tarefas de inferência online para comparar as respostas de dois modelos às mesmas perguntas e seleciona o modelo com melhor desempenho.
Dual-Model Offline Competition	Usa um conjunto de dados de perguntas e respostas pré-gerado para comparar o desempenho de dois modelos nas mesmas questões e seleciona o modelo superior.

Alvos de avaliação

O ModelEval suporta cinco fontes de alvos de avaliação. Selecione a fonte com base no local onde seu modelo ou serviço está implantado.

Evaluation Target	Descrição	Cenário
PAI Token Service	Serviços de modelo fornecidos pelo PAI Token Service.	Avaliar modelos implantados no Token Service.
Public Model	Modelos disponíveis na PAI Model Gallery.	Avaliar rapidamente os principais modelos open-source.
Custom Model	Modelos personalizados registrados em AI Asset Management > Model. Importante Certifique-se de que o modelo seja compatível com o framework vLLM.	Avaliar modelos ajustados ou personalizados.
PAI-EAS Service	Serviços de inferência online PAI-EAS implantados.	Avaliar serviços de modelo em produção.
Custom Services	Qualquer serviço de modelo compatível com a especificação da API OpenAI.	Avaliar serviços de modelo de terceiros ou auto-hospedados.

Importante

Quando o alvo da avaliação for um modelo público ou personalizado, o modelo deve ser compatível com a arquitetura AutoModelForCausalLM do HuggingFace.

Métodos de avaliação

Você pode avaliar modelos em conjuntos de dados personalizados ou públicos. Conjuntos personalizados são adequados para avaliações alinhadas aos seus cenários de negócios. Já os conjuntos públicos servem para avaliações de capacidade de uso geral comparadas a linhas de base do setor.

Avaliação com conjunto de dados personalizado

A avaliação com conjunto de dados personalizado suporta dois métodos selecionáveis: General NLP Metric Evaluation e Multi-Metric Evaluation with LLM-as-a-Judge.

Importante

O conjunto de dados deve estar no formato JSONL, codificado em UTF-8, com um objeto JSON por linha. Após fazer o upload para o OSS, especifique o caminho na página de configuração.

	General NLP Metric Evaluation	Multi-Metric Evaluation with LLM-as-a-Judge
Cenário	Tarefas com respostas definitivas em que a similaridade de texto é computada. Adequado para tradução, resumo e perguntas e respostas de base de conhecimento.	Tarefas sem uma única resposta correta. Um modelo juiz pontua as respostas em múltiplas dimensões, como relevância e precisão. Ideal para conversas abertas e criação de conteúdo.
Requisitos de dados	Deve conter os campos `question` e `answer` (resposta de referência). `{"question": "What is the capital of China?", "answer": "Beijing"}`	Apenas o campo `question` é obrigatório. O campo `answer` (resposta de referência) é opcional. `{"question": "Describe the history of artificial intelligence"}`
Métricas principais	ROUGE (ROUGE-1, ROUGE-2, ROUGE-L): Baseado em recall. Mede quanto da resposta de referência a saída do modelo cobre. BLEU (BLEU-1, BLEU-2, BLEU-3, BLEU-4): Baseado em precisão. Mede a precisão da saída do modelo.	Correção, alucinação, nocividade, seguimento de instruções e relevância. Há suporte para métricas personalizadas.

Avaliação com conjunto de dados público

Avalie modelos em conjuntos de dados públicos oficiais. O ModelEval carrega cada conjunto de dados, executa previsões do modelo e aplica o framework de avaliação específico de cada conjunto para fornecer referências de avaliação padronizadas pelo setor.

Nota

Os conjuntos de dados GSM8K e HellaSwag são extensos. Tarefas nesses conjuntos demoram mais para serem concluídas.

Conjunto de dados	Descrição	Idioma
LiveCodeBench	Avaliação de capacidade de processamento de código.	en
Math500	Avaliação de raciocínio matemático (500 problemas de competição matemática de alta dificuldade).	en
AIME25	Avaliação de raciocínio matemático (baseado no American Invitational Mathematics Examination de 2025).	en
AIME24	Avaliação de raciocínio matemático (baseado no American Invitational Mathematics Examination de 2024).	en
CMMLU	Avaliação de compreensão linguística multidisciplinar em chinês.	zh
MMLU	Avaliação de compreensão linguística multidisciplinar em inglês.	en
C-Eval	Avaliação abrangente de capacidades em chinês.	zh
GSM8K	Avaliação de raciocínio matemático.	en
HellaSwag	Avaliação de raciocínio de senso comum (um benchmark avançado desenvolvido pelo Allen Institute for AI que testa a compreensão de contexto e lógica por meio da conclusão de sentenças).	en
TruthfulQA	Avaliação de veracidade.	en

Gerenciar tarefas

Stop: Interrompa manualmente tarefas em execução. Esta operação é irreversível. Não é possível retomar a tarefa, e os recursos de computação consumidos não são reembolsados.
Delete: Exclui um registro de tarefa. Esta operação é irreversível.

Visualizar resultados da avaliação

Resultados de tarefa única

Na lista de tarefas de avaliação, clique em View Report na coluna Actions da tarefa desejada. Na aba Evaluation Report, visualize as pontuações da avaliação.

Resultados de avaliação com conjunto de dados personalizado

Avaliação de métricas gerais: Um gráfico de radar exibe as pontuações do modelo nas métricas ROUGE e BLEU (13 métricas no total). Para definições das métricas, consulte Appendix: General NLP evaluation metrics.
Avaliação por modelo juiz: Uma tabela exibe as métricas estatísticas das pontuações do modelo juiz:
- Mean: Média das pontuações do modelo juiz (excluindo pontuações inválidas). Faixa: 1–5. Um valor maior indica melhor desempenho do modelo.
- Median: Mediana das pontuações do modelo juiz (excluindo pontuações inválidas). Um valor maior indica melhor desempenho.
- Skewness: Assimetria da distribuição das pontuações do modelo juiz (excluindo pontuações inválidas). Assimetria positiva indica uma cauda mais longa à direita (extremidade de pontuação alta). Assimetria negativa indica uma cauda mais longa à esquerda (extremidade de pontuação baixa).
- StandardDeviation: Desvio padrão das pontuações do modelo juiz (excluindo pontuações inválidas). Quando a média e a mediana são iguais, um desvio padrão menor indica um modelo melhor.
A parte inferior da página mostra os detalhes da avaliação para cada entrada de dados, incluindo as colunas Question, Model Response e Reference Answer. Clique em Export Report no canto superior direito para baixar os dados da avaliação.

Resultados de avaliação com conjunto de dados público

Se a tarefa de avaliação usar conjuntos de dados públicos, um gráfico de radar exibirá as pontuações do modelo nos conjuntos selecionados.

O gráfico à esquerda mostra as pontuações do modelo por domínio. Cada domínio pode conter vários conjuntos de dados relacionados. A pontuação do domínio é a média das pontuações dos conjuntos de dados dentro desse domínio.
O gráfico à direita mostra as pontuações do modelo em conjuntos de dados públicos individuais. Para o escopo de avaliação de cada conjunto, consulte a documentação oficial do conjunto de dados.

Abaixo do gráfico de radar, uma tabela de resultados lista o Dataset Name, Language e Score. Clique em Export Report no canto superior direito da tabela para exportar os dados da avaliação.

Comparar resultados de avaliação

Na lista de tarefas de avaliação, selecione de 2 a 5 tarefas bem-sucedidas e clique em Compare no canto superior direito.

Na aba Custom Dataset Evaluation Result, uma tabela compara as métricas do modelo juiz (Mean, Median, StandardDeviation, Skewness) entre os modelos, um gráfico de radar compara as pontuações BLEU e ROUGE, e há uma tabela detalhada de métricas disponível.
Na aba Evaluation Results of Public Datasets, gráficos de radar e tabelas de dados comparam as pontuações dos modelos entre domínios e conjuntos de dados.

Faturamento

Recursos de computação: As tarefas de avaliação são executadas em recursos de computação DLC. Há suporte tanto para recursos compartilhados quanto para cotas de recursos. Para mais informações, consulte Billing for DLC.
Armazenamento OSS: Os conjuntos de dados e resultados da avaliação são armazenados no OSS e faturados de acordo com os preços do OSS. Para mais informações, consulte OSS billing.
PAI Token Service: Taxas de consumo de tokens são incorridas quando o alvo da avaliação é definido como PAI Token Service ou quando o modelo juiz é diferente de pai-judge/pai-judge-plus. Para detalhes de faturamento, consulte PAI Token Service pricing.

Você também pode usar o recurso de avaliação de modelos pelo PAI Python SDK:

Apêndice: Métricas gerais de avaliação NLP

Definições detalhadas das métricas gerais usadas na avaliação com conjunto de dados personalizado.

Métricas ROUGE

As métricas ROUGE medem a similaridade entre as previsões do modelo e as respostas de referência.

As métricas rouge-n calculam a sobreposição de N-gramas (sequências de N palavras consecutivas). rouge-1 e rouge-2 correspondem à sobreposição de unigramas e bigramas, respectivamente.
A métrica rouge-l baseia-se na subsequência comum mais longa (LCS).
Sufixos das métricas: -p (precisão), -r (recall), -f (F-score).

Métrica	Descrição
rouge-1-p	Proporção de unigramas na saída do modelo que correspondem aos unigramas na referência.
rouge-1-r	Proporção de unigramas na referência que aparecem na saída do modelo.
rouge-1-f	Média harmônica de rouge-1-p e rouge-1-r.
rouge-2-p	Proporção de bigramas na saída do modelo que correspondem aos bigramas na referência.
rouge-2-r	Proporção de bigramas na referência que aparecem na saída do modelo.
rouge-2-f	Média harmônica de rouge-2-p e rouge-2-r.
rouge-l-p	Comprimento da LCS dividido pelo comprimento da saída do modelo (precisão).
rouge-l-r	Comprimento da LCS dividido pelo comprimento da referência (recall).
rouge-l-f	Média harmônica de rouge-l-p e rouge-l-r.

Métricas BLEU

O BLEU (Bilingual Evaluation Understudy) pontua a saída do modelo medindo a sobreposição de N-gramas com as respostas de referência.

Métrica	Descrição
bleu-1	Correspondência de unigramas.
bleu-2	Correspondência de bigramas.
bleu-3	Correspondência de trigramas.
bleu-4	Correspondência de 4-gramas.