A avaliação de LLM do PAI permite comparar modelos base, versões ajustadas e versões quantizadas. Este tópico aborda como avaliar modelos com conjuntos de dados personalizados e públicos para encontrar a melhor opção para o seu caso de uso.
Contexto
Introdução
Com a evolução dos LLMs, um processo de avaliação sistemático ajuda os desenvolvedores a comparar modelos, orientar a seleção e acelerar a implantação. As melhores práticas de avaliação baseadas em plataforma tornam esse processo repetível e eficiente.
Use este guia para criar um fluxo de trabalho de avaliação no PAI que reflita com precisão o desempenho do modelo. O guia aborda como:
Preparar e selecionar conjuntos de dados de avaliação
Escolha modelos open-source ou ajustados para o seu caso de uso
Crie tarefas de avaliação e escolha métodos de avaliação adequados
Interpretar resultados da avaliação em cenários de tarefa única ou multitarefa
Recursos da plataforma
A avaliação de LLM do PAI oferece suporte a comparações como:
Comparação entre diferentes modelos base, como Qwen2-7B-Instruct vs. Baichuan2-7B-Chat.
Comparação entre diferentes versões ajustadas do mesmo modelo, como versões do Qwen2-7B-Instruct treinadas por um número diferente de épocas com dados privados.
Comparação entre diferentes versões quantizadas do mesmo modelo, como Qwen2-7B-Instruct-GPTQ-Int4 vs. Qwen2-7B-Instruct-GPTQ-Int8.
Este tópico usa desenvolvedores corporativos e pesquisadores de algoritmos como exemplos para demonstrar a combinação de conjuntos de dados personalizados com conjuntos de dados públicos (como MMLU e C-Eval) em uma avaliação direcionada. Principais recursos da plataforma:
Pipeline de avaliação ponta a ponta sem código para os principais LLMs open-source e avaliação com um clique para LLMs ajustados.
Upload de conjunto de dados personalizado, mais de 10 métricas de NLP integradas e resultados consolidados — sem necessidade de scripts de avaliação.
Conjuntos de dados públicos integrados em vários domínios, com métodos oficiais de avaliação totalmente reproduzidos e visão geral em gráfico de radar.
Avaliação simultânea de múltiplos modelos e multitarefa com comparação baseada em gráficos e detalhes por registro.
Código de avaliação open-source no repositório eval-scope (desenvolvido em conjunto com o ModelScope) para total transparência e reprodutibilidade.
Faturamento
A avaliação de LLM do PAI é um recurso do PAI QuickStart. O QuickStart é gratuito, mas tarefas de avaliação do DLC podem gerar custos. Consulte Billing of Deep Learning Containers (DLC).
A avaliação com conjunto de dados personalizado pode gerar taxas do OSS. Consulte Billing overview of OSS.
Caso de uso 1: Avaliação com conjunto de dados personalizado
Desenvolvedores corporativos geralmente avaliam LLMs open-source ou ajustados com conjuntos de dados personalizados criados a partir de dados privados e específicos do domínio para medir o desempenho do modelo em sua área de atuação.
O PAI avalia conjuntos de dados personalizados calculando a similaridade textual entre a saída do modelo e a resposta esperada (ground truth) por meio de métricas padrão de NLP. Pontuações mais altas indicam melhor desempenho.
As etapas principais estão descritas abaixo. O procedimento completo está disponível em Model evaluation.
-
Prepare um conjunto de dados de avaliação personalizado.
-
Formate o conjunto de dados:
Para avaliar com um conjunto de dados personalizado, prepare um arquivo de avaliação no formato JSONL (exemplo: llmuses_general_qa_test.jsonl, 76 KB). O formato é o seguinte:
[{"question": "Is it true that China invented papermaking?", "answer": "True"}] [{"question": "Is it true that China invented gunpowder?", "answer": "True"}]Use
questionpara identificar a coluna de perguntas eanswerpara identificar a coluna de respostas. Faça upload do arquivo de avaliação no formato exigido para o OSS. Consulte Upload files to OSS.
Crie um conjunto de dados de avaliação a partir do arquivo no OSS. Consulte Create a dataset from an Alibaba Cloud product.
-
-
Selecione um modelo.
Modelo open-source
No PAI console, acesse Quick Start > Model Gallery. Para modelos elegíveis para avaliação, o botão Evaluate aparece ao passar o mouse sobre o cartão do modelo.
O cartão do modelo também exibe um botão Deploy para implantação rápida.
Modelo ajustado
No PAI console, acesse Quick Start > Model Gallery. Para modelos elegíveis para avaliação, o botão Evaluate aparece ao passar o mouse sobre o cartão do modelo. Após fine-tune a model, acesse Quick Start > Model Gallery > Job Management > Training Jobs. Clique em uma tarefa concluída com sucesso e o botão Evaluate aparecerá no canto superior direito.
O recurso de avaliação de modelos oferece suporte a todos os modelos do Hugging Face do tipo AutoModelForCausalLM.
-
Crie e execute uma tarefa de avaliação.
Na página de detalhes do modelo, clique em Evaluate no canto superior direito para criar uma tarefa de avaliação.
Configure os parâmetros principais da seguinte forma:
Parâmetro
Descrição
Base configuration
Result Output Path
Especifique o caminho do OSS para salvar os resultados da avaliação.
Custom Dataset Configuration
Evaluation Method
As opções são:
-
General Metric Evaluation: Calcula a similaridade textual entre as previsões do modelo e as respostas de referência usando métricas como ROUGE e BLEU. Adequado para cenários com respostas definidas.
-
Judge Model Evaluation: Usa o modelo LLM-as-a-Judge fornecido pelo Alibaba Cloud PAI para pontuar automaticamente as respostas do modelo. Respostas de referência não são necessárias. Indicado para cenários com respostas complexas ou não únicas. Os resultados incluem uma pontuação geral e pontuações para cinco submétricas.
LLM-as-a-Judge service token
Parâmetro obrigatório se você selecionar LLM-as-a-Judge Evaluation. Para obter um token, visite a página do modelo LLM-as-a-Judge.
Dataset Source
Selecione um conjunto de dados existente.
Select an existing dataset.
Selecione o conjunto de dados personalizado criado.
Resource Configuration
Resource Group Type
Selecione um grupo de recursos público, recursos de computação geral ou recursos Lingjun.
Job Resource
Se você selecionar public resource group para Resource group type, o sistema recomendará recursos com base nas especificações do seu modelo.
Clique em Submit para executar a tarefa.
-
-
Visualize os resultados da avaliação.
Resultados de tarefa única
Na página Quick Start > Model Gallery > Job Management > Evaluation Jobs, clique em View Report na coluna Actions de uma tarefa com Status Succeeded. Na página Custom Dataset Evaluation Result, visualize as pontuações do modelo em várias métricas ROUGE e BLEU.
A página também exibe resultados detalhados da avaliação para cada item no arquivo de avaliação.
Resultados de comparação multitarefa
Na página QuickStart > Model Gallery > Job Management > Evaluation Jobs, selecione as tarefas de avaliação a serem comparadas e clique em Compare no canto superior direito para visualizar os resultados de comparação na página Custom Dataset Evaluation Result.
A página de resultados de comparação contém as abas Custom Dataset Evaluation Result e Public Dataset Evaluation Result. Na área General Metric Evaluation Result, compare o desempenho dos modelos em métricas como BLEU (bleu-1 a bleu-4) e ROUGE (precisão, recall e f-score para rouge-1, rouge-2 e rouge-l) usando um gráfico de radar. A tabela de dados abaixo mostra os valores detalhados das métricas para cada modelo e pode ser exportada.
Interpretação dos resultados:
As métricas de avaliação padrão para um conjunto de dados personalizado incluem: rouge-1-f, rouge-1-p, rouge-1-r, rouge-2-f, rouge-2-p, rouge-2-r, rouge-l-f, rouge-l-p, rouge-l-r, bleu-1, bleu-2, bleu-3 e bleu-4.
ROUGE-n mede a sobreposição de n-gramas (ROUGE-1 para unigramas, ROUGE-2 para bigramas). ROUGE-L utiliza a Subsequência Comum Mais Longa (LCS).
BLEU (Bilingual Evaluation Understudy) mede a sobreposição de n-gramas entre a saída gerada e as traduções de referência. BLEU-n calcula a taxa de correspondência de n-gramas.
Os resultados finais da avaliação são salvos no Result output path especificado.
Caso de uso 2: Avaliação com conjunto de dados público
Pesquisadores de algoritmos dependem de conjuntos de dados públicos para selecionar modelos open-source ou validar resultados de ajuste fino. O PAI integra conjuntos de dados públicos de vários domínios e reproduz totalmente as métricas oficiais de avaliação, eliminando a necessidade de baixe conjuntos de dados individualmente ou aprender cada fluxo de trabalho de avaliação.
O PAI categoriza conjuntos de dados públicos por domínio (matemática, conhecimento, raciocínio) para avaliar as capacidades gerais do modelo. Pontuações mais altas indicam melhor desempenho.
As etapas principais estão descritas abaixo. O procedimento completo está disponível em Model evaluation.
-
Conjuntos de dados públicos com suporte:
O PAI oferece suporte aos seguintes conjuntos de dados públicos (outros estão sendo adicionados):
Conjunto de dados
Tamanho
Registros
Domínio
166 MB
14.042
Conhecimento
14,3 MB
17.944
Conhecimento
1,55 MB
12.342
Chinês
1,08 MB
11.582
Chinês
4,17 MB
1.319
Matemática
47,5 MB
10.042
Raciocínio
0,284 MB
816
Segurança
-
Selecione um modelo.
Modelo open-source
No PAI console, acesse QuickStart > Model Gallery. Para modelos elegíveis para avaliação, o botão Evaluate aparece ao passar o mouse sobre o cartão do modelo.
Modelo ajustado
No PAI console, acesse QuickStart > Model Gallery. Para modelos elegíveis para avaliação, o botão Evaluate aparece ao passar o mouse sobre o cartão do modelo. Após fine-tune a model, acesse QuickStart > Model Gallery > Job Management > Training Jobs. Clique em uma tarefa concluída com sucesso e o botão Evaluate aparecerá no canto superior direito.
O recurso de avaliação de modelos oferece suporte a todos os modelos do Hugging Face do tipo AutoModelForCausalLM.
-
Crie e execute uma tarefa de avaliação.
Na página de detalhes do modelo, clique em Evaluate no canto superior direito para criar uma tarefa de avaliação.
Na seção Base configuration, insira um Job Name e selecione o modelo a ser avaliado na lista suspensa Model, por exemplo, Qwen3-235B-A22B.
Parâmetro
Descrição
Base configuration
Result Output Path
Especifique o caminho do OSS para salvar os resultados da avaliação.
Public dataset configuration
Public Dataset
Selecione um ou mais conjuntos de dados públicos.
Resource Configuration
Resource Group Type
Selecione um grupo de recursos público, recursos de computação geral ou recursos Lingjun.
Job Resource
Se você selecionar public resource group para Resource group type, o sistema recomendará recursos com base nas especificações do seu modelo.
Clique em Submit para executar a tarefa.
-
Visualize os resultados da avaliação.
Resultados de tarefa única
Na página Quick Start > Model Gallery > Job Management > Evaluation Jobs, clique em View Report na coluna Actions de uma tarefa com Status Succeeded. Em seguida, visualize as pontuações do modelo em diferentes domínios e conjuntos de dados na página Custom Dataset Evaluation Result.
Na aba Evaluation Report, alterne para a subaba Public Dataset Evaluation Result para visualizar a distribuição de pontuação do modelo em conjuntos de dados públicos como C-Eval, CMMLU, GSM8K, HellaSwag, MMLU, TriviaQA e TruthfulQA em um gráfico de radar.
Resultados de comparação multitarefa
Na página Quick Start > Model Gallery > Job Management > Evaluation Jobs, selecione as tarefas de avaliação a serem comparadas e clique em Compare no canto superior direito para visualizar os resultados na página Evaluation Results of Public Datasets.
Um gráfico de radar no topo da página mostra as pontuações para cada conjunto de dados. A tabela abaixo lista o Job Name, Model e as pontuações dos conjuntos de dados para cada tarefa de avaliação.
Interpretação dos resultados:
Se um domínio incluir múltiplos conjuntos de dados, a avaliação de LLM do PAI calculará a pontuação do domínio fazendo a média das pontuações do modelo nesses conjuntos.
O relatório também mostra pontuações por conjunto de dados. A seção Supported public datasets lista o escopo de cada conjunto.
Os resultados finais da avaliação são salvos no Result output path especificado.