L'évaluation des LLM dans PAI permet de comparer des modèles fondamentaux, des versions affinées et des versions quantifiées. Cette rubrique explique comment évaluer des modèles à l'aide de jeux de données personnalisés et publics afin d'identifier celui qui correspond le mieux à votre cas d'usage.
Contexte
Introduction
Avec l'évolution des LLM, un processus d'évaluation systématique aide les développeurs à comparer les modèles, à orienter leur sélection et à accélérer le déploiement. Les bonnes pratiques d'évaluation basées sur une plateforme rendent ce processus reproductible et efficace.
Ce guide vous accompagne dans la création d'un workflow d'évaluation sur PAI reflétant fidèlement les performances du modèle. Il couvre les aspects suivants :
Préparer et sélectionner les jeux de données d'évaluation
Choisir des modèles open source ou affinés adaptés à votre cas d'usage
Créer des tâches d'évaluation et choisir les méthodes d'évaluation appropriées
Interpréter les résultats d'évaluation dans des scénarios mono-tâche ou multi-tâches
Fonctionnalités de la plateforme
L'évaluation des LLM dans PAI prend en charge des comparaisons telles que :
Comparaison de différents modèles fondamentaux, par exemple Qwen2-7B-Instruct vs. Baichuan2-7B-Chat.
Comparaison de différentes versions affinées d'un même modèle, comme des versions de Qwen2-7B-Instruct entraînées sur un nombre différent d'époques avec des données privées.
Comparaison de différentes versions quantifiées d'un même modèle, par exemple Qwen2-7B-Instruct-GPTQ-Int4 vs. Qwen2-7B-Instruct-GPTQ-Int8.
Cette rubrique prend pour exemples les développeurs en entreprise et les chercheurs en algorithmique afin d'illustrer comment combiner des jeux de données personnalisés avec des jeux de données publics (tels que MMLU et C-Eval) pour une évaluation ciblée. Voici les principales fonctionnalités de la plateforme :
Pipeline d'évaluation de bout en bout sans code pour les LLM open source courants, et évaluation en un clic pour les LLM affinés.
Import de jeux de données personnalisés, plus de 10 métriques NLP intégrées et résultats consolidés, sans nécessiter de scripts d'évaluation.
Jeux de données publics intégrés couvrant plusieurs domaines, avec reproduction complète des méthodes d'évaluation officielles et vue d'ensemble sous forme de graphique radar.
Évaluation simultanée multi-modèles et multi-tâches avec comparaison graphique et détails par enregistrement.
Code d'évaluation open source disponible dans le dépôt eval-scope (co-développé avec ModelScope) garantissant une transparence et une reproductibilité totales.
Facturation
L'évaluation des LLM dans PAI est une fonctionnalité de PAI QuickStart. QuickStart est gratuit, mais des frais peuvent s'appliquer aux tâches d'évaluation DLC. Facturation de Deep Learning Containers (DLC).
L'évaluation avec des jeux de données personnalisés peut entraîner des frais OSS. Vue d'ensemble de la facturation OSS.
Cas d'usage 1 : Évaluation avec jeu de données personnalisé
Les développeurs en entreprise évaluent généralement des LLM open source ou affinés à l'aide de jeux de données personnalisés construits à partir de données privées et spécifiques à un domaine, afin de mesurer les performances du modèle dans leur domaine cible.
PAI évalue les jeux de données personnalisés en calculant la similarité textuelle entre la sortie du modèle et la vérité terrain à l'aide de métriques NLP standard. Des scores plus élevés indiquent de meilleures performances.
Les étapes clés sont décrites ci-dessous. La procédure complète figure dans Évaluation de modèle.
-
Préparez un jeu de données d'évaluation personnalisé.
-
Formatez le jeu de données :
Pour évaluer un jeu de données personnalisé, préparez un fichier d'évaluation au format JSONL (exemple : llmuses_general_qa_test.jsonl, 76 Ko). Le format est le suivant :
[{"question": "Is it true that China invented papermaking?", "answer": "True"}] [{"question": "Is it true that China invented gunpowder?", "answer": "True"}]Utilisez
questionpour identifier la colonne des questions etanswerpour identifier la colonne des réponses. Téléchargez le fichier d'évaluation au format requis vers OSS. Télécharger des fichiers vers OSS.
Créez un jeu de données d'évaluation à partir du fichier OSS. Créer un jeu de données à partir d'un produit Alibaba Cloud.
-
-
Sélectionnez un modèle.
Modèle open source
Dans la PAI console, accédez à Quick Start > Model Gallery. Pour les modèles évaluables, un bouton Evaluate apparaît au survol de la carte du modèle.
La carte du modèle affiche également un bouton Deploy pour un déploiement rapide.
Modèle affiné
Dans la PAI console, accédez à Quick Start > Model Gallery. Pour les modèles évaluables, un bouton Evaluate apparaît au survol de la carte du modèle. Après avoir affiné un modèle, accédez à Quick Start > Model Gallery > Job Management > Training Jobs. Cliquez sur une tâche terminée avec succès ; un bouton Evaluate apparaît alors dans le coin supérieur droit.
La fonctionnalité d'évaluation de modèle prend en charge tous les modèles Hugging Face de type AutoModelForCausalLM.
-
Créez et exécutez une tâche d'évaluation.
Sur la page de détails du modèle, cliquez sur Evaluate dans le coin supérieur droit pour créer une tâche d'évaluation.
Configurez les paramètres clés comme suit :
Paramètre
Description
Base configuration
Result Output Path
Spécifiez le chemin OSS pour enregistrer les résultats d'évaluation.
Custom Dataset Configuration
Evaluation Method
Options disponibles :
-
General Metric Evaluation : Calcule la similarité textuelle entre les prédictions du modèle et les réponses de référence à l'aide de métriques telles que ROUGE et BLEU. Cette méthode convient aux scénarios avec des réponses déterminées.
-
Judge Model Evaluation : Utilise le modèle LLM-as-a-Judge fourni par Alibaba Cloud PAI pour noter automatiquement les réponses du modèle. Les réponses de référence ne sont pas requises. Cette méthode est adaptée aux scénarios avec des réponses complexes ou non uniques. Les résultats incluent un score global ainsi que les scores de cinq sous-métriques.
Jeton du service LLM-as-a-Judge
Ce paramètre est requis si vous sélectionnez LLM-as-a-Judge Evaluation. Pour obtenir un jeton, visitez la page du modèle LLM-as-a-Judge.
Dataset Source
Sélectionnez un jeu de données existant.
Select an existing dataset.
Sélectionnez le jeu de données personnalisé que vous avez créé.
Resource Configuration
Resource Group Type
Sélectionnez un groupe de ressources public, des ressources de calcul générales ou des ressources Lingjun.
Job Resource
Si vous sélectionnez public resource group pour Resource group type, le système recommande des ressources en fonction des spécifications de votre modèle.
Cliquez sur Submit pour exécuter la tâche.
-
-
Consultez les résultats d'évaluation.
Résultats mono-tâche
Sur la page Quick Start > Model Gallery > Job Management > Evaluation Jobs, cliquez sur View Report dans la colonne Actions pour une tâche dont le Status est Succeeded. Sur la page Custom Dataset Evaluation Result, consultez les scores du modèle sur diverses métriques ROUGE et BLEU.
Cette page affiche également les résultats d'évaluation détaillés pour chaque élément du fichier d'évaluation.
Résultats de comparaison multi-tâches
Sur la page QuickStart > Model Gallery > Job Management > Evaluation Jobs, sélectionnez les tâches d'évaluation à comparer et cliquez sur Compare dans le coin supérieur droit pour afficher les résultats de comparaison sur la page Custom Dataset Evaluation Result.
La page des résultats de comparaison contient les onglets Custom Dataset Evaluation Result et Public Dataset Evaluation Result. Dans la zone General Metric Evaluation Result, comparez les performances des modèles sur des métriques telles que BLEU (bleu-1 à bleu-4) et ROUGE (précision, rappel et f-score pour rouge-1, rouge-2 et rouge-l) à l'aide d'un graphique radar. Le tableau de données ci-dessous présente les valeurs détaillées des métriques pour chaque modèle et peut être exporté.
Interprétation des résultats :
Les métriques d'évaluation par défaut pour un jeu de données personnalisé incluent : rouge-1-f, rouge-1-p, rouge-1-r, rouge-2-f, rouge-2-p, rouge-2-r, rouge-l-f, rouge-l-p, rouge-l-r, bleu-1, bleu-2, bleu-3 et bleu-4.
ROUGE-n mesure le chevauchement des n-grammes (ROUGE-1 pour les unigrammes, ROUGE-2 pour les bigrammes). ROUGE-L utilise la plus longue sous-séquence commune (LCS).
BLEU (Bilingual Evaluation Understudy) mesure le chevauchement des n-grammes entre la sortie générée et les traductions de référence. BLEU-n calcule le taux de correspondance des n-grammes.
Les résultats finaux de l'évaluation sont enregistrés dans le Result output path spécifié.
Cas d'usage 2 : Évaluation avec jeu de données public
Les chercheurs en algorithmique s'appuient sur des jeux de données publics pour sélectionner des modèles open source ou valider les résultats d'affinage. PAI intègre des jeux de données publics couvrant plusieurs domaines et reproduit intégralement les métriques d'évaluation officielles, ce qui évite de télécharger les jeux de données individuellement ou d'apprendre chaque workflow d'évaluation.
PAI classe les jeux de données publics par domaine (mathématiques, connaissances, raisonnement) afin d'évaluer les capacités globales du modèle. Des scores plus élevés indiquent de meilleures performances.
Les étapes clés sont décrites ci-dessous. La procédure complète figure dans Évaluation de modèle.
-
Jeux de données publics pris en charge :
PAI prend en charge les jeux de données publics suivants (d'autres seront ajoutés prochainement) :
Jeu de données
Taille
Enregistrements
Domaine
166 Mo
14 042
Connaissances
14,3 Mo
17 944
Connaissances
1,55 Mo
12 342
Chinois
1,08 Mo
11 582
Chinois
4,17 Mo
1 319
Mathématiques
47,5 Mo
10 042
Raisonnement
0 284 Mo
816
Sécurité
-
Sélectionnez un modèle.
Modèle open source
Dans la PAI console, accédez à QuickStart > Model Gallery. Pour les modèles évaluables, un bouton Evaluate apparaît au survol de la carte du modèle.
Modèle affiné
Dans la PAI console, accédez à QuickStart > Model Gallery. Pour les modèles évaluables, un bouton Evaluate apparaît au survol de la carte du modèle. Après avoir affiné un modèle, accédez à QuickStart > Model Gallery > Job Management > Training Jobs. Cliquez sur une tâche terminée avec succès ; un bouton Evaluate apparaît alors dans le coin supérieur droit.
La fonctionnalité d'évaluation de modèle prend en charge tous les modèles Hugging Face de type AutoModelForCausalLM.
-
Créez et exécutez une tâche d'évaluation.
Sur la page de détails du modèle, cliquez sur Evaluate dans le coin supérieur droit pour créer une tâche d'évaluation.
Dans la section Base configuration, saisissez un Job Name et sélectionnez le modèle à évaluer dans la liste déroulante Model, par exemple Qwen3-235B-A22B.
Paramètre
Description
Base configuration
Result Output Path
Spécifiez le chemin OSS pour enregistrer les résultats d'évaluation.
Configuration du jeu de données public
Public Dataset
Sélectionnez un ou plusieurs jeux de données publics.
Resource Configuration
Resource Group Type
Sélectionnez un groupe de ressources public, des ressources de calcul générales ou des ressources Lingjun.
Job Resource
Si vous sélectionnez public resource group pour Resource group type, le système recommande des ressources en fonction des spécifications de votre modèle.
Cliquez sur Submit pour exécuter la tâche.
-
Consultez les résultats d'évaluation.
Résultats mono-tâche
Sur la page Quick Start > Model Gallery > Job Management > Evaluation Jobs, cliquez sur View Report dans la colonne Actions pour une tâche dont le Status est Succeeded. Consultez ensuite les scores du modèle dans différents domaines et jeux de données sur la page Custom Dataset Evaluation Result.
Dans l'onglet Evaluation Report, basculez vers le sous-onglet Public Dataset Evaluation Result pour visualiser la distribution des scores du modèle sur les jeux de données publics tels que C-Eval, CMMLU, GSM8K, HellaSwag, MMLU, TriviaQA et TruthfulQA sous forme de graphique radar.
Résultats de comparaison multi-tâches
Sur la page Quick Start > Model Gallery > Job Management > Evaluation Jobs, sélectionnez les tâches d'évaluation à comparer et cliquez sur Compare dans le coin supérieur droit pour afficher les résultats sur la page Evaluation Results of Public Datasets.
Un graphique radar en haut de la page affiche les scores pour chaque jeu de données. Le tableau ci-dessous liste le Job Name, le Model et les scores des jeux de données pour chaque tâche d'évaluation.
Interprétation des résultats :
Si un domaine comprend plusieurs jeux de données, l'évaluation des LLM dans PAI calcule le score du domaine en faisant la moyenne des scores du modèle sur ces jeux de données.
Le rapport affiche également les scores par jeu de données. La section Jeux de données publics pris en charge détaille le périmètre de chaque jeu de données.
Les résultats finaux de l'évaluation sont enregistrés dans le Result output path spécifié.