Model Gallery offre un point d'entrée pour évaluer les grands modèles de langage. Vous pouvez évaluer les capacités d'un modèle à l'aide de jeux de données personnalisés ou publics.
Périmètre des fonctionnalités
Model Gallery prend uniquement en charge l'évaluation de modèle unique, qui note les résultats d'inférence en ligne d'un seul modèle. Pour les duels entre deux modèles (Dual-Model Arena et Dual-Model Offline Competition), accédez à la rubrique Évaluation des modèles (ModelEval).
Vous pouvez consulter et gérer les tâches d'évaluation créées via Model Gallery aux emplacements suivants :
Model Gallery > Job Management > Evaluation Jobs
Model Evaluation (ModelEval)
Créer une tâche d'évaluation
Connectez-vous à la console PAI. Dans le volet de navigation de gauche, choisissez QuickStart > Model Gallery.
-
Sur la page Models, sélectionnez Evaluate dans le filtre Supported Operations pour afficher uniquement les modèles évaluables.
RemarqueLes modèles issus du fine-tuning d'un modèle compatible avec l'évaluation sont également évaluables. Dans Job Management > Training Jobs, cliquez sur une tâche pour accéder à sa page de détails. Le bouton Evaluate est disponible dans le coin supérieur droit.
Cliquez sur la carte du modèle cible pour accéder à sa page de détails, puis cliquez sur Evaluate dans le coin supérieur droit de la page.
Pour une description complète des modes d'évaluation et des paramètres, consultez la rubrique Évaluation des modèles (ModelEval).