Alibaba Cloud Model Studio:Fine-tune models in the console

Cette rubrique explique comment exécuter des tâches d'affinement de modèle dans la console et vous aide à choisir la méthode et les paramètres d'affinement appropriés. L'affinement de modèle comprend trois méthodes d'entraînement : l'affinement supervisé (SFT), le pré-entraînement continu (CPT) et l'optimisation directe des préférences (DPO).

Processus d'affinement de modèle

Étape 1 : Sélectionner une méthode d'affinement

Accédez à la page https://modelstudio.console.alibabacloud.com/cn-beijing?tab=model#/efm/model_manager et cliquez sur le bouton Create Training Task.

Une fois sur la page Create Training Task, dans la zone Training Configuration, vous pouvez sélectionner la Training Method comme Efficient Training ou Full-parameter Training. Le panneau Training Task Summary situé à droite de la page affiche en temps réel un aperçu de la configuration actuelle de la tâche, notamment le modèle, la priorité, la méthode de facturation et d'autres informations.

Dans la section Basic Information, définissez le Job Name et la Job Priority. La priorité des tâches comporte quatre niveaux : L0, L1, L2 et L3, classés du plus élevé au plus faible. La priorité influence l'ordre de planification des tâches d'entraînement. Une priorité plus élevée signifie une exécution plus rapide.

Comment choisir entre CPT, SFT et DPO

Le CPT (Continual Pre-Training) utilise de grands volumes de données non étiquetées pour améliorer les performances du modèle dans des secteurs spécifiques.

Le SFT (Supervised Fine-Tuning) utilise des jeux de données ciblés et un entraînement pour améliorer les performances du modèle pour des scénarios métier spécifiques.

Le DPO (Direct Preference Optimization) utilise des paires d'échantillons positifs et négatifs dans son jeu de données d'entraînement. En intégrant des retours négatifs, il réduit les hallucinations et optimise des cas problématiques spécifiques.

Les trois méthodes d'affinement proposées par Model Studio ne sont pas mutuellement exclusives, mais progressives et complémentaires.

CPT (facultatif) → SFT → DPO (facultatif)

1. CPT (pré-entraînement continu) - Complète les connaissances (les modèles généraux possèdent des connaissances larges mais superficielles, qui peuvent ne pas répondre aux exigences de profondeur et de précision des domaines professionnels)

   • Modèle financier : Apprend les termes financiers
   • Modèle médical : Mémorise la pathologie des médicaments
   • Modèle juridique : Comprend les articles de loi et les précédents

2. SFT (affinement supervisé) - Apprend à effectuer des tâches

   • Bot de service client : Apprend les procédures de service client
   • Assistant de code : Apprend les paradigmes de programmation
   • Appel d'outils (Agent) : Apprend à utiliser MCP

3. DPO (optimisation directe des préférences) - Effectue mieux les tâches

   • Sécurité et responsabilité : Rejette les suggestions nuisibles
   • Concision et efficacité : Fournit des réponses concises
   • Objectivité et neutralité : Évalue de manière équitable et objective

# A single line of training data (in JSON format) has the following typical structure when expanded:
{"messages": [
  {"role": "system", "content": "System input 1"},
  {"role": "user", "content": "User input 1"},
  {"role": "assistant", "content": "Expected model output 1"},
  {"role": "user", "content": "User input 2"},
  {"role": "assistant", "content": "Expected model output 2"}
  ...
]}

 {"role": "assistant", "content": "Expected model output 1", "loss_weight": 1.0},
 {"role": "assistant", "content": "Expected model output 2", "loss_weight": 0.5}

Pour les exigences en matière de volume de données pour chaque méthode d'entraînement, consultez Exigences relatives à la taille du jeu de données.

1. Commencez par collecter un grand volume (au moins 10 millions de jetons) de données spécifiques au domaine non étiquetées et exécutez CPT pour transformer le modèle en expert de votre secteur ou domaine.
2. Avant de lancer votre application, collectez suffisamment (1 000+) d'exemples positifs pour votre scénario ou activité spécifique — paires d'entrées et de sorties de modèle attendues — et exécutez SFT.
3. Après le lancement de votre application ou son entrée en phase d'essai, collectez suffisamment (100+) de retours utilisateurs (tels que des mentions J'aime, Je n'aime pas ou des retours directs) ou de cas problématiques. Convertissez ces données en un jeu d'entraînement DPO et exécutez DPO.

Si c'est la première fois que vous affinez un modèle, sélectionnez un modèle officiel.

Si vous réentraînez un modèle en raison de performances médiocres, sélectionnez Mes modèles > le modèle que vous souhaitez réentraîner.

Après avoir sélectionné un modèle, certains modèles affichent une option Modalité d'entraînement (telle que la génération de texte ou la compréhension visuelle). Choisissez la modalité qui correspond à votre scénario métier. Si elle est prise en charge, une option Mode de réflexion (telle que Instruct ou Thinking) apparaît également. Sélectionnez selon vos besoins.

Entraînement complet des paramètres vs entraînement efficace

• L'entraînement complet des paramètres met à jour tous les paramètres du modèle pendant l'apprentissage.
• L'entraînement efficace utilise l'adaptation de faible rang (LoRA), qui décompose les matrices de poids et met à jour uniquement les composants de faible rang.

Étant donné que les deux méthodes ont le même coût, Alibaba Cloud Model Studio recommande d'utiliser l'entraînement complet des paramètres si votre modèle le prend en charge, car il offre de meilleurs résultats et un meilleur rapport coût-efficacité que l'entraînement efficace.

Étape 2 : Configurer les hyperparamètres

Descriptions des paramètres d'entraînement :

Tous les modèles ne prennent pas en charge l'ensemble des paramètres. Reportez-vous à la console pour connaître les options disponibles.

Présentation des stratégies de planification du taux d'apprentissage

Le « Planificateur de taux d'apprentissage » est le premier paramètre sous Configuration des hyperparamètres > Développer la configuration. Il propose huit stratégies.

Pour plus de détails, consultez :

Étape 3 : Sélectionner les données d'entraînement

Pour des conseils sur la construction de jeux de données, consultez Conseils pour la construction de jeux de données. Pour télécharger des jeux de données de fine-tuning, accédez à la page Gestion des données.

Dans la section Configuration des données, configurez les éléments suivants :

• Jeu d'entraînement : Prend en charge deux méthodes — Create Training Task et Training Configuration. La sélection de jeu de données utilise des jeux de données de fine-tuning précédemment téléchargés. Le montage de jeu de données monte directement les fichiers de données depuis OSS.
• Entraînement mixte : Lorsqu'il est activé, vous pouvez ajouter un jeu de données d'entraînement mixte supplémentaire. L'entraînement mixte préserve les capacités générales du modèle lors du fine-tuning, empêchant la perte de la capacité conversationnelle générale due au surapprentissage sur des données spécifiques à une tâche. Activez cette option si vous disposez de données provenant de plusieurs scénarios métier.
• Jeu de validation : Prend en charge Fractionnement automatique et Sélection de jeu de données. Le fractionnement automatique sélectionne aléatoirement 10 % des données d'entraînement comme jeu de validation. Vous pouvez également télécharger un jeu de données de validation distinct. Le jeu de validation évalue les performances du modèle pendant l'entraînement, en affichant la perte de validation (Validation Loss) et la précision token de validation (Validation Token Accuracy).

Étape 4 : Configurer les ressources d'entraînement

Dans la section Training Method, sélectionnez une méthode de facturation pour la tâche d'entraînement.

• Facturation basée sur les tokens : Utilise des ressources inactives partagées. Facturé selon le nombre de tokens consommés pendant l'entraînement. La vitesse d'entraînement dépend de la disponibilité des ressources et peut impliquer une mise en file d'attente.

Étape 5 : Sortie d'entraînement

Les paramètres suivants s'appliquent à l'entraînement SFT, DPO et CPT.

Sous Efficient Training, configurez :

• Full-parameter Training : Définissez le nom du modèle de sortie. Une fois l'entraînement terminé, le dernier point de contrôle est automatiquement publié dans Training Task Summary sous ce nom.
• Dataset Selection : Définissez le nombre maximal de points de contrôle à conserver.
• Intervalle de point de contrôle : Définissez la fréquence d'enregistrement des points de contrôle — par époque (cycles d'entraînement) ou par étape (étapes d'entraînement).
• Dataset Mounting (Mise à niveau de sécurité) : Lorsqu'il est activé, la plateforme chiffre les fichiers de modèle à l'aide du chiffrement côté serveur OSS (SSE-OSS) avec des clés entièrement gérées. Algorithme de chiffrement : AES256.

Étape 6 : Entraîner le modèle

Cliquez sur Démarrer l'entraînement > Confirmez l'Avis de facturation du fine-tuning de modèle > L'entraînement commence.

Si vous rencontrez des problèmes d'autorisations insuffisantes, consultez : Que faire en cas d'absence d'autorisations pour le fine-tuning de modèle ?

Pendant l'entraînement, cliquez sur le bouton Journaux pour afficher les journaux d'entraînement en temps réel. Vous pouvez également accéder à l'onglet Métriques pour surveiller la perte d'entraînement (Training Loss), la perte de validation (Validation Loss) ou la précision token de validation (Validation Token Accuracy).

Une fois l'entraînement terminé, vérifiez la tendance entre la perte d'entraînement et la perte de validation.

1. Si la perte d'entraînement diminue tandis que la perte de validation augmente, le modèle souffre de surapprentissage. L'entraînement a probablement échoué ou produit de mauvais résultats. Appliquez les optimisations suivantes (par ordre de recommandation) et relancez l'entraînement :

   1. Utilisez l'augmentation de données pour accroître la diversité et le volume des données.
   2. Collectez davantage de données d'entraînement pour augmenter la diversité et le volume.
   3. Ajustez les hyperparamètres : réduisez le nombre d'époques, abaissez le taux d'apprentissage, diminuez la taille de lot, augmentez la décroissance de poids, augmentez le dropout LoRA ou augmentez le ratio de warmup.

2. Si la perte d'entraînement change peu ou augmente (rare), le modèle souffre de sous-apprentissage. L'entraînement a échoué. Appliquez les optimisations suivantes (par ordre de recommandation) et poursuivez l'entraînement :

   1. Vérifiez la qualité des données et assurez-vous d'un nettoyage approfondi des données.
   2. Ajustez les hyperparamètres : augmentez le nombre d'époques, augmentez le taux d'apprentissage, augmentez la taille de lot, diminuez la décroissance de poids, réduisez le dropout LoRA ou réduisez le ratio de warmup.

3. Si aucun de ces problèmes ne survient, passez aux étapes suivantes.

Étape 7 : Publier le modèle pour le déploiement

Seul le fine-tuning SFT prend en charge la publication d'instantanés de modèle intermédiaires.

Une fois l'entraînement terminé, le dernier point de contrôle est automatiquement publié dans Mes modèles sous le nom configuré à l'Étape 5 : Sortie d'entraînement.

Pour publier un point de contrôle intermédiaire, accédez à l'onglet Training Resource Configuration sur la page des détails de la tâche d'entraînement. Consultez la liste des points de contrôle enregistrés, sélectionnez le point de contrôle cible et cliquez sur Model Export.

L'onglet Model Name affiche : ID du point de contrôle, informations d'enregistrement, statut de publication, nom du modèle, temps de rétention restant, heure de création et actions.

Les modèles publiés apparaissent sur la page Mes modèles et peuvent être déployés.

Étape 8 : Déployer le modèle

Accédez à la page Mes modèles pour trouver rapidement les modes de déploiement pris en charge, l'ID du modèle et d'autres détails. Après le déploiement, évaluez votre modèle fine-tuné. Pour plus de détails sur le déploiement, consultez Déploiement de modèle.

Étape 9 : Évaluer le modèle

Utilisez la fonctionnalité Évaluation de modèle d'Alibaba Cloud Model Studio pour évaluer les performances de votre modèle personnalisé. Pour plus de détails, consultez Centre d'aide : Aperçu de l'évaluation de modèle.

FAQ

Quand dois-je utiliser le fine-tuning de modèle ?

• Bien que le fine-tuning des modèles de génération de texte puisse donner d'excellents résultats dans des scénarios métier spécifiques, il présente les limitations suivantes :

  • Chronophage : Cela inclut la création d'un grand jeu de données CPT (au moins 50 millions de tokens), la constitution d'un jeu de données SFT efficace (plus de 1 000 entrées), la collecte de suffisamment de cas négatifs (plus de 100) pour créer un jeu de données DPO efficace, et la lenteur des itérations d'optimisation du modèle.
  • Coût élevé : Un modèle fine-tuné ne peut être utilisé qu'après déploiement, et la facturation du déploiement de modèle est élevée.

• Alibaba Cloud Model Studio recommande de commencer par essayer l'Ingénierie de prompt ou le Function Calling pour personnaliser votre application. Le fine-tuning de modèle est généralement le « dernier recours » pour améliorer les performances du modèle. En effet :

  1. Dans de nombreuses tâches, un modèle peut initialement avoir de mauvaises performances, mais l'application des techniques de prompt appropriées peut améliorer les résultats sans nécessiter de fine-tuning du modèle.
  2. L'optimisation itérative des prompts et des plugins est plus agile et rentable que les itérations de fine-tuning de modèle, car le fine-tuning peut nécessiter de recollecter, nettoyer et optimiser les données, collecter des cas négatifs et mener des enquêtes auprès des clients.
  3. Même si vous décidez finalement d'effectuer un fine-tuning de modèle, le travail initial d'ingénierie de prompt et d'optimisation des plugins ne sera pas perdu. Ce travail préliminaire peut être entièrement réutilisé lors de la construction du jeu de données de fine-tuning.

Que faire en cas d'erreur d'autorisation lors du fine-tuning de modèle ?

Contactez votre administrateur de plateforme ou d'espace de travail pour vérifier et accorder les autorisations suivantes :

1. Votre compte doit disposer des autorisations de page pour My Models, Max Snapshots et Model Encryption dans l'espace de travail où vous exécutez les tâches de fine-tuning.

   Pour plus de détails, consultez : Gestion des autorisations de compte. Lien vers la console : Model Studio – Gestion des comptes.

2. L'espace de travail où vous exécutez les tâches de fine-tuning doit disposer des autorisations Outputs (fine-tuning) pour le modèle spécifique.

   Pour plus de détails, consultez : Accorder aux sous-espaces de travail des autorisations d'invocation, d'entraînement et de déploiement de modèle. Lien vers la console : Model Studio – Gestion des espaces de travail.

   Sur la page Publish Model dans Outputs, confirmez que la colonne Model Fine-tuning – Operation du modèle cible (par exemple, Qwen3-8B) affiche le statut Model Deployment – Operation.

Que faire si les résultats d'évaluation sont médiocres après le fine-tuning ?

1. Si vous utilisez une évaluation manuelle, vérifiez que vos critères d'évaluation correspondent à votre activité ou à votre scénario.
2. Collectez les cas de test ayant obtenu de mauvais résultats d'évaluation, analysez les raisons de leur échec et ajustez votre jeu de données d'entraînement en conséquence. Itérez ensuite sur le fine-tuning.
3. Générez des exemples DPO à partir des cas mal évalués et lancez un entraînement DPO.

Puis-je télécharger un modèle fine-tuné sur Alibaba Cloud Model Studio pour un déploiement local ?

Les modèles fine-tunés sur Alibaba Cloud Model Studio ne peuvent pas être exportés. Ils ne peuvent être testés et invoqués qu'après déploiement sur Model Studio.

Que faire si le fine-tuning de modèle échoue en raison de données d'entraînement insuffisantes ?

Si le fine-tuning échoue en raison d'un manque de données, essayez d'ajuster le paramètre Model Evaluation – Operation (max_length).

La longueur de séquence définit la longueur maximale en tokens par échantillon d'entraînement. Dans SFT (Supervised Fine-Tuning), les échantillons dépassant cette longueur sont ignorés. Si la longueur de séquence est trop grande, de nombreux échantillons peuvent être ignorés, laissant insuffisamment de données pour l'entraînement et provoquant un échec.

1. Lors de la création d'une tâche d'entraînement, développez Model Training et recherchez Model List (Longueur de séquence).
2. Réduisez la longueur de séquence (par exemple, à 8192) afin que davantage d'échantillons respectent l'exigence de longueur et participent à l'entraînement.
3. Soumettez à nouveau la tâche d'entraînement.

Que faire si le modèle fine-tuné répond toujours avec l'identité du modèle de base dans Playground ?

La page Model Training de la console Model Studio ne permet pas de définir de prompt système. Par conséquent, les configurations d'identité issues de vos données de fine-tuning ne peuvent pas prendre effet, et le modèle répond comme le modèle de base.

Pour vérifier vos paramètres d'identité fine-tunés, utilisez l'une des méthodes suivantes :

• Méthode 1 : Appelez le modèle via l'API et incluez le paramètre system dans la requête pour transmettre le prompt système.
• Méthode 2 : Utilisez la page Authorized de la console Model Studio pour définir un prompt système avant de tester.