Découvrez les modèles de langage pré-entraînés de la série StructBERT chinois dans la bibliothèque de modèles ModelScope.

Étiquettes associées :1. Alibaba Cloud lance la plateforme ModelScope et de nouvelles solutions pour abaisser le seuil de concrétisation de l'innovation métier
2. Modélisation de données DataWorks - Un ensemble de solutions de gestion des modèles de données


Résumé : StructBERT apporte des améliorations et des optimisations par rapport à BERT. En introduisant deux nouvelles fonctions objectives, au niveau de la phrase et au niveau du mot, l'ordre des phrases et des mots est perturbé, puis rétabli par le modèle. Celui-ci maîtrise ainsi mieux la grammaire humaine et approfondit sa compréhension du langage naturel, ce qui lui permet d'apprendre des informations plus riches sur la structure du langage.

ModelScope

La plateforme ModelScope rassemble des modèles de pré-entraînement leaders du secteur et propose divers types de modèles de haute qualité en open source. Les développeurs peuvent les tester et les télécharger gratuitement sur la plateforme.

Introduction à StructBERT

StructBERT apporte des améliorations et des optimisations par rapport à BERT. En introduisant deux nouvelles fonctions objectives, au niveau de la phrase et au niveau du mot, l'ordre des phrases et des mots est perturbé, puis rétabli par le modèle. Les machines maîtrisent ainsi mieux la grammaire humaine et approfondissent leur compréhension du langage naturel, ce qui permet au modèle d'apprendre des informations plus riches sur la structure du langage.

Amélioration stable par rapport à BERT sur les jeux de données publics

StructBERT de la série chinoise

ModelScope a publié en open source des modèles StructBERT chinois de différentes tailles, résumés dans le tableau suivant. Vous pouvez utiliser les modèles de différentes tailles selon vos besoins.

Vous pouvez spécifier l'identifiant du modèle dans le code pour l'appeler, ou récupérer le dépôt de modèles en local pour l'utiliser.

Ajustement de StructBERT dans ModelScope

Vous pouvez utiliser vos propres données pour effectuer un ajustement (fine-tuning) sur la base de StructBERT et personnaliser votre propre modèle. Dans ModelScope, un ajustement personnalisé peut être effectué en dix lignes de code.

Préparation de l'environnement

• Si vous devez exécuter le modèle en local, vous devez préparer l'installation de l'environnement correspondant, notamment : installer l'environnement Python (python>=3.7), installer le framework de deep learning (pytorch ou tensorflow) et installer la bibliothèque ModelScope. Pour plus de détails, reportez-vous à la documentation officielle : Installation de l'environnement.

Si vous trouvez l'installation locale trop complexe, la plateforme ModelScope fournit également un environnement d'exécution en ligne : vous pouvez l'exécuter directement dans Notebook. ModelScope fournit aussi des ressources de calcul gratuites. Pour connaître le quota précis, reportez-vous au document officiel : Description du quota gratuit.

Configuration de l'entraînement

• Des fichiers de configuration peuvent être utilisés dans ModelScope pour définir des processus tels que le prétraitement des données, l'entraînement du modèle et l'évaluation du modèle. Les noms des fichiers de configuration, par exemple ceux des modèles dans le dépôt de modèles, sont configuration.json

• Dans le fichier de configuration, vous pouvez définir les champs requis pour l'entraînement, tels que le framework d'exécution (pytorch/tensorflow), le nom de la tâche (classification, similarité, etc.), le processus de prétraitement (preprocessor) et l'optimiseur d'entraînement (optimizer). Pour une description détaillée des champs, reportez-vous à Détails de la configuration

• Voici un exemple de fichier de configuration dans lequel nous utilisons StructBERT pour entraîner un modèle de similarité de phrases

Dix lignes de code pour lancer l'entraînement

Le jeu de données afqmc (Ant Financial Question Matching Corpus) ci-après sert d'exemple pour illustrer l'entraînement d'un modèle basé sur StructBERT.

Après avoir exécuté le code, vous pouvez facilement observer la progression de l'entraînement (variation de la loss, utilisation de la mémoire, durée de l'entraînement, etc.) dans le journal.

Pour plus de paramètres de fine-tuning dans ModelScope, reportez-vous au document : Bonnes pratiques pour le fine-tuning de classification de texte

Retour d'expérience sur ModelScope

• Dans l'ensemble, ModelScope a publié en open source des modèles de haute qualité pour de nombreux scénarios importants, permettant aux développeurs de partir d'un niveau plus élevé (par exemple des modèles pré-entraînés comme StructBERT) en les combinant avec leurs propres scénarios.

• D'autre part, ModelScope en est encore à ses débuts et certains éléments restent à construire (par exemple des jeux de données réels de plus en plus pertinents). Nous espérons que ModelScope continuera de s'améliorer.