Les séries de modèles Qwen et Wan d'Alibaba Cloud Model Studio sont développées en interne et entraînées sur des jeux de données contenant des billions de tokens (texte, image, vidéo et audio). Le premier jeu de données utilisé lors du développement du modèle est antérieur à janvier 2022.
Sources des données
Les données d'entraînement se répartissent en quatre catégories :
- Données Internet publiques : contenu web accessible au grand public.
- Données de partenaires tiers : données non publiques fournies par des partenaires sous contrat.
- Données annotées et sous-traitées : données issues de services d'annotation et de prestataires rémunérés.
- Données synthétiques : données générées par des modèles propriétaires d'Alibaba Cloud pour compléter les données réelles.
Ces jeux de données peuvent contenir du matériel protégé par le droit d'auteur, des marques déposées ou des brevets, ainsi que du contenu relevant du domaine public.
Données synthétiques
La génération de données synthétiques via des modèles propriétaires répond à quatre objectifs :
- Combler les lacunes lorsque les données d'entraînement réelles sont insuffisantes.
- Traiter des tâches complexes nécessitant des exemples d'entraînement spécialisés.
- Améliorer la capacité de généralisation et les performances perceptives du modèle.
- Renforcer la sécurité et la robustesse du modèle.
Capacités fondamentales
Les données d'entraînement fondent les capacités suivantes du service d'inférence :
- Compréhension générale du langage.
- Raisonnement avancé.
- Interaction multimodale.
- Traitement de contextes longs.
- Génération visuelle.
Ces données favorisent également l'alignement des tâches, la fusion des modalités et le perfectionnement des capacités. Elles garantissent ainsi un traitement précis et sécurisé de requêtes diverses, spécialisées et multimodales.
Politique relative aux données clients
Alibaba Cloud Model Studio n'utilise pas les données métier des clients pour développer ou améliorer ses modèles sans leur consentement explicite.
Gouvernance des données
Un cadre de gouvernance couvre l'intégralité du pipeline d'entraînement (du pré-entraînement au post-entraînement) et inclut des mesures de nettoyage, de traitement et d'optimisation structurelle des données.
Pré-entraînement
Les données brutes subissent un processus de nettoyage et de filtrage :
- Le filtrage automatisé de la sécurité du contenu élimine les éléments nuisibles ou sensibles.
- Une vérification humaine complète les filtres automatisés comme mesure de protection supplémentaire.
- Le filtrage des informations personnelles réduit la présence de données nominatives dans les jeux d'entraînement lors du prétraitement.
Ces mesures aident le modèle à identifier et à atténuer les biais lors de l'inférence, ce qui améliore l'équité et l'impartialité des résultats.
Post-entraînement
Augmentation des données pour les modèles de langage
La sélection des données de haute qualité repose sur un cadre d'annotation granulaire articulé autour de cinq dimensions :
| Dimension | Objectif |
|---|---|
| Valeur éducative | Privilégier les données porteuses de signaux d'apprentissage forts |
| Couverture domainiale | Assurer une large représentation des domaines de connaissance |
| Types linguistiques | Prendre en charge la compréhension multilingue |
| Complexité de raisonnement | Développer des capacités de raisonnement avancé |
| Niveaux de sécurité | Filtrer selon des critères de sécurité du contenu |
L'apport de données synthétiques issues de modèles spécialisés, tels que Qwen-Math et Qwen-Coder, améliore encore les performances en matière de compréhension multilingue, de raisonnement complexe et de modélisation de contextes longs.
Traitement des modèles génératifs visuels
Les données multimodales font l'objet d'un prétraitement ciblé :
- Une OCR de haute précision et une analyse structurelle des documents permettent l'extraction de texte à partir d'images et de documents.
- L'annotation sémantique spatiale 2D/3D facilite la compréhension de l'espace.
- Un alignement temporel explicite entre les images vidéo et le texte assure la compréhension vidéo.
Des jeux de données synthétiques multimodales à grande échelle renforcent l'alignement intermodal entre la vision et le langage. Ils prennent en charge la compréhension de documents complexes et de vidéos longues, tout en servant de base d'entraînement pour la génération visuelle et les interactions basées sur des agents.
Alignement de sécurité
Des jeux de données dédiés à la sécurité consolident les mécanismes de protection intégrés du modèle grâce à un alignement spécifique.
Objectif
Ces processus améliorent la qualité des données et l'alignement des tâches, tout en maintenant la sécurité et la conformité du modèle. Ils permettent d'atteindre les performances cibles pour l'inférence généraliste, spécialisée et multimodale.