Les services de grands modèles de DataWorks offrent une solution complète pour un déploiement efficace, une communication sécurisée et une invocation pratique. Déployez facilement des modèles sur les groupes de ressources serverless de DataWorks et appelez-les directement dans vos tâches de développement de données. Tout le trafic transite par un canal réseau privé établi via PrivateLink, garantissant que les données ne quittent jamais le réseau privé et protégeant ainsi efficacement leur sécurité.
Modèles pris en charge
Catégorie | Modèle | Description |
Grand modèle de langage | Qwen3-32B | Qwen3 est la dernière génération de grands modèles de langage de la série Qwen, proposant une gamme complète de modèles denses et à mélange d'experts (MoE). Grâce à un entraînement approfondi, Qwen3 offre des capacités améliorées en matière de raisonnement, de suivi des instructions, de fonctions d'agent et de prise en charge multilingue. Pour plus d'informations sur ce modèle, consultez la section Modèles recommandés. Important
|
Qwen3-14B | ||
Qwen3-8B | ||
Qwen3-4B | ||
Qwen3-1,7B | ||
Qwen3-0,6B | ||
Qwen3-Embedding-8B | ||
Qwen3-Embedding-4B | ||
Qwen3-Embedding-0,6B | ||
DeepSeek-R1-0528-Qwen3-8B | DeepSeek utilise intensivement l'apprentissage par renforcement lors de l'entraînement, ce qui améliore considérablement les capacités de raisonnement du modèle avec un minimum de données étiquetées. Pour plus d'informations sur ce modèle, consultez la section Modèles recommandés. | |
DeepSeek-R1-Distill-Qwen-1,5B | ||
DeepSeek-R1-Distill-Qwen-7B | ||
DeepSeek-R1-Distill-Qwen-14B | ||
Modèle d'embedding | BGE-M3 | BGE-M3 est un modèle d'embedding polyvalent qui prend en charge la recherche dense, la recherche multi-vecteurs et la recherche clairsemée. Il peut traiter des entrées allant de courts textes jusqu'à un maximum de 8 192 jetons et prend en charge plus de 100 langues naturelles. |
BGE-Large-zh-v1.5 | BGE Embedding est un modèle d'embedding polyvalent. Il utilise RetroMAE pour le pré-entraînement du modèle, suivi d'un apprentissage contrastif sur des données appariées à grande échelle. |
Fonctionnalités des services de grands modèles
Déploiement rapide : processus de lancement simplifié
Grâce à une interface visuelle guidée, déployez des modèles pré-entraînés avec peu de code. Aucune écriture de code d'infrastructure n'est nécessaire. En quelques étapes de configuration simples, créez et publiez des services de modèles, réduisant ainsi les barrières au déploiement.
Communication sécurisée sur réseau privé : garantie de l'isolation des services
Les services de grands modèles de DataWorks sont déployés en mode entièrement géré sur les groupes de ressources serverless de DataWorks. Une communication privée inter-VPC est établie sur la base de PrivateLink et de Private Hosted Zone afin d'assurer l'isolation du réseau. Accédez au modèle entièrement géré via votre réseau privé VPC pour garantir la sécurité des services de modèles.
Communication isolée du réseau : PrivateLink établit un canal de connexion dédié entre votre VPC et le VPC du groupe de ressources DataWorks, garantissant que le trafic n'est pas exposé au réseau public et assurant une isolation sécurisée.
Résolution de noms de domaine privée : Private Hosted Zone déploie un service de résolution DNS privé qui configure automatiquement les règles de redirection des noms de domaine privés, vous permettant d'accéder aux services de modèles directement via des noms de domaine au sein de votre VPC.
Connexion automatisée : invocation transparente
Lorsque vous déployez un service de modèle sur un groupe de ressources serverless DataWorks ou que vous lui configurez un VPC, le système effectue automatiquement les opérations suivantes :
Établissement de connexions inter-VPC. Dans votre VPC (le VPC sous votre compte connecté au groupe de ressources DataWorks), le système crée automatiquement un endpoint PrivateLink et établit un canal de communication chiffré avec le service PrivateLink du VPC du groupe de ressources DataWorks.
Configuration de la résolution de noms de domaine. Les règles de résolution de noms de domaine sont automatiquement configurées dans le VPC spécifié dans la configuration du service de modèle, de sorte que le trafic des requêtes de noms de domaine au sein du VPC est automatiquement redirigé vers le service de modèle DataWorks.
Processus d'invocation des modèles
Lorsque vous initiez un appel de service de modèle via un nom de domaine :
Résolution de la requête : les requêtes DNS au sein de votre VPC sont résolues par Private Hosted Zone pour localiser l'adresse IP privée du VPC du groupe de ressources DataWorks.
Redirection du trafic : les requêtes sont transmises en toute sécurité depuis votre VPC vers le VPC du groupe de ressources DataWorks via le canal dédié établi par PrivateLink.
Réponse du service : les requêtes atteignent l'instance de modèle dans le VPC du groupe de ressources DataWorks, où le calcul d'inférence est effectué et les résultats sont renvoyés.
L'ensemble du processus d'invocation s'exécute dans un environnement de réseau privé sans exposer d'adresses IP publiques, garantissant ainsi la sécurité et la maîtrise des services de modèles.
Déploiement et utilisation des modèles
Dans DataWorks, sélectionnez et déployez des modèles pour le développement de tâches.
Modèles tiers
Outre le déploiement de modèles pré-entraînés, les services de grands modèles de DataWorks prennent également en charge l'enregistrement de services de modèles tiers. Connectez des API de fournisseurs de modèles externes (tels que Bailian) à DataWorks. Après enregistrement et activation, appelez les modèles tiers de manière unifiée au sein des tâches DataWorks.
Sur la page Model Service, basculez vers l'onglet Third-party models. Vous pouvez :
Enregistrer un service de modèle : fournissez des informations telles que le fournisseur du modèle, le nom du modèle, le nom du service et la clé API pour finaliser l'enregistrement.
Gérer les services de modèles : activez, désactivez, modifiez ou supprimez les services de modèles tiers enregistrés.
Les services de modèles tiers ne consomment pas les ressources des groupes de ressources serverless de DataWorks. Les coûts réels sont facturés par le fournisseur de modèle correspondant.