Grand modèle de langage distillé basé sur Llama-3.1-70B et entraîné à partir des sorties de DeepSeek R1.
Fournisseur du service d'inférence
Alibaba Cloud Model Studio assure le service d'inférence pour deepseek-r1-distill-llama-70b.
Capacités du modèle
| Capacité | Prise en charge | Capacité | Prise en charge |
|---|---|---|---|
Modalité d'entrée | Text | Modalité de sortie | Text |
Expérience du modèle | Supported | Appel de fonction | Unsupported |
Sorties structurées | Unsupported | Recherche web | Unsupported |
Complétion de préfixe | Unsupported | Mise en cache du contexte | Unsupported |
Inférence par lot | Unsupported | Fine-tuning | Unsupported |
Limites de contexte
| Paramètre | Valeur | Paramètre | Valeur |
|---|---|---|---|
Longueur d'entrée maximale | 32768 | Longueur de sortie maximale | 16384 |
Fenêtre de contexte | 32768 |
Tarification
Aucune information tarifaire publique n'est disponible.
Limites de débit
China (Beijing)
| Paramètre | Valeur |
|---|---|
RPM (requêtes par minute) | 60 |
TPM (tokens par minute) | 100,000 |