Distributed Training DLC (Deep Learning Containers) s'exécute sur Kubernetes et fournit un environnement d'entraînement prêt à l'emploi pour les charges de travail d'apprentissage profond distribué. Il vous permet de soumettre immédiatement des tâches d'entraînement sans configurer de clusters, en utilisant des frameworks tels que PyTorch, TensorFlow et Megatron sur des ressources GPU et Lingjun AI Compute.
Principaux avantages
-
Diversité des ressources de calcul
S'exécute sur Lingjun AI Compute et des ressources de calcul polyvalentes, notamment les instances cloud ECS, ECI, Shenlong bare-metal et Lingjun bare-metal. Prend en charge la planification hétérogène du calcul entre ces différents types de ressources.
-
Prise en charge étendue des frameworks
Exécutez des tâches sur plus de dix frameworks d'entraînement, dont Megatron, DeepSpeed, PyTorch, TensorFlow, MPI et XGBoost, sans avoir à configurer de cluster. DLC propose plusieurs images préconstruites et prend en charge les environnements d'exécution personnalisés. Soumettez vos tâches depuis la console, le SDK ou la CLI.
-
Haute stabilité
Pour l'entraînement de grands modèles, DLC réduit la perte de capacité de calcul et améliore la stabilité de l'entraînement grâce au moteur de tolérance aux pannes propriétaire AIMaster, au framework de checkpoint haute performance EasyCKPT, à la détection de santé SanityCheck et à la réparation automatique des nœuds.
-
Hautes performances
Le framework propriétaire d'accélération de l'entraînement IA prend en charge plusieurs stratégies de parallélisme, notamment le parallélisme des données, le parallélisme de pipeline et le fractionnement des opérateurs, avec une recherche automatique de stratégie et une optimisation de la mémoire. Combiné à une planification consciente de la topologie, à la fusion des groupes de gradients et à la communication en précision mixte, DLC améliore l'efficacité de l'entraînement distribué. Cette solution est adaptée aux charges de travail de pré-entraînement, de poursuite de l'entraînement et d'alignement des grands modèles.
Cas d'utilisation
Prétraitement des données : exécutez un prétraitement parallèle hors ligne à l'aide d'environnements d'exécution personnalisés afin de réduire la complexité de la préparation des données d'entraînement.
Entraînement distribué à grande échelle : entraînez vos modèles simultanément sur des milliers de nœuds en utilisant plusieurs frameworks d'apprentissage profond open source, ce qui réduit considérablement le temps d'entraînement.
Inférence hors ligne : exécutez des tâches d'inférence hors ligne avec DLC pour améliorer l'utilisation des GPU pendant les périodes d'inactivité.
Types de ressources
PAI propose deux types de ressources parmi lesquels vous pouvez choisir selon vos besoins en calcul :
Lingjun AI Compute : ressources de calcul haute performance conçues pour l'entraînement de grands modèles, prenant en charge des charges de travail d'apprentissage profond à très grande échelle. Adapté à l'entraînement de grands modèles, à la conduite autonome et à la recherche scientifique nécessitant une puissance de calcul massive.
Calcul polyvalent : ressources flexibles pour les charges de travail d'entraînement standard, prenant en charge des tâches d'apprentissage automatique de diverses échelles et types.
Les ressources Lingjun AI Compute et de calcul polyvalent sont disponibles dans les modes d'utilisation suivants :
Quota de ressources : achetez des ressources Lingjun ou de calcul polyvalent avec un engagement par abonnement pour des besoins d'entraînement stables et à long terme.
Ressources publiques : utilisez des ressources Lingjun ou de calcul polyvalent à la demande lors de la soumission de tâches, avec une facturation au paiement à l'utilisation. Aucun achat préalable n'est requis.
Instances Spot : Lingjun AI Compute propose des instances Spot pour obtenir une capacité de calcul IA à moindre coût.
Fonctionnalités clés
Création et gestion des tâches
Créer une tâche d'entraînement : soumettez des tâches d'entraînement depuis la console, le SDK ou la CLI, en configurant l'image, le jeu de données, le type de ressource et la commande de démarrage.
Afficher les détails de la tâche : consultez les informations de base de la tâche, la vue des ressources et les journaux d'opérations.
Gérer les tâches d'entraînement : arrêtez, clonez, partagez, générez des scripts et supprimez des tâches.
Configurer la planification hors ligne : soumettez automatiquement des tâches DLC pour l'entraînement incrémentiel et le réglage des modèles lorsque les données ou les hyperparamètres sont mis à jour.
Configuration du stockage : montez ou configurez Object Storage Service (OSS), Apsara File Storage NAS (NAS) et Cloud Parallel File Storage (CPFS).
Surveillance des tâches et notifications
Consulter les rapports d'analyse des tâches d'entraînement : visualisez les métriques d'entraînement et les rapports d'analyse avec TensorBoard.
Surveiller les tâches avec CloudMonitor ou ARMS : consultez l'utilisation des ressources pour les tâches DLC ou configurez des règles d'alerte.
Configurer les notifications : créez des règles de notification dans le centre d'événements de l'espace de travail PAI pour suivre les changements d'état des tâches en temps réel.
Accélération réseau et communication
Configuration RDMA : configurez un réseau RDMA (Remote Direct Memory Access) haute performance pour accélérer la communication inter-nœuds lors de l'utilisation des ressources Lingjun AI Compute.
ACCL : bibliothèque de communication collective haute performance propriétaire d'Alibaba Cloud : communication collective haute performance optimisée pour les caractéristiques du réseau Alibaba Cloud et les modèles de communication des grands modèles, avec diagnostic intégré des pannes et auto-réparation.
Améliorer la vitesse d'accès à Internet avec une passerelle privée : créez une passerelle NAT publique pour le VPC où se trouvent vos instances et configurez SNAT afin que les instances puissent accéder à Internet via une passerelle publique dédiée à haute vitesse.
Optimisation des coûts
Instances Spot : créez des tâches DLC en utilisant des instances Spot Lingjun pour obtenir une capacité de calcul IA à moindre coût.
Utiliser les ressources inactives : soumettez des tâches de calcul à faible priorité qui utilisent la capacité inactive d'autres quotas pour améliorer l'utilisation des ressources et réduire les coûts d'entraînement sans affecter les charges de travail normales.
Élasticité et tolérance aux pannes
Tolérance aux pannes automatique : AIMaster surveille l'état des tâches et détecte et récupère automatiquement les pannes.
Vérification de l'état de santé : détectez l'état de santé des ressources avant le début de l'entraînement et isolez automatiquement les nœuds défaillants.
EasyCKPT : fournit un checkpoint et une récupération de modèle sans perte pour l'entraînement de grands modèles PyTorch, avec prise en charge de la reprise à partir du checkpoint.
PerfTracker : analyse et diagnostic des performances en ligne : collecte en temps réel les fonctions kernel CUDA, les enregistrements d'exécution des fonctions Python et les métriques matérielles de chaque worker, et génère automatiquement des rapports d'analyse pour identifier les nœuds lents, les fonctions goulot d'étranglement et les problèmes de blocage.
Facturation
DLC facture principalement les ressources de calcul :
Type de ressource de calcul | Méthode de facturation | Objet de facturation | Règle de facturation | Arrêt de la facturation lorsque |
Ressources publiques | Paiement à l'utilisation | Durée d'exécution de la tâche DLC (temps pendant lequel la tâche occupe les ressources publiques). |
|
|
Ressources de calcul IA (calcul polyvalent et Lingjun AI Compute) | Abonnement | Pour plus de détails, consultez Facturation des ressources de calcul IA. | Pour plus de détails, consultez Facturation des ressources de calcul IA. | Non applicable |
Pour plus de détails, consultez Facturation de DLC.
Démarrage rapide
À l'aide de l'exemple de reconnaissance de chiffres manuscrits MNIST, apprenez à exécuter un entraînement distribué mono-nœud mono-GPU ou multi-nœuds multi-GPU avec DLC. Pour plus de détails, consultez Prise en main de Deep Learning Containers (DLC).
Obtenir de l'aide
FAQ DLC : pour les problèmes tels que les échecs de démarrage ou d'arrêt des tâches, les questions de facturation ou les erreurs d'entraînement, consultez la FAQ DLC.
Assistant IA PAI (Agentic PAI) : cliquez sur l'icône
dans le coin supérieur droit de la PAI console pour lancer l'assistant IA PAI (Agentic PAI). Agentic PAI fournit des manuels d'utilisateur et des directives opérationnelles pour les produits PAI de bout en bout. Il prend en charge le diagnostic O&M pour les instances DSW, les tâches DLC et les services EAS, identifiant automatiquement les causes racines des pannes et fournissant des recommandations de dépannage.
Références
Créer une tâche d'entraînement : soumettez des tâches d'entraînement depuis la console, le SDK ou la CLI, et apprenez à configurer les paramètres clés.
Cas d'utilisation de DLC : apprenez à utiliser DLC grâce à des exemples pratiques.