Préparez les ressources de calcul, une image de conteneur, un jeu de données et le code source pour une tâche d'entraînement DLC.
Prérequis
Si vous utilisez OSS pour le stockage, accordez à DLC les autorisations nécessaires pour y accéder. Sans les autorisations appropriées, des erreurs d'E/S se produisent lors de l'accès aux données depuis un compartiment OSS monté. Pour plus d'informations, consultez la rubrique Dépendances des produits cloud et autorisation : DLC.
Étape 1 : Préparer les ressources
Préparez les ressources de calcul pour l'entraînement IA. Les types de ressources suivants sont disponibles :
-
Ressources publiques
Accordez les autorisations DLC. Les ressources publiques sont alors disponibles sur la page Create Job sans qu'il soit nécessaire d'ajouter un groupe de ressources.
-
Ressources de calcul générales
Créez un groupe de ressources dédié, achetez des ressources de calcul générales et définissez un quota de ressources pour les allouer. Associez le quota de ressources à un espace de travail pour soumettre des tâches d'entraînement. Pour plus d'informations, consultez la rubrique Quotas de ressources de calcul générales.
-
Ressources Lingjun
Préparez les ressources Lingjun et associez-les à votre espace de travail. Pour plus d'informations, consultez la rubrique Créer un quota de ressources.
Étape 2 : Préparer une image
Préparez une image de conteneur pour l'environnement d'entraînement. Les options d'image suivantes sont prises en charge :
Image officielle : PAI fournit des images officielles basées sur divers frameworks. Ces images sont optimisées pour les services Alibaba Cloud afin d'offrir une meilleure compatibilité et de meilleures performances. Accédez à la page Images de la gestion des actifs IA dans la console PAI. Sur la page Image:, sous l'onglet Alibaba Cloud Images, définissez Modules sur DLC pour afficher les images compatibles avec les tâches DLC.
-
Image personnalisée : Si votre tâche d'entraînement nécessite des environnements ou des dépendances spécifiques, utilisez une image personnalisée. Ajoutez l'image en tant qu'actif IA PAI sur la page de votre espace de travail pour la réutiliser dans plusieurs tâches d'entraînement. Pour plus d'informations, consultez la rubrique Images personnalisées.
ImportantSi vous utilisez une image personnalisée avec des ressources Lingjun, consultez la rubrique RDMA : Utiliser des réseaux haute performance pour l'entraînement distribué pour prendre connaissance des considérations associées.
Adresse de l'image : Spécifiez l'adresse d'une image personnalisée ou officielle lors de la soumission d'une tâche d'entraînement. Consultez les adresses des images sur la page Images de la gestion des actifs IA dans la console PAI.
Étape 3 : Préparer un jeu de données
Téléchargez les données d'entraînement vers OSS, NAS ou CPFS et créez un jeu de données, ou montez directement les données depuis un compartiment OSS ou un jeu de données public.
Types de jeux de données pris en charge
PAI prend en charge les jeux de données stockés dans OSS, General-purpose NAS, Extreme NAS, CPFS et Lingjun CPFS. L'accélération des jeux de données est prise en charge pour tous les types, à l'exception de Lingjun CPFS.
Créer un jeu de données
Pour obtenir la procédure détaillée, consultez la rubrique Créer et gérer des jeux de données. Tenez compte des limitations suivantes :
Limitations d'OSS : OSS est un service de stockage d'objets distribué, et non un système de fichiers. Après avoir monté un compartiment OSS, vous ne pouvez pas ajouter de données ni écraser les fichiers existants.
Exigence de VPC pour CPFS : Configurez la tâche d'entraînement pour utiliser le même VPC que le système de fichiers CPFS. Une incompatibilité de VPC entraîne le maintien indéfini de la tâche dans l'état Preparing environment.
Activer l'accélération des jeux de données
Activez l'accélération des jeux de données pour améliorer l'efficacité de lecture des données. Pour plus de détails, consultez la rubrique Utiliser Dataset Accelerator dans PAI.
Étape 4 : Préparer le code source
Ajoutez votre code d'entraînement en tant qu'actif IA sur la page de votre espace de travail pour le réutiliser dans plusieurs tâches d'entraînement. Pour plus d'informations, consultez la rubrique Configuration du code.
Étapes suivantes
Une fois ces préparatifs terminés, créez une tâche d'entraînement. Pour plus d'informations, consultez la rubrique Créer une tâche d'entraînement.