Préparez les ressources de calcul, une image de conteneur, un ensemble de données et le code source pour une tâche d'entraînement DLC.
Prérequis
Si vous utilisez OSS pour le stockage, accordez à DLC les permissions nécessaires pour accéder à OSS. Sans les permissions appropriées, des erreurs d'E/S se produisent lors de l'accès aux données depuis un compartiment OSS monté. Pour plus d'informations, consultez Cloud product dependencies and authorization: DLC.
Étape 1 : Préparer les ressources
Préparez les ressources de calcul pour l'entraînement IA. Les types de ressources suivants sont disponibles :
-
Ressources publiques
Effectuez l'autorisation DLC. Les ressources publiques sont alors disponibles sur la page Create Job sans qu'il soit nécessaire d'ajouter un groupe de ressources.
-
Ressources de calcul générales
Créez un groupe de ressources dédié, achetez des ressources de calcul générales et créez un quota de ressources pour allouer ces ressources. Associez le quota de ressources à un espace de travail afin de soumettre des tâches d'entraînement. Pour plus d'informations, consultez General computing resource quotas.
-
Ressources Lingjun
Préparez les ressources Lingjun et associez-les à votre espace de travail. Pour plus d'informations, consultez Create a resource quota.
Étape 2 : Préparer une image
Préparez une image de conteneur pour l'environnement d'entraînement. Les options d'image suivantes sont prises en charge :
Image officielle : PAI fournit des images officielles basées sur divers frameworks. Ces images sont optimisées pour les services Alibaba Cloud afin d'offrir une meilleure compatibilité et de meilleures performances. Accédez à la page Images de la gestion des actifs IA dans la console PAI. Sur la page Image:, sous l'onglet Alibaba Cloud Images, définissez Modules sur DLC pour afficher les images qui prennent en charge les tâches DLC.
-
Image personnalisée : Si votre tâche d'entraînement nécessite des environnements ou des dépendances spécifiques, utilisez une image personnalisée. Ajoutez l'image en tant qu'actif IA PAI sur la page de votre espace de travail pour la réutiliser dans plusieurs tâches d'entraînement. Pour plus d'informations, consultez Custom images.
ImportantSi vous utilisez une image personnalisée avec des ressources Lingjun, consultez RDMA: Use high-performance networks for distributed training pour connaître les considérations associées.
Adresse de l'image : Spécifiez l'adresse d'une image personnalisée ou officielle lors de la soumission d'une tâche d'entraînement. Consultez les adresses des images sur la page Images de la gestion des actifs IA dans la console PAI.
Étape 3 : Préparer un ensemble de données
Téléchargez les données d'entraînement vers OSS, NAS ou CPFS et créez un ensemble de données, ou montez directement les données depuis un compartiment OSS ou un ensemble de données public.
Types d'ensembles de données pris en charge
PAI prend en charge les ensembles de données stockés dans OSS, General-purpose NAS, Extreme NAS, CPFS et Lingjun CPFS. L'accélération des ensembles de données est prise en charge pour tous les types, à l'exception de Lingjun CPFS.
Créer un ensemble de données
Pour obtenir les étapes détaillées, consultez Create and manage datasets. Notez les limitations suivantes :
Limitations d'OSS : OSS est un service de stockage d'objets distribué, et non un système de fichiers. Après le montage d'un compartiment OSS, vous ne pouvez pas ajouter de données ni écraser les fichiers existants.
Exigence de VPC pour CPFS : Configurez la tâche d'entraînement pour qu'elle utilise le même VPC que le système de fichiers CPFS. Une incompatibilité de VPC entraîne le maintien indéfini de la tâche dans l'état Preparing environment.
Activer l'accélération des ensembles de données
Activez l'accélération des ensembles de données pour améliorer l'efficacité de lecture des données. Pour plus de détails, consultez Use Dataset Accelerator in PAI.
Étape 4 : Préparer le code source
Ajoutez votre code d'entraînement en tant qu'actif IA sur la page de votre espace de travail pour le réutiliser dans plusieurs tâches d'entraînement. Pour plus d'informations, consultez Code configuration.
Étapes suivantes
Une fois ces préparatifs terminés, créez une tâche d'entraînement. Pour plus d'informations, consultez Create a training job.