Platform For AI:Use idle-time resources for DLC jobs

Fonctionnement

Sur la plateforme PAI, différentes équipes soumettent des tâches d’entraînement via leurs propres quotas. Certains quotas restent inactifs pendant certaines périodes, tandis que d’autres équipes sont en attente de ressources. Les ressources inactives résolvent ce problème en permettant aux tâches DLC d’utiliser la capacité excédentaire d’autres quotas.

Fonctionnement des ressources inactives :

• Les tâches inactives soumises à un quota de calcul généraliste peuvent utiliser les ressources libres au sein de ce quota. Les tâches inactives soumises à un quota de calcul intelligent Lingjun peuvent exploiter les ressources libres de même spécification across tous les quotas appartenant au même locataire.

• Les tâches inactives ne sont pas limitées par la capacité totale en ressources du quota associé. Elles peuvent utiliser les ressources libres du quota actuel ou d’autres quotas.

• Lorsque le quota d’origine récupère ses ressources pour des tâches planifiées, les tâches inactives sont automatiquement arrêtées et les ressources sont libérées.

• En combinaison avec AIMaster et EasyCKPT, les tâches inactives peuvent enregistrer automatiquement leur progression et reprendre après une préemption, évitant ainsi le gaspillage de puissance de calcul.

Prérequis

Un quota de ressources prépayé (calcul généraliste ou calcul intelligent Lingjun) lié à un espace de travail. Pour plus d’informations, consultez Présentation.

Soumettre une tâche DLC avec des ressources inactives

1. Lorsque vous soumettez une tâche d’entraînement DLC dans la console, configurez Idle Resources après avoir sélectionné un quota de ressources pour les Lingjun Intelligent Computing Resources ou les General-purpose computing resources dans la section Resource Information. Le tableau suivant décrit les paramètres clés. Pour plus d’informations, consultez Créer une tâche d’entraînement.

   Parameter	Description
   Resource Type	Sélectionnez General-purpose computing resources ou Lingjun Intelligent Computing Resources. Remarque Lingjun Intelligent Computing Resources resources are designed for high-performance AI training.
   Source	Sélectionnez Resource Quota.
   Idle Resources	Valeurs valides : Acceptable : la tâche peut utiliser les ressources inactives de tous les quotas du locataire, ou utiliser le quota sélectionné, selon celui qui se libère en premier. Only Idle Resources : la tâche utilise exclusivement des ressources inactives. Les tâches exécutées sur des ressources inactives peuvent être interrompues lorsque les ressources sont récupérées. Assurez-vous que votre code intègre un mécanisme de point de contrôle afin que la tâche puisse reprendre après une préemption. Pour plus d’informations, consultez EasyCkpt. Si vous sélectionnez Acceptable et que la tâche commence à utiliser les ressources de calcul de son propre quota, elle s’exécute comme une tâche garantie classique et n’est pas sujette à la préemption.
   Automatic Fault Tolerance	Les tâches inactives peuvent être préemptées. Activez Automatic Fault Tolerance afin que le système trouve automatiquement de nouvelles ressources et relance la tâche lorsque les ressources sont récupérées. Pour les détails de configuration, consultez AIMaster : Un moteur de tolérance aux pannes élastique et automatique. Activez l’interrupteur Auto Fault Tolerance et cliquez sur Modify Configuration pour ouvrir le panneau de configuration à droite. Configurez les paramètres suivants : Run Type : Sélectionnez Synchronous Job ou Asynchronous Job. Maximum Job Restarts : Par exemple, définissez la valeur sur 3. Hang Detection : Activez ou désactivez selon vos besoins. Fault Tolerance Policy : Sélectionnez une politique telle que ExitCodeAndErrorMsg. Other Configurations : Configurez selon vos besoins.

2. Consultez les détails d’utilisation des ressources de la tâche DLC.

   • Dans la liste des tâches ou sur la page des détails de la tâche, vérifiez l’utilisation des ressources.

     Dans la colonne Idle Resources de la liste des tâches, consultez l’état d’utilisation des ressources, qui affiche In Quota ou Not in Quota.

     • In Quota : la tâche utilise les ressources de son quota associé.

     • Not in Quota : la tâche utilise des ressources partagées inactives.

   • Lorsqu’une tâche inactive s’exécute sur des ressources partagées, le nom du nœud n’est pas affiché.

   • Lorsque les ressources inactives utilisées par une tâche sont préemptées, le statut de l’instance (pod) sur la page des détails de la tâche est marqué comme Resource Preempted.

     Lorsque le quota prêteur doit planifier une nouvelle tâche mais manque de ressources suffisantes, le système récupère les ressources inactives pour prioriser cette tâche. Le système marque alors le statut de l’instance comme préempté.

Références

Les tâches inactives peuvent être préemptées. Activez AIMaster : Un moteur de tolérance aux pannes élastique et automatique pour reprendre automatiquement les tâches après une préemption. Utilisez EasyCkpt pour minimiser la perte de progression d’entraînement lorsque les tâches sont préemptées.