Platform For AI:Uso de recursos en tiempo de inactividad

Funcionamiento

En la plataforma PAI, cada equipo envía sus trabajos de entrenamiento mediante sus propias cuotas. Durante ciertos periodos, algunas cuotas permanecen inactivas mientras otros equipos esperan recursos en una cola. Los recursos en tiempo de inactividad resuelven este problema, ya que permiten que los trabajos de DLC utilicen la capacidad disponible de otras cuotas.

Funcionamiento de los recursos en tiempo de inactividad:

• Los trabajos en tiempo de inactividad enviados a una cuota de computación de propósito general pueden usar los recursos disponibles dentro de esa misma cuota. Si se envían a una cuota de computación inteligente Lingjun, pueden utilizar recursos disponibles con las mismas especificaciones en todas las cuotas del mismo tenant.

• Estos trabajos no están limitados por la capacidad total de recursos de la cuota asociada. Pueden aprovechar recursos disponibles de la cuota actual o de otras cuotas.

• Cuando la cuota original recupera sus recursos para los trabajos programados, los trabajos en tiempo de inactividad finalizan automáticamente y se liberan los recursos.

• Al usarse junto con AIMaster y EasyCKPT, estos trabajos guardan el progreso de forma automática y se reanudan después de una apropiación de recursos. De esta manera, se evita el desperdicio de cómputo.

Requisitos previos

Una cuota de recursos de prepago (de computación de propósito general o de computación inteligente Lingjun) vinculada a un espacio de trabajo. Para obtener más información, consulte Descripción general.

Envío de un trabajo de DLC con recursos en tiempo de inactividad

1. Cuando envíe un trabajo de entrenamiento de DLC en la consola, configure Idle Resources después de seleccionar una cuota de recursos para Lingjun Intelligent Computing Resources o General-purpose computing resources en la sección Resource Information. A continuación se describen los parámetros principales. Para obtener más información, consulte Create a training job.

   Parámetro	Descripción
   Resource Type	Seleccione General-purpose computing resources o Lingjun Intelligent Computing Resources. Nota Los recursos de tipo Lingjun Intelligent Computing Resources están diseñados para el entrenamiento de IA de alto rendimiento.
   Source	Seleccione Resource Quota.
   Idle Resources	Valores válidos: Acceptable: el trabajo puede usar recursos en tiempo de inactividad de todas las cuotas del tenant o bien la cuota seleccionada, según lo que salga primero de la cola. Only Idle Resources: el trabajo utiliza exclusivamente recursos en tiempo de inactividad. Los trabajos que se ejecutan con recursos en tiempo de inactividad pueden interrumpirse cuando se recuperan dichos recursos. Asegúrese de que su código incluya un mecanismo de checkpoint para que el trabajo se reanude después de una apropiación. Para obtener más información, consulte EasyCkpt. Si selecciona Acceptable y el trabajo comienza a usar los recursos de cómputo propios de la cuota seleccionada, se ejecuta como un trabajo garantizado normal y no está sujeto a apropiación.
   Automatic Fault Tolerance	Los trabajos en tiempo de inactividad pueden sufrir apropiación de recursos. Habilite Automatic Fault Tolerance para que el sistema busque nuevos recursos automáticamente y vuelva a ejecutar el trabajo cuando se recuperen los recursos. Para conocer los detalles de configuración, consulte AIMaster: An elastic and automatic fault tolerance engine. Active el interruptor Auto Fault Tolerance y haga clic en Modify Configuration para abrir el panel de configuración a la derecha. Configure los siguientes parámetros: Run Type: seleccione Synchronous Job o Asynchronous Job. Maximum Job Restarts: por ejemplo, establezca el valor en 3. Hang Detection: habilítelo o deshabilítelo según sea necesario. Fault Tolerance Policy: seleccione una política, como ExitCodeAndErrorMsg. Other Configurations: configúrelas según sea necesario.

2. Consulte los detalles de uso de recursos del trabajo de DLC.

   • Revise el uso de recursos en la lista de trabajos o en la página de detalles del trabajo.

     En la columna Idle Resources de la lista de trabajos, consulte el estado de uso de los recursos, que muestra In Quota o Not in Quota.

     • In Quota: el trabajo usa recursos de su cuota asociada.

     • Not in Quota: el trabajo usa recursos compartidos en tiempo de inactividad.

   • Cuando un trabajo en tiempo de inactividad se ejecuta con recursos compartidos, no se muestra el nombre del nodo.

   • Si se apropian los recursos en tiempo de inactividad que usa un trabajo, el estado de la instancia (pod) en la página de detalles del trabajo se marca como Resource Preempted.

     Cuando la cuota prestamista necesita programar un nuevo trabajo pero no cuenta con recursos suficientes, el sistema recupera los recursos en tiempo de inactividad para priorizar ese trabajo. Después, el sistema marca el estado de la instancia como apropiado.

Referencias

Los trabajos en tiempo de inactividad pueden sufrir apropiación de recursos. Habilite AIMaster: An elastic and automatic fault tolerance engine para reanudarlos automáticamente después de una apropiación. Use EasyCkpt para minimizar la pérdida de progreso en el entrenamiento cuando esto ocurra.