Platform For AI:Use idle-time resources for DLC jobs

Como funciona

Na plataforma PAI, diferentes equipes enviam jobs de treinamento por meio de suas próprias cotas. Algumas cotas ficam ociosas em determinados períodos, enquanto outras equipes aguardam recursos na fila. Os recursos ociosos resolvem esse problema ao permitir que os jobs do DLC aproveitem a capacidade excedente de outras cotas.

Funcionamento dos recursos ociosos:

• Jobs ociosos enviados para uma cota de computação de uso geral podem usar recursos excedentes dentro dessa mesma cota. Jobs ociosos enviados para uma cota de computação inteligente Lingjun podem utilizar recursos excedentes da mesma especificação em todas as cotas do mesmo tenant.

• Esses jobs não se limitam à capacidade total de recursos da cota associada, pois conseguem aproveitar a capacidade ociosa da cota atual ou de outras cotas.

• Quando a cota original recupera seus recursos para jobs agendados, o sistema encerra automaticamente os jobs ociosos e libera os recursos.

• Com o AIMaster e o EasyCKPT, os jobs ociosos salvam o progresso automaticamente e retomam após a preempção, evitando desperdício de computação.

Pré-requisitos

Uma cota de recursos pré-paga (computação de uso geral ou computação inteligente Lingjun) vinculada a um workspace. Para mais informações, consulte Visão geral.

Envio de um job do DLC com recursos ociosos

1. Ao enviar um job de treinamento do DLC no console, configure Idle Resources após selecionar uma cota de recursos para Lingjun Intelligent Computing Resources ou General-purpose computing resources na seção Resource Information. A tabela a seguir descreve os principais parâmetros. Para mais informações, consulte Criar um job de treinamento.

   Parâmetro	Descrição
   Resource Type	Selecione General-purpose computing resources ou Lingjun Intelligent Computing Resources. Nota Os recursos Lingjun Intelligent Computing Resources são projetados para treinamento de IA de alto desempenho.
   Source	Selecione Resource Quota.
   Idle Resources	Valores válidos: Acceptable: O job pode usar recursos ociosos de todas as cotas do tenant ou a cota selecionada, dependendo de qual sair da fila primeiro. Only Idle Resources: O job utiliza exclusivamente recursos ociosos. Jobs executados em recursos ociosos podem ser interrompidos durante a recuperação de recursos. Certifique-se de que seu código inclua um mecanismo de checkpoint para que o job possa retomar após a preempção. Para mais informações, consulte EasyCkpt. Se você selecionar Acceptable e o job começar a usar os próprios recursos de computação da cota selecionada, ele será executado como um job garantido regular e não estará sujeito a preempção.
   Automatic Fault Tolerance	Como os jobs ociosos podem sofrer preempção, ative a Automatic Fault Tolerance para que o sistema encontre novos recursos automaticamente e reexecute o job quando os recursos forem recuperados. Para detalhes de configuração, consulte AIMaster: Um mecanismo elástico e automático de tolerância a falhas. Ative a chave Auto Fault Tolerance e clique em Modify Configuration para abrir o painel de configuração à direita. Configure os seguintes parâmetros: Run Type: Selecione Synchronous Task ou Asynchronous Task. Maximum Job Restart Count: Por exemplo, defina como 3. Job Hang Detection: Ative ou desative conforme necessário. Fault Tolerance Policy: Selecione uma política como ExitCodeAndErrorMsg. Other Configurations: Configure conforme necessário.

2. Visualize os detalhes de uso de recursos do job do DLC.

   • Verifique o uso de recursos na lista de jobs ou na página de detalhes do job.

     Na coluna Real-time Resources da lista de jobs, visualize o status de uso de recursos, exibido como In Quota ou Not in Quota.

     • In Quota: O job utiliza recursos da sua cota associada.

     • Not in Quota: O job consome recursos ociosos compartilhados.

   • O nome do nó não é exibido quando um job ocioso é executado em recursos compartilhados.

   • Caso os recursos ociosos usados por um job sofram preempção, o status da instância (pod) na página de detalhes do job será marcado como Resource Preempted.

     Isso ocorre quando a cota credora precisa agendar um novo job, mas não possui recursos suficientes. Nesse cenário, o sistema recupera os recursos ociosos para priorizar esse job e marca o status da instância como preemptado.

Referências

Jobs ociosos estão sujeitos a preempção. Ative o AIMaster: Um mecanismo elástico e automático de tolerância a falhas para retomar os jobs automaticamente após a preempção. Utilize o EasyCkpt para minimizar a perda de progresso no treinamento quando ocorrer preempção de jobs.