A colocalização de treinamento e inferência execute service de inferência e jobs de treinamento no mesmo cluster de GPU. Por meio do mecanismo de preempção de cotas de recursos pai e filho, os service de inferência preemptam automaticamente os recursos de treinamento. Ao combinar o dimensionamento automático agendado do EAS (Elastic Algorithm Service) com os recursos de computação ociosos do DLC (Deep Learning Containers), o cluster prioriza a inferência durante o dia e execute os treinamentos à noite, mantendo as GPU em uso contínuo.
Contexto
Cenário de exemplo
Considere um cluster com 128 GPU compartilhado por três equipes:
A Equipe A execute service de inferência e tem a maior prioridade de recursos.
As Equipes B e C execute treinamentos de modelos com prioridade inferior à inferência.
Quando a Equipe A precisa de mais recursos para inferência, o sistema recupera automaticamente os recursos de treinamento das Equipes B e C.
Durante o dia, o EAS aumenta a escala para lidar com o tráfego de inferência. À noite, o EAS reduz a escala para liberar as gpu e os jobs de treinamento iniciam automaticamente.
As Equipes B e C gerencie seus recursos e jobs de forma independente, sem interferir umas nas outras.
Como funciona
O EAS implanta os service de inferência na cota pai, enquanto o DLC implanta os jobs de treinamento nas subcotas. Quando os service de inferência precisam de mais recursos, o sistema preempta automaticamente a computação de treinamento. Ao combinar o dimensionamento automático agendado do EAS (aumento de escala durante o dia e redução à noite) com os recursos de computação ociosos do DLC (uso da computação excedente para treinamento noturno), não é necessária nenhuma etapa manual.
Para implementar este cenário:
crie a Cota 1 com 128 GPU e ative a opção child-level compute preemption. Na Cota 1, crie duas subcotas: Cota 1.1 (48 GPU) e Cota 1.2 (80 GPU).
crie o workspace_a para a Equipe A e vincule-o à Cota 1. Implante os service de inferência do EAS na Cota 1 e configure o dimensionamento automático agendado.
crie o workspace_b para a Equipe B e vincule-o à Cota 1.1. crie jobs de treinamento do DLC na Cota 1.1 com os recursos de computação ociosos ativados.
crie o workspace_c para a Equipe C e vincule-o à Cota 1.2. crie instâncias do DSW (Data Science Workshop) na Cota 1.2 para desenvolvimento.
Procedimento
Prepare os recursos de computação de IA (recursos de computação de uso geral ou recursos de computação de IA Lingjun). Os pools de recursos de uso geral devem ser da versão 2.0 para oferecer suporte simultâneo a EAS, DLC e DSW. Para mais informações, consulte Resource pool.
-
clique em Add Resource Quota.
-
crie a Cota 1 com os seguintes parâmetros principais. Para mais informações, consulte Create a resource quota ou General computing resource quotas.
Selecione os resources (128 GPU).
ative a opção Child-level Preemption. Quando ativada, os service de inferência do EAS na cota pai podem preemptar os recursos de treinamento nas subcotas.
-
Na coluna Actions da Cota 1, clique em New Child-level Resource Quota para criar duas subcotas. Para mais informações, consulte Create parent-child quotas.
Cota 1.1: 48 GPU.
Cota 1.2: 80 GPU.
-
-
crie três workspaces e vincule cada um à sua cota correspondente. Para mais informações, consulte Create and manage workspaces.
Equipe A: workspace_a, vinculado à Cota 1.
Equipe B: workspace_b, vinculado à Cota 1.1.
Equipe C: workspace_c, vinculado à Cota 1.2.
-
crie um service de inferência do EAS na Cota 1 e configure o dimensionamento automático agendado. Para mais informações, consulte Service Deployment.
Configure as regras de dimensionamento automático agendado da seguinte forma:
Aumente a escala para o número-alvo de réplicas às 08:00 para lidar com o tráfego de inferência diurno.
Reduza a escala para zero ou para um número mínimo de réplicas às 10:00 PM para liberar as GPU para os jobs de treinamento.
Para configurações detalhadas, consulte Scheduled auto scaling.
-
crie jobs de treinamento do DLC ou instâncias do DSW em uma subcota e ative os recursos de computação ociosos. Para mais informações, consulte Create a training job.
Após ative os recursos de computação ociosos, os jobs de treinamento podem usar a computação excedente além do limite da cota. As GPU liberadas pelo EAS à noite são atribuídas automaticamente aos jobs de treinamento.
Para configurações detalhadas, consulte Use idle-time resources.
Conceda permissões de administrador de workspace às Equipes A, B e C. Para mais informações sobre a configuração do workspace, consulte Configure a workspace. Para definições de funções, consulte Roles and permissions.
Casos de uso
Preemptar recursos de treinamento para inferência
Na página Resource Quota, clique em Cota 1 e, na aba Overview, ative a opção Child-level compute preemption.
Quando o service de inferência da Equipe A precisa de mais recursos do que os disponíveis, o sistema recupera automaticamente os recursos de treinamento das Equipes B e C.
Redistribuir recursos entre as Equipes B e C
Ajuste os recursos da Cota 1.1 e da Cota 1.2 com base nos requisitos da equipe. Na página Resource Quota, localize a Cota 1.1 ou a Cota 1.2 e clique em Scale na coluna Actions. Para mais informações, consulte Scale quotas.
Dimensione a Cota 1.1 de 48 GPU para 56 GPU (adicione 8 GPU).
Dimensione a Cota 1.2 de 80 GPU para 72 GPU (remova 8 GPU).
Isolar permissões entre as Equipes B e C
A Cota 1.1 está vinculada ao workspace_b, e a Cota 1.2 está vinculada ao workspace_c. As Equipes B e C gerencie seus recursos e jobs de forma independente em seus próprios workspaces. Para mais informações, consulte Workspace scheduling center.
Para configurar as funções de uso de recursos: Na página Workspace Settings, clique em aba Scheduling Configuration. Na seção Resource Usage, selecione as Roles para a cota de destino, clique em + Add para adicionar uma entrada de configuração e, em seguida, clique em salve.