O Distributed Training DLC (Deep Learning Containers) executa no Kubernetes e oferece um ambiente de treinamento pronto para cargas de trabalho distribuídas de deep learning. Você pode enviar jobs de treinamento imediatamente, sem configurar clusters, usando frameworks como PyTorch, TensorFlow e Megatron em recursos de GPU e Lingjun AI Compute.
Principais benefícios
-
Recursos de computação diversificados
Executa em recursos do Lingjun AI Compute e de computação de uso geral, incluindo instâncias ECS na cloud, ECI, bare-metal Shenlong e bare-metal Lingjun. Oferece suporte ao agendamento heterogêneo de computação entre esses tipos de recursos.
-
Amplo suporte a frameworks
Execute jobs em mais de dez frameworks de treinamento — incluindo Megatron, DeepSpeed, PyTorch, TensorFlow, MPI e XGBoost — sem configurar um cluster. O DLC fornece diversas imagens pré-construídas e aceita ambientes de runtime personalizados. Envie jobs pelo console, SDK ou CLI.
-
Alta estabilidade
No treinamento de modelos grandes, o DLC reduz perdas de computação e aumenta a estabilidade do treinamento por meio do mecanismo proprietário de tolerância a falhas AIMaster, do framework de checkpoint de alto desempenho EasyCKPT, da detecção de integridade SanityCheck e do reparo automático de nós.
-
Alto desempenho
O framework proprietário de aceleração de treinamento de IA suporta múltiplas estratégias de paralelismo — incluindo paralelismo de dados, paralelismo de pipeline e divisão de operadores — com busca automática de estratégias e otimização de memória. Combinado com agendamento consciente de topologia, fusão de grupos de gradientes e comunicação de precisão mista, o DLC aumenta a eficiência do treinamento distribuído. É ideal para pré-treinamento, treinamento contínuo e alinhamento de modelos grandes.
Casos de uso
Pré-processamento de dados: Execute pré-processamento paralelo offline usando ambientes de runtime personalizados para reduzir a complexidade na preparação dos dados de treinamento.
Treinamento distribuído em larga escala: Treine com milhares de nós simultaneamente usando diversos frameworks open source de deep learning e reduza significativamente o tempo de treinamento.
Inferência offline: Execute jobs de inferência offline com o DLC para melhorar a utilização da GPU durante períodos ociosos.
Tipos de recursos
O PAI oferece dois tipos de recursos para você escolher conforme suas necessidades de computação:
Lingjun AI Compute: Recursos de computação de alto desempenho projetados para treinamento de modelos grandes, com suporte a cargas de trabalho de deep learning em ultra-larga escala. Indicado para treinamento de modelos grandes, direção autônoma e pesquisas científicas que exigem capacidade massiva de computação.
Computação de uso geral: Recursos flexíveis para cargas de trabalho de treinamento padrão, com suporte a tarefas de machine learning de diversas escalas e tipos.
Os recursos do Lingjun AI Compute e de computação de uso geral estão disponíveis nos seguintes modos de uso:
Cota de recursos: Adquira recursos de computação Lingjun ou de uso geral com compromisso de assinatura para necessidades de treinamento de longo prazo e estáveis.
Recursos públicos: Utilize recursos de computação Lingjun ou de uso geral sob demanda ao enviar jobs, com faturamento conforme o uso. Não é necessária compra antecipada.
Instâncias spot: O Lingjun AI Compute oferece instâncias spot para obter capacidade de computação de IA a um custo menor.
Principais recursos
Criação e gerenciamento de jobs
Create a training job: Envie jobs de treinamento pelo console, SDK ou CLI e configure a imagem, o conjunto de dados, o tipo de recurso e o comando de inicialização.
View job details: Visualize informações básicas do job, visão de recursos e logs de operação.
Manage training jobs: Pare, clone, compartilhe, gere scripts e exclua jobs.
Configure offline scheduling: Envie automaticamente jobs do DLC para treinamento incremental e ajuste de modelo quando dados ou hiperparâmetros forem atualizados.
Storage configuration: Monte ou configure o Object Storage Service (OSS), Apsara File Storage NAS (NAS) e Cloud Parallel File Storage (CPFS).
Monitoramento e notificações de jobs
View training job analysis reports: Visualize métricas de treinamento e relatórios de análise com o TensorBoard.
Monitor jobs with CloudMonitor or ARMS: Visualize o uso de recursos dos jobs do DLC ou configure regras de alerta.
Configure notifications: Crie regras de notificação no centro de eventos do workspace do PAI para acompanhar alterações de status dos jobs em tempo real.
Aceleração de rede e comunicação
RDMA configuration: Configure redes RDMA (Remote Direct Memory Access) de alto desempenho para acelerar a comunicação entre nós ao utilizar recursos do Lingjun AI Compute.
ACCL: Alibaba Cloud's proprietary high-performance collective communication library: Comunicação coletiva de alto desempenho ajustada para as características da rede Alibaba Cloud e padrões de comunicação de modelos grandes, com diagnóstico de falhas e autorreparação integrados.
Improve internet access speed with a private gateway: Crie um gateway NAT público para a VPC onde suas instâncias estão localizadas e configure SNAT para que as instâncias acessem a internet por um gateway público dedicado em alta velocidade.
Otimização de custos
Spot instances: Crie jobs do DLC usando instâncias spot do Lingjun para obter capacidade de computação de IA a um custo reduzido.
Use idle-time resources: Envie jobs de computação de baixa prioridade que utilizam capacidade ociosa de outras cotas para melhorar a utilização de recursos e reduzir custos de treinamento, sem afetar as cargas de trabalho normais.
Elasticidade e tolerância a falhas
Automatic fault tolerance: O AIMaster monitora o status dos jobs, detecta falhas e as recupera automaticamente.
Health check: Detecte a integridade dos recursos antes do início do treinamento e isole automaticamente nós com falha.
EasyCKPT: Oferece checkpoint e recuperação de modelos sem perda de dados para treinamento de modelos grandes em PyTorch, com suporte a retomada a partir de checkpoint.
PerfTracker: Online performance analysis and diagnostics: Coleta funções de kernel CUDA, registros de execução de funções Python e métricas de hardware de cada worker em tempo real e gera automaticamente relatórios de análise para identificar nós lentos, funções gargalo e problemas de travamento.
Faturamento
O DLC cobra principalmente pelos recursos de computação:
Tipo de recurso de computação | Método de faturamento | Objeto de faturamento | Regra de faturamento | O faturamento cessa quando |
Recursos públicos | Pagamento conforme o uso | Duração da execução do job do DLC (tempo em que o job ocupa recursos públicos). |
|
|
Recursos de computação de IA (computação de uso geral e Lingjun AI Compute) | Assinatura | Para detalhes, consulte Billing of AI computing resources. | Para detalhes, consulte Billing of AI computing resources. | Não aplicável |
Para mais detalhes, consulte Billing for DLC.
Início rápido
Use o exemplo de reconhecimento de dígitos manuscritos MNIST para aprender a executar treinamento distribuído single-node single-GPU ou multi-node multi-GPU com o DLC. Para detalhes, consulte Get started with Deep Learning Containers (DLC).
Obter ajuda
Perguntas frequentes do DLC: Para problemas como falhas ao iniciar ou parar jobs, dúvidas de faturamento ou erros de treinamento, consulte DLC FAQ.
Assistente de IA do PAI (Agentic PAI): Clique em no ícone
no canto superior direito do PAI console para iniciar o Assistente de IA do PAI (Agentic PAI). O Agentic PAI fornece manuais do usuário e diretrizes operacionais para produtos PAI de ponta a ponta. Ele oferece suporte a diagnósticos de O&M para instâncias DSW, tarefas DLC e services EAS, identifica automaticamente as causas raiz das falhas e fornece recomendações de solução de problemas.
Referências
Create a training job: Envie jobs de treinamento pelo console, SDK ou CLI e aprenda a configurar os principais parâmetros.
DLC use cases: Aprenda a usar o DLC por meio de exemplos práticos.