O PAI garante cargas de trabalho de IA seguras e confiáveis por meio de isolamento de zonas, tolerância a falhas automática, verificações de integridade do poder computacional e monitoramento de infraestrutura.
Isolamento de falhas entre zonas
Uma zona é uma área física dentro de uma região que possui fornecimento de energia e rede independentes.
As zonas dentro da mesma região se conectam por redes internas de baixa latência. O PAI isola falhas entre as zonas, de modo que uma falha em uma zona não afeta as demais. Cada região é independente e as zonas em regiões diferentes permanecem isoladas entre si.
Tolerância a falhas automática elástica
O PAI oferece monitoramento de tolerância a falhas por meio do AIMaster, um componente no nível da tarefa. Ao ativar esse recurso para uma tarefa, uma instância do AIMaster inicia e executa junto com as outras instâncias da tarefa para monitorar as atividades, detectar falhas e controlar recursos. Para mais informações, consulte AIMaster: O mecanismo elástico de tolerância a falhas automática.
Verificação de integridade do poder computacional
O DLC fornece verificações de sanidade para validar a integridade e o desempenho dos recursos computacionais em tarefas de treinamento distribuído. Ative as verificações de sanidade ao criar uma tarefa de treinamento do DLC. Essas verificações inspecionam todos os recursos de treinamento, isolam automaticamente nós com falha e acionam processos automatizados de O&M em segundo plano, o que reduz falhas na fase inicial e aumenta as taxas de sucesso do treinamento. Após a conclusão, o sistema gera um relatório de poder computacional de GPU e desempenho de comunicação para ajudar a identificar e localizar elementos que degradam o desempenho, melhorando a eficiência do diagnóstico de problemas. Para instruções detalhadas, consulte SanityCheck: Verificação de integridade do poder computacional.
Monitoramento de infraestrutura
O PAI se integra ao Cloud Monitor para construir e fortalecer sistemas de defesa de segurança. Tópicos relacionados:
Monitoramento de inferência de modelos (EAS): Visualize eventos do Cloud Monitor do EAS.