O Intelligent Computing Lingjun foi projetado para cenários de inteligência artificial e fornece service de cloud pública de computação de IA estáveis, eficientes e altamente extensíveis. O Lingjun suporta dimensionamento de rede de alto desempenho para até 100.000 placas, com um único job suportando extensibilidade na escala de 10.000 placas. O product oferece recursos prontos para uso, incluindo gerenciamento de O&M e gerenciamento de jobs de cluster. O Lingjun fornece poder de computação de grande escala e alta densidade para LLM/AIGC, direção autônoma, pesquisa e recomendação, inteligência científica, quantização financeira e outras indústrias e domínios. Combinado com monitoramento abrangente e recursos de recuperação automática de falhas, ele fornece uma base inovadora que integra alto desempenho, alta extensibilidade e alta estabilidade para o seu negócio, ajudando você a obter vantagem de pioneiro na era da IA.
Benefícios principais
-
Cluster de ultra grande escala para treinamento e inferência integrados
Projetado para LLMs de IA atuais e futuros, suporta a implantação e o gerenciamento rápidos de clusters com até 100.000 GPUs e é compatível com os principais frameworks de deep learning. O Lingjun adota uma arquitetura de rede de alto desempenho (HPN) para resolver desafios de escalabilidade. Uma rede de camada única suporta extensão na escala de mil GPUs, e uma rede de duas camadas suporta extensão na escala de dez mil GPUs, oferecendo alta escalabilidade e forte estabilidade para fornecer poder de computação robusto para o desenvolvimento de LLMs na era da AGI.
-
Estável e confiável
Com base em políticas de paralelismo de jobs, a estabilidade é aprimorada por meio do design de autocura de interação de service de cloud e otimização sistemática em toda a arquitetura de hardware e software da camada de plataforma. Isso fornece detecção de eventos de falha de granularidade fina, suporta monitoramento em tempo real e tratamento de status anormais em vários níveis, incluindo zonas de borda, placas de GPU e service de agendamento, reduz a probabilidade de falha e o raio de impacto, e melhora a robustez do job. O sistema oferece recuperação de afinidade de falha no nível de minutos, com uma taxa de detecção de falhas superior a 98%, suportando de forma eficaz o treinamento de LLM MoE de trilhões de parâmetros para alcançar um período de validade de treinamento superior a 99%.
-
Combinações flexíveis de armazenamento em múltiplas formas
Usando o caminho de acesso a dados de baixa latência e alta taxa de transferência do RDMA e o sistema de arquivos paralelos distribuídos CPFS, os clusters de dezenas de milhares de placas podem obter amostras de treinamento de forma contínua e eficiente durante o processo de treinamento. O armazenamento em cache de alto desempenho e baixa latência atende aos requisitos de desempenho de armazenamento de cenários como pré-carregamento de dados e armazenamento de checkpoints. Combinado com products como EBS e OSS, também atende a requisitos de armazenamento de dados de múltiplas especificações e tipos para blocos, objetos e muito mais. Alterne entre diferentes modos de acesso de armazenamento por meio da troca rápida de especificações sem abrir mão do lease. O tráfego de armazenamento fica isolado do tráfego de computação. A otimização de comunicação no nível de cluster para checkpoints assíncronos é suportada para evitar que o tráfego de armazenamento interfira no tráfego de computação e cause jitter na comunicação paralela.
-
Base de poder de computação
Fornece tipos de recursos de computação, incluindo instâncias bare metal (clusters) e instâncias de contêineres para padronizar e escalar recursos de computação de IA. As instâncias bare metal fornecem capacidades equivalentes de comunicação e interconexão. Combinadas com as CPUs de última geração, oferecem amplos recursos de disco local com suporte a GPU Direct Storage. Elas suportam interfaces Kubernetes padronizadas e soluções de rede de contêineres, e podem integrar contêineres de segurança para virtualizar recursos de computação, armazenamento e rede, fornecendo poder de computação inteligente em pool para aplicações de plataforma de camada superior, com melhorias de utilização de recursos de até 3x em alguns cenários.
Recursos
Suporte à inovação contínua de aplicações de IA com poder de computação paralela de dez mil placas
-
Cenários comuns
O Intelligent Computing Lingjun foi projetado para cenários de computação paralela de IA orientados para o futuro, incluindo treinamento de modelos de base em grande escala, treinamento e ajuste fino de modelos multimodais MoE e inferência paralela de modelos com até trilhões de parâmetros. Oferecendo centenas de exaflops (EFLOPS) de desempenho de ponto flutuante por segundo, seu design integrado de hardware e software fornece maior desempenho e maior estabilidade no mesmo espaço. Suporta a inovação contínua em modelos de base, direção autônoma, inteligência científica, fintech, pesquisa e recomendação e outras indústrias.
-
Arquitetura de não convergência de ultra grande escala
Projetado com o desempenho da aplicação de IA e a estabilidade do job como núcleo, implementa controle de congestionamento de rede com base na largura de banda física e topologia, e combina bibliotecas de comunicação para otimização de carga de tráfego. A latência de ponta a ponta é de apenas 2 μs. Com base no conceito de colaboração de rede final, o cluster de rede é otimizado sistematicamente em design de arquitetura, topologia de rede, seleção de caminho, limitação e muito mais para alcançar uma extensão linear de ultra grande escala. Isso oferece um grau de extensão explícita superior a 96% na escala de 10.000 GPUs com operação estável em estado estacionário da rede, ao mesmo tempo em que suporta extensão convergida Scale-up e Scale-out de ultra grande escala no nível de cluster de 100.000 GPUs. Os recursos de troca de dados e interconexão dentro do cluster são coordenados, e o ajuste sistemático é aplicado para se aproximar do limite de desempenho de taxa de transferência do sistema e melhorar a robustez do sistema.
-
Regiões disponíveis
O Intelligent Computing Lingjun suporta as seguintes regiões: China (Hangzhou), China (Beijing), China (Shanghai), China (Shenzhen), China (Guangzhou), China (Zhongwei), China (Hohhot), China (Zhangjiakou), China (Ulanqab), China (Heyuan), Hong Kong (china), Singapore, Japan (Tokyo), US (Atlanta), Germany (Frankfurt), Malaysia (Johor), Malaysia (Kuala Lumpur), UAE (Dubai) e Thailand (Bangkok). O Intelligent Computing Lingjun suporta os modos de faturamento de assinatura (época fixa) e pagamento conforme o uso. Você precisa solicitar o uso de recursos à equipe de vendas da alibaba cloud.
Instâncias de computação inteligente de alto desempenho
-
Suporte para diversos tipos de placas GPU nas instâncias de computação acelerada do Lingjun
O Intelligent Computing Lingjun é um service de cluster bare metal para cenários de computação acelerada. Com base nas instâncias de computação heterogênea do Lingjun, ele apresenta GPUs (Unidades de Processamento Gráfico), interconexões de alta velocidade entre chips e interconexões de rede de alta velocidade. A arquitetura geral é projetada em torno da dimensão do domínio Scale-up: todas as GPUs dentro de uma instância de computação acelerada do Lingjun compartilham interconexões de alta velocidade entre chips, e cada placa de GPU suporta comunicação de interconexão equivalente a RDMA na dimensão do cluster. Além disso, as instâncias suportam implantação balanceada de GPU, NVMe local e placas de interface de rede RDMA de alto desempenho, ativando recursos como afinidade NUMA.
-
Suporte padronizado a Kubernetes e instâncias de contêineres Serverless com otimização para cenários de IA
A implantação do cluster está pronta. Use o poder de computação de GPU em contêineres por meio de instâncias de contêineres ACS Serverless e service de cluster Kubernetes conforme necessário. O Kubernetes concluiu a abstração e a orquestração de recursos heterogêneos, como CPUs e GPUs. Para cenários de IA, o product também fornece aprimoramentos, incluindo otimização de operador, separação de PD, implantação paralela de EP e balanceamento de carga, e agendamento com reconhecimento de cache. Também suporta montagem de armazenamento e uso de rede sob demanda.
-
Acesso a armazenamento de dados de alto desempenho
Para atender aos requisitos extremos de carregamento de dados de armazenamento de checkpoints de alta velocidade e service de computação inteligente em cenários de treinamento, o Intelligent Computing Lingjun suporta a montagem flexível do Cloud Parallel File Storage (CPFS) distribuído de alto desempenho baseado em RDMA, e suporta recursos de descarregamento de endpoint VPC/EBS para ativar a intercomunicação padrão de products de cloud.
Gerenciamento automatizado de cluster
-
Interação de filtro multidimensional e gerenciamento automatizado de cluster
O Intelligent Computing Lingjun suporta a atribuição de zonas de borda bare metal do Lingjun e o agendamento de pool de recursos. O cluster suporta products Kubernetes nativos da cloud da alibaba cloud, como o ACK como service de gerenciamento de cluster de contêineres, o CPFS como armazenamento de arquivos paralelos de alto desempenho, o EBS como discos de sistema e discos de dados, o PAI como service de plataforma de inteligência artificial e o monitoramento ARMS Prometheus. Todo o procedimento de implantação do cluster é concluído com um clique em, e os clusters de computação inteligente de alto desempenho ficam prontos em minutos.
-
O sistema de recuperação automática de falhas garante a estabilidade do job de computação paralela
O sistema de recuperação automática de falhas do Lingjun é construído sobre uma estrutura de monitoramento abrangente, oferecendo proteção ao cliente e recursos de autocura automatizados que cobrem falhas multidimensionais no sistema operacional, GPU, rede de alto desempenho, DPU e muito mais do Lingjun. Políticas de consumo de falhas de granularidade fina e migração a frio automatizada de falhas minimizam o tempo de inatividade do usuário. O Lingjun também construiu uma plataforma de inspeção automatizada para detectar a saúde geral dos clusters de computação inteligente. Ela fornece detecção periódica e multidimensional do status de saúde do cluster, cobrindo o poder de computação heterogêneo da GPU e a comunicação coletiva entre nós, suportando detecção contínua em vários modos, incluindo configurações de cluster de nó único, dois nós e múltiplos nós. Isso oferece uma verdadeira prevenção proativa (reduzindo a probabilidade de falhas) e tolerância a falhas pós-falha (melhorando a eficiência da resolução de problemas e reduzindo a perda de poder de computação de treinamento), avançando progressivamente para uma estratégia de falha shift-left.
Monitoramento abrangente de cluster
-
Capacidades de observabilidade e O&M
O Lingjun fornece um painel de dados de monitoramento no console, incluindo recursos de computação heterogênea de GPU, monitoramento e alertas de rede de alto desempenho RDMA de nível de segundo e recursos de localização de falhas. Também suporta a exibição de logs de operação e jobs de O&M, bem como a exibição de informações de recursos e ambiente, dando aos usuários visibilidade sobre o uso de recursos e o status de execução de todo o cluster. Com base na base de dados de monitoramento, o Lingjun também suporta capacidades básicas de O&M de tela branca, como reinicialização do sistema, diagnóstico de O&M de cluster e zona de borda, e recursos de terminal web.
Compra e faturamento
Compra do product : Envie os requisitos de recursos ao gerente de vendas antes de comprar recursos de nó do Lingjun no console do Lingjun. Para mais informações, consulte Purchase a Lingjun Node.
Faturamento do product: O Intelligent Computing Lingjun suporta os métodos de faturamento de assinatura (época fixa) e pagamento conforme o uso. Para detalhes de faturamento, consulte Billing Rules.
Uso
Após comprar nós de computação do Lingjun, você precisa usar os recursos em clusters. Para obter detalhes, consulte crie Lingjun Basic Cluster.