Lingjun Intelligent Computing está diseñado para escenarios de inteligencia artificial. Ofrece servicios de cómputo de IA en la nube pública estables, eficientes y altamente extensibles. Lingjun admite el escalamiento de red de alto rendimiento para hasta 100,000 tarjetas, y un solo trabajo permite una extensibilidad de hasta 10,000 tarjetas. El producto incluye funcionalidades listas para usar, como la gestión de operaciones y mantenimiento (O&M) y la administración de trabajos del clúster. Proporciona capacidad de cómputo a gran escala y alta densidad para LLM/AIGC, conducción autónoma, búsqueda y recomendación, inteligencia científica, cuantificación financiera y otros sectores. Gracias a sus capacidades integrales de monitoreo y recuperación automática de fallas, ofrece una base innovadora que combina alto rendimiento, alta extensibilidad y alta estabilidad para su negocio, lo que le otorga una ventaja competitiva en la era de la IA.
Ventajas principales
-
Clúster de escala ultra grande para entrenamiento e inference integrados
Está diseñado para los LLM de IA actuales y futuros. Admite el despliegue y la gestión rápidos de clústeres con hasta 100,000 GPU, y es compatible con los framework de aprendizaje profundo más utilizados. Lingjun adopta una arquitectura de red de alto rendimiento (HPN, High Performance Network) para resolver los desafíos de escalabilidad. Una red de una sola capa admite extensiones a escala de miles de GPU, mientras que una red de dos capas admite extensiones a escala de decenas de miles de GPU. Gracias a su alta escalabilidad y sólida estabilidad, proporciona una potente capacidad de cómputo para el desarrollo de LLM en la era de la AGI.
-
Estable y confiable
Se basa en políticas de paralelismo de trabajos y mejora la estabilidad mediante un diseño de autorreparación en la interacción de los servicios en la nube, además de optimizaciones sistemáticas en la arquitectura de hardware y el software de la capa de plataforma. Esto permite detectar eventos de falla con gran nivel de detalle. También admite el monitoreo en tiempo real y el manejo de estados anómalos en varios niveles, incluidas las zonas perimetrales, las tarjetas GPU y los servicios de programación. De este modo, reduce la probabilidad de fallas y su alcance, y mejora la solidez de los trabajos. El sistema ofrece recuperación por afinidad de fallas en minutos, con una tasa de detección superior al 98 %. Esto respalda de manera eficaz el entrenamiento de LLM MoE de billones de parámetros y logra un periodo de validez de entrenamiento superior al 99 %.
-
Combinaciones flexibles de almacenamiento en múltiples formatos
Al utilizar la ruta de acceso a datos de alto rendimiento y baja latencia de RDMA, junto con el sistema de archivos paralelos distribuido CPFS, los clústeres de decenas de miles de tarjetas obtienen muestras de entrenamiento de forma continua y eficiente durante el procedimiento de entrenamiento. Las capacidades de caché de alto rendimiento y baja latencia cumplen con los requisitos de rendimiento de almacenamiento en escenarios como la precarga de datos y el guardado de puntos de control. En combinación con productos como EBS y OSS, también satisface necesidades de almacenamiento de datos con múltiples especificaciones y tipos, ya sean bloques u objetos. Cambie rápidamente entre distintos modos de acceso al almacenamiento mediante el cambio de especificaciones, sin necesidad de liberar la concesión. El tráfico de almacenamiento se separa del tráfico de cómputo. Se admite la optimización de la comunicación a nivel de clúster para los puntos de control asíncronos, lo que evita que el tráfico de almacenamiento interfiera con el de cómputo y provoque inestabilidad en la comunicación paralela.
-
Base de capacidad de cómputo
Proporciona tipos de recursos de cómputo que incluyen instancias de metal desnudo (clústeres) e instancias de contenedor, con el fin de estandarizar y escalar los recursos de cómputo de IA. Las instancias de metal desnudo ofrecen capacidades equivalentes de comunicación e interconexión. Combinadas con CPU de última generación, proporcionan amplios recursos de disco local compatibles con GPU Direct Storage. Admiten interfaces estándar de Kubernetes y soluciones de red de contenedores, y pueden integrar contenedores seguros para virtualizar recursos de cómputo, almacenamiento y red. De esta forma, entregan capacidad de cómputo inteligente agrupada a las aplicaciones de la capa superior, con mejoras en la utilización de recursos de hasta 3 veces en algunos escenarios.
Características
Impulso a la innovación continua en IA con capacidad de cómputo paralelo de diez mil tarjetas
-
Escenarios comunes
Intelligent Computing Lingjun está diseñado para escenarios de cómputo paralelo de IA orientados al futuro. Entre ellos se incluyen el entrenamiento de modelos base a gran escala, el entrenamiento y ajuste fino de modelos multimodales MoE, y la inference paralela de modelos con hasta un billón de parámetros. Ofrece cientos de exaflops (EFLOPS) de rendimiento de punto flotante por segundo. Su diseño integrado de hardware y software brinda mayor rendimiento y estabilidad en el mismo espacio físico. Admite la innovación continua en modelos base, conducción autónoma, inteligencia científica, tecnología financiera, búsqueda y recomendación, entre otros sectores.
-
Arquitectura de no convergencia a escala ultra grande
Su diseño tiene como eje central el rendimiento de las aplicaciones de IA y la estabilidad de los trabajos. Implementa el control de congestión de red basado en el ancho de banda físico y la topología, y se combina con bibliotecas de comunicación para optimizar la carga de tráfico. La latencia de extremo a extremo llega a ser tan baja como 2 μs. Mediante la colaboración entre los extremos y la red, el clúster de red se optimiza de forma sistemática en el diseño de arquitectura, la topología de red, la selección de rutas y la limitación de velocidad, lo que permite una extensión lineal a escala ultra grande. Esto logra un grado de extensión explícita superior al 96 % a una escala de 10,000 GPU, con un funcionamiento estable de la red en estado estacionario. Además, admite la extensión convergente Scale-up & Scale-out a escala ultra grande en clústeres de 100,000 GPU. Los recursos de intercambio de datos e interconexión dentro del clúster se coordinan, y los límites de rendimiento de transferencia se alcanzan mediante ajustes sistemáticos que mejoran la solidez del sistema.
-
Regiones disponibles
Intelligent Computing Lingjun es compatible con a continuación regiones: China (Hangzhou), China (Beijing), China (Shanghai), China (Shenzhen), China (Guangzhou), China (Zhongwei), China (Hohhot), China (Zhangjiakou), China (Ulanqab), China (Heyuan), Hong Kong (China), Singapore, Japan (Tokyo), US (Atlanta), Germany (Frankfurt), Malaysia (Johor), Malaysia (Kuala Lumpur), UAE (Dubai) y Thailand (Bangkok). Admite los métodos de facturación de suscripción (periodo fijo) y pay-as-you-go. Debe solicitar el uso de recursos al equipo de ventas de Alibaba Cloud.
Instancias de cómputo inteligente de alto rendimiento
-
Compatibilidad con diversos tipos de tarjetas GPU en las instancias de cómputo acelerado de Lingjun
Intelligent Computing Lingjun es un servicio de clúster de metal desnudo para escenarios de cómputo acelerado. A partir de las instancias de cómputo heterogéneo de Lingjun, incorpora GPU (unidades de procesamiento gráfico), interconexiones de alta velocidad entre chips e interconexiones de red de alta velocidad. La arquitectura general se diseña en torno a la dimensión del dominio Scale-up: todas las GPU dentro de una instancia de cómputo acelerado de Lingjun comparten interconexiones de alta velocidad entre chips, y cada tarjeta GPU admite comunicación de interconexión equivalente a RDMA a nivel de clúster. Además, las instancias admiten un despliegue equilibrado de GPU, NVMe local y tarjetas de interfaz de red RDMA de alto rendimiento, lo que habilita funciones como la afinidad NUMA.
-
Compatibilidad con Kubernetes estandarizado e instancias de contenedor serverless, optimizada para escenarios de IA
El despliegue del clúster queda listo de inmediato. Según sus necesidades, utilice la capacidad de cómputo de GPU en contenedores mediante instancias de contenedor serverless ACS y servicios de clúster de Kubernetes. Kubernetes ya completó la abstracción y orquestación de recursos heterogéneos, como CPU y GPU. Para los escenarios de IA, el producto también ofrece mejoras que incluyen optimización de operadores, separación PD, despliegue paralelo EP con balanceo de carga y programación consciente de la caché. Asimismo, admite el montaje de almacenamiento y el uso de red bajo demanda.
-
Acceso a almacenamiento de datos de alto rendimiento
Para cumplir con los exigentes requisitos de carga de datos del almacenamiento de puntos de control de alta velocidad y los servicios de cómputo inteligente en escenarios de entrenamiento, Intelligent Computing Lingjun admite el montaje flexible de almacenamiento de archivos distribuidos de alto rendimiento (CPFS) basado en RDMA. También admite capacidades de descarga de endpoint de VPC/EBS para lograr la interoperabilidad estándar con los productos de la nube.
Gestión automatizada de clústeres
-
Interacción con filtros multidimensionales y gestión automatizada de clústeres
Intelligent Computing Lingjun admite la asignación de zonas perimetrales de metal desnudo de Lingjun y capacidades de programación de agrupación de recursos. El clúster permite usar productos nativos de Kubernetes de Alibaba Cloud, como ACK, para la gestión de clústeres de contenedores; CPFS como almacenamiento de archivos paralelos de alto rendimiento; EBS para discos de sistema y discos de datos; PAI como servicio de plataforma de inteligencia artificial; y ARMS Prometheus para el monitoreo. Todo el procedimiento de despliegue del clúster se completa con un solo clic, y los clústeres de cómputo inteligente de alto rendimiento quedan listos en minutos.
-
El sistema de recuperación automática de fallas garantiza la estabilidad de los trabajos de cómputo paralelo
El sistema de recuperación automática de fallas de Lingjun se construye sobre un marco de monitoreo integral. Ofrece capacidades de protección para el cliente y procesos automatizados de autorreparación que cubren fallas multidimensionales en el sistema operativo, las GPU, la red de alto rendimiento y la DPU de Lingjun, entre otros componentes. Las políticas detalladas de consumo de fallas y la migración en frío automática minimizan el tiempo de inactividad del usuario. Lingjun también cuenta con una plataforma de inspección automatizada para evaluar el estado general de los clústeres de cómputo inteligente. Detecta el estado de salud del clúster de forma periódica y multidimensional, lo que abarca la capacidad de cómputo heterogénea de las GPU y la comunicación colectiva entre nodos. Además, admite detecciones continuas en varios modos, incluidos clústeres de un nodo, dos nodos y múltiples nodos. Esto permite una prevención proactiva real, que reduce la probabilidad de fallas, y tolerancia a fallas posterior al incidente, que mejora la eficiencia de resolución y disminuye la pérdida de capacidad de cómputo durante el entrenamiento. Así, impulsa de manera progresiva una estrategia de prevención temprana de fallas.
Monitoreo integral del clúster
-
Capacidades de observability y O&M
Lingjun proporciona un panel de datos de monitoreo en la consola que incluye recursos de cómputo heterogéneo de GPU, monitoreo y alertas de la red RDMA de alto rendimiento a nivel de segundos, y capacidades de localización de fallas. También muestra los registros de operación y los trabajos de O&M, además de la información de recursos y del entorno. De este modo, los usuarios visualizan el uso de recursos y el estado de ejecución de todo el clúster. Sobre esta base de datos de monitoreo, Lingjun admite capacidades básicas de O&M mediante interfaz gráfica, como el reinicio del sistema, el diagnóstico de O&M del clúster y los nodos, y funciones de terminal web.
Compra y facturación
Compra del producto: Inicie sesión en la consola de Lingjun para comprar recursos de zona perimetral. Para obtener más información, consulte Purchase a Lingjun Node.
Facturación del producto: Intelligent Computing Lingjun admite los métodos de facturación de suscripción (periodo fijo) y pay-as-you-go. Para obtener más información, consulte Product Billing.
Uso
Después de comprar los nodos de cómputo de Lingjun, cree un clúster para utilizar los recursos. Para obtener instrucciones detalladas, consulte Create a Lingjun Basic Cluster.