Container Compute Service:GPU

Flujo de trabajo típico de GPU en ACS

ACS proporciona una solución altamente elástica y rentable para cargas de trabajo de IA. Esta abarca todo el ciclo de vida, desde el preprocesamiento de datos y el entrenamiento de modelos hasta el despliegue de inference. Combina el uso bajo demanda y las funciones de escalado automático de una arquitectura serverless con potentes capacidades de cómputo de GPU. De este modo, los desarrolladores y científicos de datos se enfocan en la lógica de negocio y la innovación de algoritmos, en lugar de gestionar los recursos subyacentes.

1. Etapa de preprocesamiento de datos: Para tareas que implican limpiar, transformar y aumentar grandes conjuntos de datos, utilice la capacidad de procesamiento paralelo de las CPU serverless. Inicie una gran cantidad de instancias de CPU bajo demanda para acelerar el cómputo. Una vez finalizadas las tareas, los recursos se liberan de inmediato, por lo que no paga por tiempo de inactividad. Este enfoque resulta muy eficiente para el procesamiento por lotes periódico o con picos de demanda, y acorta significativamente los ciclos de preparación de datos.

2. Etapa de entrenamiento de modelos: Durante la fase de entrenamiento intensivo en cómputo, las GPU serverless le permiten seleccionar de forma flexible instancias de GPU con las especificaciones necesarias según el tamaño del modelo y los requisitos de velocidad de convergencia. La facturación corresponde a la duración exacta de sus trabajos de entrenamiento, con precisión de segundos. Esto elimina el costo de servidores de GPU inactivos, común en las configuraciones tradicionales, y es ideal para ajustes experimentales y entrenamientos iterativos.

   Para garantizar certeza y flexibilidad de recursos en cargas de trabajo de entrenamiento de modelos, use un GPU-HPN capacity reservation.

3. Etapa de despliegue de inference: Una vez entrenado el modelo, despliéguelo sin problemas como un servicio de inference en línea. La arquitectura serverless de ACS escala automáticamente las instancias de GPU en segundos según el tráfico de solicitudes en tiempo real, e incluso puede reducirlas a cero. Por lo tanto, no genera costos de recursos cuando no hay tráfico. Esta elasticidad extrema es ideal para aplicaciones de IA con patrones de tráfico muy variables o con picos, como el reconocimiento de imágenes y el procesamiento de lenguaje natural. Así se garantiza una alta disponibilidad del servicio y se maximiza el ahorro de costos.

Con las GPU serverless de ACS, gestione de manera eficiente todo su flujo de trabajo de IA en una sola plataforma. Optimice la asignación de recursos y los costos para acelerar el desarrollo y el despliegue de sus aplicaciones de IA.

Tipos de GPU compatibles

Para obtener más información sobre las especificaciones de GPU, consulte GPU instance families supported by ACS.

Zonas de disponibilidad de GPU

Reserva de capacidad de GPU en ACS

• GPU pod capacity reservation

• GPU-HPN capacity reservation

Tipos de clústeres habilitados para GPU en ACS

• Use ACS GPU in ACK clusters

• Use ACS GPU in ACK One registered clusters

Programación de recursos de GPU en ACS

• GPU-HPN topology-aware scheduling

• Use GPU sharing and scheduling on GPU-HPN nodes

Monitoreo de GPU en ACS

• ACS GPU pod monitoring metrics

• ACS GPU-HPN node-level monitoring metrics

Solución de problemas de GPU en ACS

Monitor and recover from GPU-HPN node failures