Conjunto de herramientas nativas de la nube para IA - Container Service for Kubernetes

El conjunto de herramientas nativas de la nube para IA es una solución de Container Service for Kubernetes (ACK) que aprovecha las tecnologías y los productos de IA nativos de la nube. Esta solución le permite utilizar al máximo las arquitecturas y tecnologías nativas de la nube para desarrollar rápidamente un sistema de producción asistido por IA en ACK. También proporciona optimización de pila completa para aplicaciones y sistemas de IA o aprendizaje automático. Los clústeres de ACK Edge conservan toda la funcionalidad del conjunto de herramientas disponible en entornos de nube, aunque algunas funciones pueden tener limitaciones en entornos perimetrales. Este tema describe las capacidades y los límites de uso del conjunto de herramientas en clústeres de ACK Edge con distintos tipos de nodos y redes.

Límites de uso

Elemento	Límite
Componentes del conjunto de herramientas de IA	Tenga en cuenta los límites de uso de los componentes específicos que utilice, incluida la versión del clúster y la versión del controlador de NVIDIA. Para obtener más información, consulte Component overview and release history.
Clústeres de ACK Edge	Solo son compatibles ciertos sistemas operativos y modelos de GPU en los nodos perimetrales. Para obtener más información, consulte Add an edge node.

Descripción general de las capacidades

Existen dos diferencias entre los clústeres de ACK Edge y los clústeres de ACK Pro:

Conectividad de red: los clústeres de ACK Pro requieren que todos los nodos del clúster estén en la misma nube privada virtual (VPC) y conectados entre sí. En cambio, los clústeres de ACK Edge tienen una configuración de red más compleja basada en node pools. Las capacidades del conjunto de herramientas de IA pueden variar según las condiciones de la red.
1. Node pool en la nube: la configuración de red de este node pool es igual a la de los clústeres de ACK Pro. Gestiona los nodos conectados de Elastic Compute Service (ECS) dentro de la misma VPC.
2. Node pool perimetral dedicado: gestiona los nodos perimetrales conectados a la nube mediante el circuito de Express Connect. Con esto se logran conexiones de red entre los centros de datos y la nube.
3. Node pool perimetral básico: administra los nodos perimetrales conectados a través de Internet. No se puede garantizar la conectividad de red entre estos nodos.
Entorno de los nodos: los clústeres de ACK Edge se usan principalmente para gestionar sus recursos locales. En comparación con las instancias de ECS, el entorno de los nodos es más complejo e incluye información como el modelo de GPU, el controlador de GPU y la versión del sistema operativo. Además, no es compatible con el aislamiento de memoria de GPU.

Capacidad del conjunto de herramientas de IA	Nombre del componente correspondiente	Entorno de nube	Entorno perimetral		Referencias
Capacidad del conjunto de herramientas de IA	Nombre del componente correspondiente	Node pool en la nube	Node pool perimetral dedicado	Node pool perimetral básico	Referencias
Elasticidad	ack-alibaba-cloud-metrics-adapter	Compatible	Compatible	Compatible	Run model training jobs on Kubernetes Containerized elastic inference services
Aceleración	ack-fluid	Compatible	Compatible	Compatible	Elastic datasets Accelerate OSS access from edge nodes with Fluid
Programación (programación de tareas por lotes, uso compartido de GPU y detección de topología de GPU)	ack-ai-installer	Compatible	Compatible, excepto el aislamiento de memoria de GPU	Compatible, excepto el aislamiento de memoria de GPU	Use Gang scheduling GPU topology-aware scheduling
Programación (cola de tareas)	ack-kube-queue	Compatible	Compatible	Compatible	Manage AI and ML workloads with ack-kube-queue
Modo de interacción (Arena)	ack-arena	Compatible	Compatible	Compatible	Configure the Arena client
Modo de interacción (consola)	ack-ai-dashboard ack-ai-dev-console ack-mysql	Compatible	Compatible	Compatible	Install and configure AI Console Deploy the AI suite console
Flujo de trabajo	ack-ai-pipeline	Compatible	Compatible	Compatible	Deploy the cloud-native AI suite
Monitoreo	ack-arena-exporter	Compatible	Compatible	Compatible	Cloud-native AI monitoring dashboards

Nota

La capacidad de aceleración del conjunto de herramientas de IA solo se puede usar en los node pools perimetrales que tengan conectividad de red entre sus nodos.

Método de uso

Dada la arquitectura de nube y perímetro de los clústeres de ACK Edge, se recomienda gestionar los distintos recursos mediante node pools cuando use el conjunto de herramientas de IA.

Node pool de gestión: es el node pool en la nube que se usa para desplegar los componentes de gestión del conjunto de herramientas de IA.
1. Este tipo de node pool no requiere recursos de GPU.
2. De forma predeterminada, se utiliza como node pool de gestión el node pool en la nube default-nodepool que los clústeres de ACK Edge crean automáticamente.
3. Para aprovechar todas las funciones del conjunto de herramientas de IA, escale horizontalmente el node pool hasta tener como mínimo 4 nodos. Así se garantiza que haya recursos suficientes para que los componentes funcionen correctamente. Para obtener más información, consulte Create and manage node pools.
Node pool elástico: es el node pool en la nube que tiene habilitada la función auto scaling.

Si necesita elastic inference, utilice este tipo de node pool para escalar dinámicamente los servidores según los requisitos de su negocio.
Node pool perimetral: sirve para gestionar distintos tipos de nodos en los centros de datos.

Se recomienda usar edge node pools para administrar los nodos correspondientes según sus propiedades. Por ejemplo, puede agruparlos en node pools de AMD y node pools basados en ARM de acuerdo con la arquitectura de CPU. También puede dividirlos en node pools que usen circuitos de Express Connect y node pools para Internet, según las condiciones de la red.