Con Arena CLI y la programación de cargas de trabajo de IA en la suite de IA nativa para la nube de ACK, despliegue modelos entrenados como servicios de inference en clústeres de Kubernetes. ACK admite escalado elástico, uso compartido de GPU y monitoreo de rendimiento para reducir los costos operativos. Este tema describe cómo desplegar servicios de inference de modelos con ACK y la suite de IA nativa para la nube.
NVIDIA Triton Server y TensorFlow Serving en ack-arena son componentes gratuitos de código abierto proporcionados por comunidades o empresas externas. Puede instalar los componentes correspondientes y configurar servidores para desplegar modelos de inference como servicios; después, utilice las herramientas pertinentes de prueba y optimización de modelos.
Sin embargo, Alibaba Cloud no se responsabiliza de la estabilidad, los límites de servicio ni el cumplimiento de seguridad de los componentes de terceros. Preste especial atención a los sitios web oficiales de las comunidades o empresas de código abierto externas y a las actualizaciones en las plataformas de hosting de código; asimismo, lea y cumpla las licencias de código abierto. Usted es responsable de cualquier riesgo potencial relacionado con el desarrollo, mantenimiento, solución de problemas y seguridad de las aplicaciones que derive del uso de componentes de terceros.
La suite de IA nativa para la nube admite los siguientes tipos de servicios de inference.
|
Tipo de servicio de inference |
Descripción |
Referencias |
|
Tareas de inference con GPU compartida |
Use Arena para ejecutar varias tareas de inference en una GPU compartida y mejorar su utilización. |
|
|
Servicios de inference de modelos de TensorFlow |
Use Arena y TensorFlow Serving para desplegar modelos de TensorFlow como servicios de inference. |
|
|
Servicios de inference de modelos de PyTorch |
Use NVIDIA Triton Inference Server o TorchServe para desplegar modelos de PyTorch como servicios de inference. |
|
|
Servicios de inference elástica en contenedores |
Despliegue servicios de inference elástica en Elastic Compute Service (ECS) o Elastic Container Instance para mejorar la elasticidad y reducir costos. |