Platform For AI:Custom deployment via console

Paso 1: preparar el archivo de código

Guarde a continuación el código de la aplicación Flask como un app.py. Tenga en cuenta que el servicio escucha en el puerto 8000.

from flask import Flask

app = Flask(__name__)

@app.route('/hello')
def hello_world():
    # Your model inference or other business logic goes here.
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

Paso 2: cargar el código en OSS

Cargue el app.py en un OSS bucket. Asegúrese de que el bucket de OSS y el espacio de trabajo de EAS se encuentren en la misma región. Por ejemplo, cargue el archivo en el directorio oss://examplebucket/code/.

Paso 3: configurar y desplegar el servicio

1. Inicie sesión en la PAI console. Seleccione una región en la parte superior de la página. Después, seleccione el espacio de trabajo deseado y haga clic en Enter Elastic Algorithm Service (EAS).

2. En la pestaña Inference Service, haga clic en Deploy Service. En la sección Custom Model Deployment, haga clic en Custom Deployment.

3. En la página de configuración, establezca los parámetros clave de las secciones Environment Information y Resource Information de la siguiente manera:

   • Deployment Method: seleccione Image-based Deployment.

   • Image Configuration: seleccione la Alibaba Cloud Image python-inference:3.9-ubuntu2004.

   • Storage Mounting: monte el directorio de OSS que contiene el app.py en la ruta /mnt/data/ del contenedor.

     • URI: seleccione el directorio de OSS donde se ubica su código. En este ejemplo, el directorio es oss://examplebucket/code/.

     • Mount Path: especifique una ruta local dentro del contenedor para el directorio. En este ejemplo, la ruta es /mnt/data/.

   • Command: dado que app.py ya se montó en el directorio /mnt/data/ del contenedor, el comando de inicio es: python /mnt/data/app.py.

   • Third-party Library Settings: el código de ejemplo depende de la biblioteca flask, la cual no viene incluida en la imagen oficial seleccionada. Agregue flask en Third-party Libraries. EAS instala automáticamente la biblioteca cuando inicia el servicio.

   • Resource Configuration: asigne los recursos de cómputo adecuados para el servicio. Para este ejemplo sencillo, basta con una instancia pequeña de CPU.

     • Resource Type: recursos públicos.

     • Resource Specification: seleccione ecs.c7.large.

4. Una vez completada la configuración, haga clic en Deploy. Cuando el estado del servicio cambie a Running, podrá invoke the service.

Entorno de ejecución

En la sección Environment Information, configure el entorno de ejecución y las dependencias de su servicio.

Recursos de cómputo

En la sección Resource Information, configure los recursos de cómputo de su servicio. Esto incluye seleccionar un tipo de recurso y una especificación de instancia, configurar el disco del sistema, así como establecer el número de réplicas y las directivas de programación. Para obtener más información, consulte resource configuration.

Redes del servicio

• VPC: configure una VPC si su servicio necesita acceder a recursos de red pública, conectarse a bases de datos o colas de mensajes dentro de una VPC, o si desea que los clientes invoquen el servicio directamente a través de una VPC. Para obtener más información, consulte Accessing public or internal network resources.

• Invocación del servicio: tras el despliegue, elija el método de invocación adecuado según su escenario de negocio, como una puerta de enlace, NLB, Nacos o gRPC. Para obtener más información, consulte service invocation.

Seguridad del servicio

En la sección Features, configure la autenticación y la seguridad de los datos de su servicio.

Estabilidad del servicio

En la sección Features, configure los siguientes ajustes relacionados con la estabilidad:

• Service Response Timeout Period: configure el tiempo de espera de cada solicitud. El valor predeterminado es de 5 segundos. Para escenarios que consumen mucho tiempo, como la inference de modelos grandes o la salida en streaming, aumente este valor para evitar que las solicitudes se interrumpan.

• Health Check: el sistema sondea periódicamente el estado de las instancias y reemplaza automáticamente las que presentan anomalías, lo que permite la autorrecuperación ante fallos. Para obtener más información, consulte health check.

• Compute monitoring & fault tolerance: monitorea en tiempo real el estado de los recursos de cómputo de los servicios de inference distribuidos, lo que posibilita la detección automática de fallos y la autorrecuperación inteligente. Para obtener más información, consulte Compute power monitoring and fault tolerance.

• Estrategias de despliegue y actualización: utilice funciones como canary release, actualizaciones continuas, apagado controlado y programaciones de actualización para garantizar que el servicio no se interrumpa durante las mejoras de versión. Para obtener más información, consulte Release management.

Rendimiento del servicio

Utilice la aceleración de almacenamiento y la programación inteligente para mejorar el rendimiento del servicio, agilizar el inicio, aumentar el throughput y reducir la latencia.

• Distributed cache acceleration: almacena en caché los archivos de modelos o datos provenientes del almacenamiento montado, como OSS, en el almacenamiento local de la instancia para reducir la latencia de E/S. Para obtener más información, consulte Model cache acceleration.

• Model Weight Service (MoWS): mejora significativamente la eficiencia de escalado y la velocidad de inicio en despliegues con muchas instancias, ya que guarda en caché los pesos del modelo de forma local y los comparte entre instancias. Para obtener más información, consulte Model Weight Service.

• LLM Intelligent Router: en servicios de LLM con varias instancias de backend, esta función distribuye dinámicamente las solicitudes según la carga del backend. De este modo, equilibra la capacidad de cómputo y el uso de memoria GPU entre las instancias, además de optimizar el aprovechamiento de los recursos del clúster. Para obtener más información, consulte LLM intelligent router deployment.

Observability del servicio

En la sección Features, habilite las siguientes funciones de observability para conocer el estado del servicio y solucionar problemas:

Servicios asíncronos y elásticos

• Inference asíncrona: para escenarios de inference de larga duración, como AIGC y procesamiento de video, se recomienda habilitar una Asynchronous Queue. El cliente recibe una respuesta inmediata y puede recuperar el resultado final mediante sondeos o un callback. Para obtener más información, consulte Deploy an asynchronous inference service.

• Elastic Job Service: en la sección Features, habilite Task Mode para desplegar el servicio de inference como un servicio de trabajos bajo demanda. Resulta útil para el procesamiento por lotes de datos y las tareas programadas. Los recursos se liberan automáticamente al finalizar la tarea, lo que reduce costos. Para obtener más información, consulte Elastic Job Service.

Configuración JSON

En la sección Service Configuration, consulte y edite directamente la configuración JSON completa correspondiente a los ajustes actuales de la interfaz.