Platform For AI:Deploy a model as an online service

PAI-EAS

EAS (Elastic Algorithm Service) es la plataforma de PAI para servir modelos en línea. Permite desplegar modelos con un solo clic como servicios de inference en línea o como aplicaciones web de IA. Además, ofrece escalado automático, administración de resource group, control de versiones y monitoreo de recursos. Estas funciones le permiten ofrecer servicios de modelos en línea estables y de alta concurrencia con un bajo costo de recursos. Para obtener más información, consulte EAS overview.

Facturación

Los ejemplos de este tema usan recursos públicos para crear un servicio de EAS con modalidad pay-as-you-go. Detenga o elimine el servicio cuando ya no lo necesite para evitar cargos continuos.

Despliegue de un modelo con EAS

Para ver un ejemplo completo sobre cómo desarrollar un modelo en DSW y desplegarlo en EAS, consulte Deploy the model service with EAS .

1. Inicie sesión en la PAI console. Seleccione la región y el espacio de trabajo deseados en la parte superior de la página. Luego, en el panel de navegación izquierdo, elija Elastic Algorithm Service (EAS) > Deploy Service > Custom Deployment.

2. Configure a continuación los parámetros clave y conserve los valores predeterminados para el resto. Para consultar la lista completa de parámetros de configuración, vea Custom deployment.

   • Deployment Method: seleccione Image-based Deployment.

   • Image Configuration: una imagen proporciona el entorno de ejecución del modelo. Puede usar una imagen oficial, una imagen personalizada o introducir una dirección de imagen.

     Si desarrolló su modelo en DSW, seleccione Image Address y copie la imagen que utiliza su instancia de DSW. En la lista DSW Instance, busque la instancia deseada y haga clic en el ícono de copia junto a la dirección de la imagen en la columna Image Version.

     Como alternativa, utilice la función de compilación de imágenes de DSW para enviar la imagen a Container Service for Registry (ACR) y que EAS la use. Para obtener más información, consulte Create a DSW instance image.

   • Mount storage: cargue los archivos de código de su aplicación en OSS y configure una ruta de montaje. En la configuración Direct Mount, establezca el tipo en OSS, defina Uri con la ruta de OSS (por ejemplo, oss://bucket-name/directory/), asigne /mnt/data/ a Mount Path y configure el interruptor Read-only según sus necesidades.

     Este ejemplo utiliza el siguiente código de muestra. El archivo de código ya se cargó en OSS.

     Código de aplicación de muestra: web.py

     from bottle import Bottle, run
     
     # Create a Bottle instance
     app = Bottle()
     
     # Define a route that returns "Hello, World"
     @app.route('/hello', method=['GET', 'POST'])
     def hello():
         # Replace this with actual parameter parsing and model invocation in production
     
         return 'Hello, World!'
     
     # Start the server
     if __name__ == '__main__':
         run(app, host='0.0.0.0', port=9000)

   • Command: introduzca el comando de inicio para ejecutar el código de muestra. En este ejemplo, establezca Command en python /mnt/data/web.py y Port Number en 9000.

   • Port Number: introduzca el número de puerto 9000 que se usa en web.py.

   • Third-party Library Settings: agregue las bibliotecas de terceros que falten en la imagen. Por ejemplo, en la pestaña Third-party Library List, introduzca los nombres de las bibliotecas obligatorias, como numpy bottle, en el campo de entrada.

   • Resource Type: seleccione Public Resources. Para Resource Specification, elija ecs.gn7i-c16g1.4xlarge.

   Haga clic en Deploy. El despliegue del servicio finaliza cuando su estado cambia a Running.

Prueba del servicio

Una vez desplegado el modelo, utilice la consola de depuración de EAS para probar la API del servicio.

1. En la página de la lista de instancias de EAS, haga clic en el nombre de la instancia para abrir la página de detalles. Después, haga clic en Online Debugging.

2. Con la aplicación web.py como ejemplo, establezca la ruta de la solicitud en /api/predict/pai_eas_test/hello y el método HTTP en POST. Introduzca la URL de la solicitud y haga clic en Send Request. Si se devuelve "Hello, World!", la solicitud se procesó correctamente.

3. Para invocar el servicio mediante un endpoint público o un endpoint de VPC, consulte Service invocation.