Platform For AI:Deploy model services with custom images

Paso 1: Preparar el entorno

Antes de empezar, asegúrese de contar con a continuación recursos en la misma región (por ejemplo, China (Hangzhou)):

Paso 2: Preparar los archivos del proyecto

Inicie sesión en la instancia ECS, cree una carpeta de proyecto como my-app y agregue los tres archivos siguientes:

1. requirements.txt (dependencias de la aplicación)

   flask
   gunicorn

2. app.py (código de la aplicación web)

   from flask import Flask
   
   app = Flask(__name__)
   
   @app.route('/hello/model')
   def hello_world():
       # Integrate your model inference or other business logic here
       return 'Hello World from Gunicorn!'
   
   # Note: app.run() is not needed. Gunicorn starts the application.

3. Dockerfile (instrucciones para compilar la imagen)

   # 1. Use the lightweight official Python image as the base
   FROM python:3.9-slim
   
   # 2. Set the working directory
   WORKDIR /app
   
   # 3. Copy the dependencies file and install. This layer is cached to speed up subsequent builds.
   COPY requirements.txt .
   RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
   
   # 4. Copy the application code
   COPY app.py .
   
   # 5. Declare the service port
   EXPOSE 8000
   
   # 6. Define the default container startup command (can be overridden by the Run Command in the EAS console)
   CMD ["gunicorn", "-w", "4", "-b", "0.0.0.0:8000", "app:app"]

Paso 3: Compilar y enviar la imagen

1. Abra una terminal y vaya a la carpeta del proyecto (my-app).

2. Inicie sesión en su instancia de ACR. Reemplace los marcadores de posición del comando con sus valores reales.

   Nota

   En la página de detalles del repositorio de ACR encontrará ejemplos de comandos para iniciar sesión, extraer y enviar imágenes. Estos ejemplos usan endpoints públicos; reemplácelos por endpoints privados.

   # Example: docker login --username=your_user my-registry-vpc.cn-hangzhou.aliyuncs.com
   docker login --username=<username> <ACR private endpoint>

3. Compile la imagen de Docker y asígnele una etiqueta con la ruta completa del repositorio.

   # Example: docker build -t my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1 .
   # The full image address is <ACR private endpoint>/<namespace>/<repository name>:<tag>
   docker build -t <ACR private endpoint>/<namespace>/<repository name>:<tag> .

4. (Recomendado) Compruebe la imagen de manera local antes de enviarla. Ejecute el siguiente comando para asegurarse de que la imagen inicia correctamente antes de enviarla al repositorio.

   # Replace <port> with the EXPOSE port in your Dockerfile (8000 in this example)
   docker run -p <port>:<port> <ACR private endpoint>/<namespace>/<repository name>:<tag>

   Si la aplicación responde según lo esperado, la imagen está lista para enviarse.

5. Envíe la imagen a ACR.

   # Example: docker push my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1
   docker push <ACR endpoint>/<namespace>/<repository name>:<tag>

Paso 4: Desplegar el servicio

1. Inicie sesión en la PAI console. Seleccione una región en la parte superior de la página. Luego, seleccione el espacio de trabajo deseado y haga clic en Enter Elastic Algorithm Service (EAS).

2. Haga clic en Deploy Service y elija Custom Model Deployment > Custom Deployment.

3. Configure los siguientes parámetros clave:

   • Deployment Method: seleccione Image-based Deployment.

   • Image Configuration: seleccione Image Address e introduzca la dirección completa de la imagen del paso anterior: my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1.

     Como este ejemplo usa ACR bajo la misma cuenta de Alibaba Cloud, EAS puede extraer la imagen sin credenciales. No se requiere nombre de usuario ni contraseña.

   • Command to Run: gunicorn -w 4 -b 0.0.0.0:8000 app:app

     El campo Run Command de la PAI console anula la instrucción CMD del Dockerfile. Introduzca aquí el comando de inicio para facilitar la depuración y las modificaciones posteriores.

   • Port Number: 8000.

   • Deployment: este ejemplo utiliza recursos de CPU. Seleccione Public Resources y elija ecs.c6.large.

   • VPC: seleccione una VPC (VPC_HZ), un vSwitch y un security group.

     Asegúrese de que la VPC seleccionada se haya agregado a la lista de control de acceso de la instancia de ACR. De lo contrario, la extracción de la imagen fallará por problemas de conectividad de red. Un error común es ImagePullBackOff .

4. Haga clic en Deploy. El despliegue se completa cuando el estado del servicio cambia a Running.

Paso 5: Probar el servicio

Una vez desplegado el servicio, obtain the endpoint and token y ejecute el siguiente comando para probar el servicio Flask:

# Replace <endpoint> and <token> with the actual service endpoint and token
curl <endpoint>/hello/model -H "Authorization: <token>"

Si se devuelve Hello World from Gunicorn!, el servicio se desplegó correctamente y está accesible.

Para obtener más información sobre la invocación de servicios, consulte Service invocation methods.

Tipos de registros de imágenes

EAS extrae imágenes de un registro al desplegar servicios. Se recomienda usar Container Registry (ACR) de Alibaba Cloud para almacenarlas. Utilice endpoints de VPC para extraer imágenes y mejorar el rendimiento y la seguridad.

Autenticación en el registro de imágenes

Para los registros que requieren autenticación, proporcione las credenciales al desplegar el servicio.

Especifique las credenciales en el archivo de configuración JSON mediante el parámetro dockerAuth. El valor corresponde a la codificación Base64 de username:password.

Por ejemplo, para codificar abcd:abcde12345, ejecute echo -n "abcd:abcde12345" | base64 para obtener YWJjZDphYmNkZTEy****. Use este resultado como valor de dockerAuth.

{"dockerAuth": "YWJjZDphYmNkZTEy****"}

P: Error al extraer la imagen (ImagePullBackOff)

Compruebe los siguientes puntos:

1. Dirección de la imagen: compruebe que la dirección de la imagen, el espacio de nombres y la etiqueta sean correctos, y que la imagen se haya enviado al repositorio.

2. Espacio en disco del sistema: si aparece el error no space left on device, expand the system disk.

3. Conectividad de red:

   • Uso de un endpoint público: asegúrese de que EAS tenga configurada una VPC con acceso a Internet y enable public access for ACR. La extracción entre regiones por Internet es lenta y propensa a fallos.

   • Uso de un endpoint privado: en escenarios entre regiones, solo se admite ACR Enterprise Edition. Debe conectar las VPC. Para más detalles, consulte Access an ACR Enterprise Edition instance across regions or from an on-premises data center.

4. Control de acceso de ACR: según el tipo de dirección de imagen que utilice, compruebe si se configuró Configure internet access control o Configure VPC access control de ACR.

5. Autenticación en el registro: si utiliza un registro privado que requiere autenticación (distinto de ACR bajo su cuenta), compruebe que las credenciales en Image Configuration sean correctas.

P: ¿Cómo uso imágenes de ACR entre regiones?

De forma predeterminada, EAS puede extraer imágenes de repositorios de ACR en la misma región mediante endpoints privados de VPC. Si la instancia de ACR y el servicio de EAS están en regiones distintas, no hay acceso directo por red privada. Utilice uno de los siguientes métodos:

• Método 1 (recomendado): cree una instancia de ACR en la misma región que el servicio de EAS, envíe la imagen al repositorio local y luego realice el despliegue. Esto elimina por completo los problemas entre regiones.

• Método 2: utilice CEN (Cloud Enterprise Network) para conectar VPC de distintas regiones y extraer imágenes por la red privada. Para más detalles, consulte Access an Enterprise Edition instance across regions or from a data center.

• Método 3 (solo para pruebas): extraiga imágenes por Internet. Habilite el acceso público en ACR y configure una puerta de enlace NAT con acceso a Internet para el servicio de EAS. Este método es lento y presenta riesgos de seguridad. Úselo únicamente para pruebas.

P: El despliegue de la imagen personalizada falla con el mensaje "no match for platform in manifest"

Este error indica que la arquitectura de la imagen (como arm64) no coincide con el entorno de ejecución de la instancia de EAS (normalmente amd64/x86_64). EAS no puede ejecutar esta imagen en el tipo de instancia seleccionado. Suele ocurrir cuando se compila una imagen en una Mac de la serie M (arm64) y se despliega en una instancia de EAS (amd64). Para solucionarlo:

1. Confirme la arquitectura de CPU de la instancia de EAS de destino (la mayoría de las instancias de EAS usan amd64).

2. Vuelva a compilar la imagen de manera local para que coincida con la arquitectura de la instancia de EAS:

   # Build an amd64 image (compatible with most EAS instances)
   docker build --platform linux/amd64 -t <ACR endpoint>/<namespace>/<repository name>:<tag> .

3. Envíe la nueva imagen a ACR y vuelva a desplegar el servicio.

P: ¿Puede ACK conectarse al registro de imágenes exclusivo de EAS (imágenes oficiales de PAI)?

El registro de imágenes exclusivo de EAS no admite conexiones directas de ACK. ACK no puede extraer imágenes del registro de imágenes exclusivo de EAS.