Platform For AI:Deploy model services with custom images

Etapa 1: Prepare o ambiente

Antes de começar, certifique-se de que os seguintes recursos estão disponíveis na mesma região (como a China (Hangzhou)):

Etapa 2: Prepare os arquivos do projeto

Acesse a instância ECS, crie uma pasta do projeto como my-app e adicione os três arquivos a seguir:

1. requirements.txt (dependências da aplicação)

   flask
   gunicorn

2. app.py (código da aplicação web)

   from flask import Flask
   
   app = Flask(__name__)
   
   @app.route('/hello/model')
   def hello_world():
       # Integrate your model inference or other business logic here
       return 'Hello World from Gunicorn!'
   
   # Note: app.run() is not needed. Gunicorn starts the application.

3. Dockerfile (instruções de criação da imagem)

   # 1. Use the lightweight official Python image as the base
   FROM python:3.9-slim
   
   # 2. Set the working directory
   WORKDIR /app
   
   # 3. Copy the dependencies file and install. This layer is cached to speed up subsequent builds.
   COPY requirements.txt .
   RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
   
   # 4. Copy the application code
   COPY app.py .
   
   # 5. Declare the service port
   EXPOSE 8000
   
   # 6. Define the default container startup command (can be overridden by the Run Command in the EAS console)
   CMD ["gunicorn", "-w", "4", "-b", "0.0.0.0:8000", "app:app"]

Etapa 3: Crie e envie a imagem

1. Abra um terminal e acesse a pasta do projeto (my-app).

2. Faça login na sua instância ACR. Substitua os placeholders no comando pelos seus valores reais.

   Nota

   Na página de detalhes do repositório ACR, há exemplos de comandos de login, pull e push. Os exemplos usam endpoints públicos. Substitua-os por endpoints privados.

   # Example: docker login --username=your_user my-registry-vpc.cn-hangzhou.aliyuncs.com
   docker login --username=<username> <ACR private endpoint>

3. Crie a imagem Docker e aplique a tag com o caminho completo do repositório.

   # Example: docker build -t my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1 .
   # The full image address is <ACR private endpoint>/<namespace>/<repository name>:<tag>
   docker build -t <ACR private endpoint>/<namespace>/<repository name>:<tag> .

4. (Recomendado) Verifique a imagem localmente antes do push. Execute o comando a seguir para verificar se a imagem inicia corretamente antes de enviá-la ao repositório.

   # Replace <port> with the EXPOSE port in your Dockerfile (8000 in this example)
   docker run -p <port>:<port> <ACR private endpoint>/<namespace>/<repository name>:<tag>

   Se a aplicação responder conforme o esperado, a imagem estará pronta para o push.

5. Faça o push da imagem para o ACR.

   # Example: docker push my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1
   docker push <ACR endpoint>/<namespace>/<repository name>:<tag>

Etapa 4: Implante o service

1. Acesse o PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).

2. Clique em Deploy Service e escolha Custom Model Deployment > Custom Deployment.

3. Configure os seguintes parâmetros principais:

   • Deployment Method: Selecione Image-based Deployment.

   • Image Configuration: Selecione Image Address e insira o endereço completo da imagem da etapa anterior: my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1.

     Como este exemplo usa o ACR na mesma conta Alibaba Cloud, o EAS pode fazer o pull da imagem sem credenciais. Não é necessário nome de usuário nem senha.

   • Command to Run: gunicorn -w 4 -b 0.0.0.0:8000 app:app

     O Run Command no console do EAS substitui a instrução CMD no Dockerfile. Para facilitar a depuração e a modificação posterior, defina o comando de inicialização aqui.

   • Port Number: 8000.

   • Deployment: Este exemplo usa recursos de CPU. Selecione Public Resources e escolha ecs.c6.large.

   • VPC: Selecione uma VPC (VPC_HZ), um vSwitch e um grupo de segurança.

     Certifique-se de adicionar a VPC selecionada aqui à lista de controle de acesso da instância ACR. Caso contrário, o pull da imagem falhará devido a problemas de conectividade de rede. Um erro comum é ImagePullBackOff .

4. Clique em Deploy. A implantação é bem-sucedida quando o status do service muda para Running.

Etapa 5: Teste o service

Após implantar o service, obtain the endpoint and token e execute o comando a seguir para testar o service Flask:

# Replace <endpoint> and <token> with the actual service endpoint and token
curl <endpoint>/hello/model -H "Authorization: <token>"

Se o retorno for Hello World from Gunicorn!, o service estará implantado e acessível.

Para mais informações sobre como invocar o service, consulte Service invocation methods.

Tipos de registro de imagens

O EAS faz o pull de imagens de um registro de imagens ao implantar services. Recomendamos o Container Registry (ACR) do Alibaba Cloud para armazenamento de imagens. Use endpoints VPC para fazer o pull de imagens, para garantir melhor desempenho e segurança.

Autenticação no registro de imagens

Se o registro exigir autenticação, forneça as credenciais ao implantar o service.

Especifique as credenciais no arquivo de configuração JSON por meio do parâmetro dockerAuth. O valor corresponde à codificação Base64 de username:password.

Por exemplo, para codificar abcd:abcde12345, execute echo -n "abcd:abcde12345" | base64 para obter YWJjZDphYmNkZTEy****. Use esse resultado como o valor de dockerAuth.

{"dockerAuth": "YWJjZDphYmNkZTEy****"}

P: Falha no pull da imagem (ImagePullBackOff)

Verifique os seguintes itens:

1. Endereço da imagem: Verifique se o endereço da imagem, o namespace e a tag estão corretos, e se você fez o push da imagem para o repositório.

2. Espaço em disco do sistema: Ao encontrar o erro no space left on device, expand the system disk.

3. Conectividade de rede:

   • Usando um endpoint público: Certifique-se de configurar o EAS com uma VPC com acesso à Internet e enable public access for ACR. O pull entre regiões pela Internet é lento e propenso a falhas.

   • Usando um endpoint privado: Para cenários entre regiões, há suporte apenas para o ACR Enterprise Edition. Conecte as VPCs. Para mais detalhes, consulte Access an ACR Enterprise Edition instance across regions or from an on-premises data center.

4. Controle de acesso do ACR: Dependendo do tipo de endereço de imagem em uso, verifique a configuração do Configure internet access control ou do Configure VPC access control do ACR.

5. Autenticação do registro: Ao usar um registro privado com exigência de autenticação (diferente do ACR da sua conta), verifique se as credenciais em Image Configuration estão corretas.

P: Como uso imagens do ACR entre regiões?

Por padrão, o EAS faz o pull de imagens de repositórios ACR na mesma região por meio de endpoints privados VPC. Se a instância ACR e o service EAS estiverem em regiões diferentes, não há acesso direto pela rede privada. Use um dos métodos a seguir:

• Método 1 (recomendado): Crie uma instância ACR na mesma região do service EAS, faça o push da imagem para o repositório local e, em seguida, implante. Isso elimina completamente os problemas entre regiões.

• Método 2: Use o CEN (Cloud Enterprise Network) para conectar VPCs entre regiões e fazer o pull de imagens pela rede privada. Para mais detalhes, consulte Access an Enterprise Edition instance across regions or from a data center.

• Método 3 (apenas para testes): Faça o pull de imagens pela Internet. Ative o acesso público para o ACR e configure um NAT gateway com acesso à Internet para o service EAS. Esse método é lento e apresenta riscos de segurança. Use-o apenas para testes.

P: A implantação de imagem personalizada falha com "no match for platform in manifest"

Esse erro indica que a arquitetura ARM da imagem (como arm64) não corresponde ao ambiente de execução da instância EAS (geralmente amd64/x86_64). O EAS não consegue executar essa imagem no tipo de instância selecionado. Isso geralmente ocorre ao compilar uma imagem em um Mac da série M (arm64) e implantá-la em uma instância EAS (amd64). Para corrigir:

1. Confirme a arquitetura de CPU da instância EAS de destino (a maioria das instâncias EAS usa amd64).

2. Recompile a imagem localmente para que corresponda à arquitetura da instância EAS:

   # Build an amd64 image (compatible with most EAS instances)
   docker build --platform linux/amd64 -t <ACR endpoint>/<namespace>/<repository name>:<tag> .

3. Faça o push da nova imagem para o ACR e reimplante o service.

P: O ACK pode se conectar ao registro de imagens dedicado do EAS (imagens oficiais do PAI)?

O registro de imagens dedicado do EAS não oferece suporte a conexões diretas do ACK. O ACK não consegue fazer o pull de imagens do registro de imagens dedicado do EAS.