Implante seus modelos ou algoritmos como serviços de inferência online no EAS. Estão disponíveis três métodos de implantação para diferentes casos de uso.
Como funciona (implantação baseada em imagem)
Cada serviço do EAS é executado em uma ou mais instâncias de contêiner isoladas. Uma implantação envolve os seguintes componentes principais:
Imagem: um modelo somente leitura que contém o sistema operacional, bibliotecas base (como CUDA), ambiente de execução da linguagem (como Python) e as dependências necessárias. Use uma imagem oficial do PAI ou crie uma imagem personalizada para requisitos específicos.
Código e modelo: seus arquivos de lógica de negócios e de modelo. Armazene-os no Object Storage Service (OSS) ou no Apsara File Storage NAS. Isso desacopla seu código e seus modelos do ambiente de execução, permitindo que você atualize sem precisar reconstruir a imagem.
Montagem de armazenamento: na inicialização, o EAS monta os caminhos de armazenamento externo especificados em diretórios locais no contêiner. O código dentro do contêiner pode então acessar arquivos externos como se fossem locais.
Comando de inicialização: o primeiro comando a ser executado após o início do contêiner. Geralmente, inicia um servidor HTTP para receber solicitações de inferência.
O fluxo de trabalho de implantação é o seguinte:
Baixe a imagem especificada e crie um contêiner.
Monte o armazenamento externo nos caminhos especificados no contêiner.
Execute o comando de inicialização dentro do contêiner.
Após a execução bem-sucedida do comando, escute a porta especificada e processe as solicitações de inferência.
O EAS oferece suporte à implantação baseada em imagem e em Processor. Recomendamos a implantação baseada em imagem, pois oferece maior flexibilidade e facilidade de manutenção, enquanto o método Implantar serviços usando processadores impõe mais restrições aos ambientes de execução e frameworks.
Métodos de implantação
O console do EAS disponibiliza três métodos de implantação. Envie a mesma configuração de serviço em JSON por meio de qualquer um dos três métodos, que diferem apenas na forma como a configuração é criada.
|
Método de implantação |
Descrição |
Caso de uso |
Documentação |
|
Implantação de modelo baseada em cenário |
Utiliza modelos pré-preenchidos. Modifique apenas alguns parâmetros. |
Implantação rápida de modelos ou ferramentas populares, como OpenClaw, LLMs e RAG. |
|
|
Implantação personalizada |
Preencha os formulários de configuração no console para gerar o JSON. |
Implantação interativa de um serviço individual. Abrange a maioria das configurações comuns. |
|
|
Implantação autônoma em JSON |
Edite diretamente a configuração completa em JSON. |
Implantações em lote ou versionadas, integração com CI/CD ou configurações não disponíveis no console. |
Também é possível implantar configurações em JSON por meio do cliente eascmd ou do SDK Python do PAI.
O PAI-EAS não oferece suporte à implantação de serviços com o Docker Compose. O Docker Compose é voltado para cenários de Infraestrutura como Serviço (IaaS), como o ECS. O PAI-EAS é uma oferta de Plataforma como Serviço (PaaS) para serviços de modelo e gerencia instâncias de contêiner por meio de configurações JSON ou formulários do console. Use um dos três métodos de implantação descritos acima. Para orquestração complexa de múltiplos contêineres, use o Container Service for Kubernetes (ACK).
Configurações principais
Além de escolher um método de implantação, ao implantar um serviço, configure os seguintes itens:
Recursos de computação: selecione um tipo de recurso, configure o disco do sistema, entre outras opções. Para mais detalhes, consulte Configuração de recursos.
Montagem de armazenamento: monte arquivos de modelo e dados de armazenamentos externos, como OSS e NAS, no contêiner do serviço. Para obter mais detalhes, consulte Montagens de armazenamento.
Acesso à rede: configure o ambiente de rede para o serviço, como VPC e acesso à rede pública. Para mais informações, consulte Acesso do EAS a recursos públicos e privados.
Parâmetros dinâmicos: configure pares de chave-valor e atualize em tempo de execução para ajustar o comportamento da inferência sem reiniciar o serviço. Para detalhes adicionais, consulte Configurar parâmetros dinâmicos.
FAQ
P: Como implantar modelos treinados na plataforma Bailian no PAI-EAS?
Não há suporte para a exportação direta de modelos treinados na plataforma Bailian para o PAI-EAS para implantação.