Implante seus modelos ou algoritmos como serviços de inferência online no EAS. Há três métodos de implantação disponíveis para diferentes casos de uso.
Como funciona (implantação baseada em imagem)
Cada serviço do EAS executa em uma ou mais instâncias de container isoladas. A implantação envolve os seguintes componentes principais:
Imagem: Modelo somente leitura que contém o sistema operacional, bibliotecas base (como CUDA), runtime de linguagem (como Python) e dependências necessárias. Use uma imagem oficial do PAI ou crie uma imagem personalizada para requisitos específicos.
Código e modelo: Arquivos de lógica de negócio e de modelo. Armazene-os no Object Storage Service (OSS) ou no Apsara File Storage NAS. Isso desacopla o código e os modelos do ambiente de execução e permite atualizá-los sem reconstruir a imagem.
Montagem de armazenamento: Na inicialização, o EAS monta os caminhos de armazenamento externo especificados em diretórios locais no container. O código no container acessa arquivos externos como se fossem locais.
Comando de inicialização: Primeiro comando executado após o início do container. Geralmente inicia um servidor HTTP para receber solicitações de inferência.
O fluxo de trabalho de implantação é o seguinte:
Baixe a imagem especificada e crie um container.
Monte o armazenamento externo nos caminhos definidos no container.
Execute o comando de inicialização no container.
Após a execução bem-sucedida do comando, escute na porta especificada e processe as solicitações de inferência.
O EAS oferece suporte à implantação baseada em imagem e baseada em Processor. Recomendamos a implantação baseada em imagem, pois proporciona maior flexibilidade e facilidade de manutenção. Já a opção de Implantar serviços usando processors impõe mais restrições aos ambientes de execução e frameworks.
Métodos de implantação
O console do EAS disponibiliza três métodos de implantação. Todos enviam a mesma configuração de serviço em json e diferem apenas na forma de criação dessa configuração.
|
Método de implantação |
Descrição |
Caso de uso |
Documentação |
|
Implantação de modelo baseada em cenário |
Usa modelos pré-preenchidos. Apenas alguns parâmetros precisam de modificação. |
Implantação rápida de modelos ou ferramentas populares, como OpenClaw, LLMs e RAG. |
|
|
Custom Deployment |
Preencha formulários de configuração no console para gerar o json automaticamente. |
Implantação interativa de serviços individuais. Abrange a maioria das configurações comuns. |
|
|
json Standalone Deployment |
Edite a configuração json completa diretamente. |
Implantações em lote ou versionadas, integração com CI/CD ou configurações indisponíveis no console. |
Também é possível implantar configurações json pelo cliente eascmd ou pelo PAI Python SDK.
Configurações principais
Além de escolher o método de implantação, geralmente você define os seguintes itens ao implantar um serviço:
Recursos computacionais: Selecione o tipo de recurso, configure o disco do sistema, entre outros ajustes. Para obter detalhes, consulte Configuração de recursos.
Montagem de armazenamento: Monte arquivos de modelo e dados de armazenamentos externos, como OSS e NAS, no container do serviço. Para obter detalhes, consulte Montagens de armazenamento.
Acesso à rede: Configure o ambiente de rede do serviço, incluindo acesso via VPC e rede pública. Para obter detalhes, consulte Acesso do EAS a recursos públicos e privados.
Parâmetros dinâmicos: Defina pares chave-valor atualizáveis em tempo de execução para ajustar o comportamento da inferência sem reiniciar o serviço. Para obter detalhes, consulte Configure parâmetros dinâmicos.
Perguntas frequentes
P: Como implanto modelos treinados na plataforma Bailian no PAI-EAS?
Modelos treinados na plataforma Bailian não suportam exportação direta para o PAI-EAS para fins de implantação.