Platform For AI:EAS FAQ

P: O service está travado no estado Waiting há muito tempo. Como resolver?

Após a implantação, o service entra no estado Waiting enquanto os recursos são agendados e as instâncias iniciam. Quando todas as instâncias são iniciadas com êxito, o service passa para o estado Running. Os cenários a seguir podem causar um estado Waiting prolongado:

[2025-07-18 18:50:46] WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning.
[2025-07-18 18:50:50]  * Serving Flask app 'service'
[2025-07-18 18:50:50]  * Debug mode: off
[2025-07-18 18:50:50] WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
[2025-07-18 18:50:50]  * Running on all addresses (0.0.0.0)
[2025-07-18 18:50:50]  * Running on http://127.0.0.1:7000
[2025-07-18 18:50:50]  * Running on http://xxx:7000
[2025-07-18 18:50:50] Press CTRL+C to quit

P: O service está no estado Failed. Como corrigir?

Um service entra no estado Failed em duas situações:

• Durante a implantação: Se um recurso especificado no momento da implantação (como um caminho de modelo) não existir, o status do service mostrará o motivo do erro. A mensagem de erro geralmente indica por que a implantação falhou.

• Durante a inicialização: Se o service falhar após o êxito da implantação e o início do agendamento, o status mostrará: Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.

  Essa mensagem significa que uma ou mais instâncias não foram iniciadas. Verifique a lista Service instances na página Overview do service para identificar a causa específica. As causas comuns de falha incluem:

  • A instância ficou sem memória durante a inicialização e o sistema a encerrou (OOMKilled). Reimplante o service com uma alocação de memória maior. Na lista de instâncias, a coluna Last status mostra OOMKilled(247), indicando que o container foi encerrado por exceder o limite de memória. Verifique as colunas Restart count e Last exit reason para confirmação adicional.

  • Um erro de código causou uma falha durante a inicialização. Nesse caso, a Last status mostra Error(código de erro). Clique em Log na coluna Actions da instância para revisar os logs do service e identificar a falha de inicialização.

  • Falha ao baixar a imagem do service. Consulte {{XREF_1}}

P: O que fazer se houver falha ao baixar a imagem (ImagePullBackOff)?

Se a coluna Last exit reason na lista de instâncias do service mostrar ImagePullBackOff, o download da imagem falhou. Se um ícone aparecer na coluna Status, clique nele para visualizar o motivo específico.

As causas comuns de falha no download de imagens estão listadas abaixo:

Com base nas regiões onde o registro de imagens e o service EAS estão localizados, utilize as seguintes orientações:

• Mesma região: Baixe as imagens usando o endereço de imagem privado.

• Entre regiões: O ACR Personal Edition suporta apenas endereços de imagem públicos. Para o ACR Enterprise Edition, escolha conforme seus requisitos:

  • Para maior segurança e confiabilidade, use um endereço de imagem privado. Isso requer a conexão das VPCs via CEN. Consulte {{XREF_7}}.

  • Para cenários mais simples ou quando a conectividade de rede privada ainda não estiver disponível, use um endereço de imagem público como opção temporária. Os downloads pela rede pública são mais lentos.

Observações adicionais para o ACR Enterprise Edition:

• Configure o controle de acesso tanto para VPC quanto para rede pública conforme necessário.

• Se o repositório não permitir downloads anônimos, os downloads entre regiões pelo endereço público exigem a configuração do nome de usuário e da senha do registro de imagens no service EAS.

P: O service EAS reinicia automaticamente após ser parado. O que está acontecendo?

Descrição do problema: Um service EAS reinicia sozinho após permanecer parado por um período.

Causa raiz:

O service possui dimensionamento automático configurado com uma contagem mínima de instâncias igual a 0. Quando o tráfego cessa por um período, a contagem de instâncias é reduzida automaticamente para 0. Se uma solicitação chegar quando não houver instâncias disponíveis devido à redução de escala, o EAS aciona um aumento de escala automaticamente — isso não exige que o limiar de aumento configurado seja atingido.

Verifique nos eventos de implantação as mensagens de auto scaling para confirmar se ocorreu o aumento automático de escala. Uma entrada Service is now auto scaling na coluna de informações indica que o service foi acionado para aumentar a escala automaticamente; após isso, o status do evento transita de Waiting para Scaling e depois para Running, e a contagem de instâncias disponíveis muda de 0 para 1.

Solução:

• Se o service não for mais necessário, exclua-o.

• Para manter o service, mas impedir a reinicialização automática, pare-o pelo console ou chamando a API StopService. Um service parado manualmente não aumentará a escala quando o tráfego chegar.

• Para evitar que o dimensionamento automático pare o service, não defina a contagem mínima de instâncias como 0.

• Desative totalmente o dimensionamento automático se houver preocupação com tráfego inesperado acionando um aumento de escala.

P: A inicialização do PAI-EAS falha com IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

Descrição do problema:

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

Causa raiz: O disco do sistema da instância EAS está cheio devido a arquivos de modelo grandes. Isso impede a inicialização do service.

Soluções:

Opção 1: {{XREF_8}} para a instância EAS.

Opção 2: Se os arquivos de modelo forem muito grandes, armazene-os em armazenamento externo (OSS, NAS ou similar) e leia-os usando {{XREF_9}}.

P: A implantação falha com fail to start program with error: fork/exec /bin/sh: exec format error

O erro exec format error significa que o sistema operacional não consegue executar o binário alvo. A causa mais comum é uma incompatibilidade de arquitetura de CPU entre o executável ou a imagem do container e a máquina host.

Tente uma especificação de recurso diferente.

P: Erro: Invalid GPU count 6, only supported: [0 1 2 4 8 16]

O número de GPUs por service deve ser uma potência de 2 para maximizar a eficiência da comunicação entre GPUs.

Quantidades de GPU suportadas por service: 0, 1, 2, 4, 8 ou 16.

P: Ao usar o vLLM para implantar um service de Modelo de Linguagem Grande (LLM), o parâmetro --tp deve ser igual ao número de GPUs?

Não. O parâmetro de paralelismo de tensores --tp (tensor-parallel-size) não precisa ser igual ao número de GPUs físicas. No entanto, o valor não deve exceder o número de GPUs alocadas para o service. Cada GPU deve ter memória suficiente para armazenar sua parte dos pesos do modelo após a divisão dos pesos pelo valor de TP. Escolha o valor com base no tamanho do modelo, na memória da GPU necessária para o modelo e nos seus objetivos de otimização de desempenho.

O número de GPUs alocadas para um único service ainda deve ser uma potência de 2. Os valores suportados são 0, 1, 2, 4, 8 e 16.

Ao implantar um service em PPU, o valor de TP no comando de inicialização do framework deve ser igual ao número de GPUs em cada instância. Caso contrário, a implantação falhará com um erro.

P: Uma instância EAS falha ao ser excluída ou clicar em Stop não surte efeito. O que fazer?

Esse problema apresenta dois cenários comuns:

1. A exclusão da instância falha ou retorna um erro: Se a operação de exclusão relatar um erro, como o workspace associado não existir, verifique primeiro se o workspace associado está em estado normal. Você também pode acessar a lista de services no PAI console e clicar diretamente em Delete para liberar a instância.

2. Clicar em Stop não surte efeito (a instância permanece no estado Running):

   • Verificações no navegador: Atualize a página, limpe o cache do navegador ou tente novamente em outro navegador ou no modo anônimo/privado.

   • Diagnóstico da solicitação: Abra as ferramentas de desenvolvedor do navegador (F12), vá para o painel Network, clique em Stop e verifique se a solicitação de API foi enviada com êxito, inspecionando também o código de status da resposta.

   • Verificação de logs: Consulte os Operation logs ou o Cloud Monitor no PAI console para encontrar um registro de parada e o motivo específico da falha.

   • Alternativa via API: Se a operação no console ainda não funcionar, use o OpenAPI Explorer para chamar a API StopService e forçar a parada do service.

P: Nada acontece ao adicionar um link de modelo na Shared Edition. O que fazer?

A Shared Edition não suporta links de modelo personalizados, portanto, clicar na entrada não produz nenhum efeito. Trata-se de uma limitação de recurso, não de um erro.

Use uma das seguintes soluções alternativas:

• Implante a Dedicated Edition e adicione links de modelo personalizados nela.

• Baixe os arquivos de modelo manualmente, faça upload deles para o OSS ou NAS e carregue o modelo por meio de uma montagem de armazenamento ao implantar o service.

Erros de chamada

Solucione problemas com base no código de status HTTP retornado. Para obter detalhes, consulte {{XREF_14}}.

HTTPS e domínios personalizados

P: O EAS suporta chamadas HTTPS?

Sim. Substitua http:// por https:// na URL do endpoint do service para ativar o transporte criptografado. Se o cliente (como a biblioteca Python requests) relatar um erro de verificação de certificado SSL, trata-se de um problema de configuração do lado do cliente, não do EAS.

P: Como forçar acesso exclusivamente via HTTPS?

• Gateway compartilhado: O redirecionamento HTTPS não é suportado.

• Gateway dedicado: Suportado. Ative HTTPS redirect na configuração do gateway dedicado. Uma vez ativado, todas as solicitações HTTP são redirecionadas automaticamente para HTTPS.

P: Posso chamar um service usando um domínio personalizado?

Sim. Crie e use um gateway dedicado totalmente gerenciado e configure seu domínio personalizado nas configurações do gateway. Para obter detalhes, consulte {{XREF_15}}.

Gerenciamento de tokens

P: O token do service expira ou muda?

Não. O Token gerado quando um service é implantado tem longa duração. Reiniciar, atualizar (a menos que você altere manualmente o método de autenticação) ou dimensionar o service não altera o Token. O Token só é invalidado quando você o redefine manualmente ou exclui o service.

P: Posso criar vários tokens para um único service?

Não. Cada instância de service EAS suporta um único Token de autenticação. Para gerenciamento de permissões de múltiplos usuários ou rastreamento separado de uso, utilize a autenticação baseada em RAM da Alibaba Cloud ou uma solução similar de controle de acesso.

Outros problemas de chamada

P: Como ativar respostas em streaming para um service LLM?

O EAS não possui uma opção global de streaming. Especifique o streaming no corpo de cada solicitação de API individualmente. Por exemplo, ao chamar um service LLM compatível com OpenAI, inclua "stream": true no corpo da solicitação JSON.

P: Qual é a diferença entre chamadas por endereço VPC e conexão direta VPC?

• Chamadas por endereço VPC: As solicitações passam por um SLB interno e um gateway (chamadas por endereço público passam por um SLB público e um gateway). Este é o caminho padrão de solicitação. Cada solicitação passa pelo encaminhamento de camada 4 no SLB e pelo encaminhamento de camada 7 no gateway antes de chegar à instância do service. Sob alta concorrência e tráfego intenso, esse encaminhamento adiciona sobrecarga de latência. O gateway também tem um teto de largura de banda (1 Gbps por padrão).

• Conexão direta VPC: O EAS oferece um modo de conexão direta de alta velocidade que resolve questões de desempenho e escalabilidade sem custo adicional. Ativar a conexão direta VPC estabelece um caminho de rede entre sua VPC e a VPC do service EAS. Suas solicitações usam a descoberta de services do EAS para localizar o service e, em seguida, realizam balanceamento de carga via software no lado do cliente. Isso requer o SDK do EAS e a definição de endpoint_type como DIRECT.

  Por exemplo, no cenário {{XREF_16}}, adicione a seguinte linha ao seu código para alternar de chamadas via gateway para conexão direta:

  • client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
    client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****')
    client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link
    client.init()

P: Por que um usuário RAM não consegue criar ou excluir automaticamente a função vinculada ao service EAS?

Apenas usuários com permissões específicas podem criar ou excluir automaticamente a função AliyunServiceRoleForPaiEas. Se um usuário RAM não conseguir realizar essa ação, conceda a ele a política necessária da seguinte forma:

1. Crie a seguinte política como uma política personalizada usando o método de configuração baseada em script. Para obter detalhes, consulte {{XREF_17}}.

   Política para criar ou excluir uma função vinculada ao service

   {
     "Statement": [
       {
         "Action": "ram:CreateServiceLinkedRole",
         "Resource": "*",
         "Effect": "Allow",
         "Condition": {
           "StringEquals": {
             "ram:ServiceName": "eas.pai.aliyuncs.com"
           }
         }
       }
     ],
     "Version": "1"
   }

2. Anexe a política personalizada criada na etapa anterior ao usuário RAM de destino. Para obter detalhes, consulte {{XREF_18}}.

P: Como um service EAS acessa a internet?

Os services EAS não têm acesso à internet por padrão. Para habilitar o acesso à internet, configure uma VPC com conectividade à internet para o service EAS. Consulte {{XREF_19}}.

P: O EAS suporta acesso SSH às instâncias?

Não. O EAS é um service gerenciado e não fornece acesso SSH aos containers. Para executar comandos específicos quando o container iniciar, especifique-os no campo Run Command da configuração do service.

P: Quais status de service o EAS possui?

Os services EAS possuem os seguintes status. Você também pode visualizar o status na coluna de status na página Model Serving (EAS).

• Creating

• Waiting — aguardando o início das instâncias

• Stopped

• Failed

• Updating — instâncias estão sendo atualizadas

• Stopping

• HotUpdate — atualização sem substituição de instâncias

• Starting

• DeleteFailed

• Running

• Scaling — instâncias estão sendo dimensionadas

• Pending — aguardando processamento

• Deleting

• Completed

• Preparing

P: Como descobrir qual usuário RAM criou um service?

Consulte eventos no console ActionTrail. Defina o filtro de nome do evento como CreateService. Para obter detalhes, consulte {{XREF_20}}.

P: Posso baixar imagens oficiais do PAI pela internet?

Não. As imagens oficiais do PAI são internas da plataforma e só podem ser usadas dentro da plataforma PAI. Elas não podem ser baixadas fora dos containers da plataforma.

P: Quais são as regras de unicidade para nomes e IDs de services PAI-EAS?

• Unicidade do nome do service: Os nomes dos services EAS são globalmente únicos dentro de uma única região. Se você vir um erro "service name already exists" ao criar um service, mas o nome não aparecer na lista Model Serving (EAS), outro usuário na mesma região já utilizou esse nome. Escolha um nome diferente e tente novamente.

• Unicidade do ID do service: Os IDs de services PAI-EAS são globalmente únicos e atribuídos automaticamente pelo sistema. Não é possível especificá-los manualmente.

P: O nome do service pode ser modificado após a implantação?

Não. O nome do service não pode ser modificado após sua criação. Como identificador exclusivo para chamadas de API e operações de gerenciamento, o campo de nome do service fica desabilitado no formulário Update do console. Se precisar alterar o nome do service, crie um novo service e exclua o original. Observe que isso resultará em uma interrupção do service e em uma mudança de endereço IP.

P: Preciso comprar o EAS novamente após desativar o módulo? E se eu não encontrar minhas instâncias de service?

• Não é necessária nova compra: Uma vez ativado, o PAI-EAS permanece disponível indefinidamente. Para usá-lo novamente, acesse o PAI console, selecione ou crie um workspace e crie uma instância EAS nesse workspace. Nenhuma compra adicional ou reativação é necessária.

• Se você não encontrar suas instâncias:

  1. Faça login no PAI console e verifique se o Workspace exibido no topo da página é aquele que você procura.

  2. Se o workspace foi excluído ou trocado, procure a lista Model Serving (EAS) na página Overview ou dentro do workspace de destino.

  3. Se a lista não mostrar dados nem instâncias, nenhuma instância EAS faturável foi criada nesse workspace. Apenas ativar o módulo não gera cobranças e não requer limpeza adicional.

P: Quando as alterações na configuração de montagem de armazenamento entram em vigor? Preciso reimplantar o service?

As configurações de montagem de armazenamento fazem parte da configuração de implantação de um service e não entram em vigor dinamicamente. Para aplicar as alterações, atualize o service. Após a conclusão da atualização, as instâncias do service reiniciarão com a nova configuração e as novas montagens entrarão em vigor.

P: O que fazer se arquivos montados desaparecerem após a atualização da configuração do service?

Esse problema geralmente é causado por um dos seguintes fatores:

• A atualização removeu as configurações originais de montagem de armazenamento ou alterou o caminho de montagem, fazendo com que as instâncias não montem mais o armazenamento original. Os arquivos não estão realmente perdidos. Eles permanecem no OSS ou NAS original.

• Os arquivos foram gravados no disco local temporário dentro do container em vez do diretório montado. Os dados do disco local são apagados quando uma instância reinicia ou é atualizada.

No primeiro caso, restaure as configurações de montagem para os valores anteriores à atualização e atualize o service novamente. Os arquivos reaparecerão. No segundo caso, os dados não podem ser recuperados. Sempre grave dados que devam persistir no diretório de montagem do OSS ou NAS e verifique se as configurações de montagem estão completas e corretas antes de atualizar o service.

P: Por que não consigo selecionar um bucket OSS ao implantar um service EAS?

Ao implantar um service EAS, você pode montar modelos e códigos especificando locais de armazenamento. Certifique-se de que o bucket OSS e o sistema de arquivos NAS estejam na mesma região do service EAS. Armazenamentos entre regiões não podem ser selecionados.

P: Como o armazenamento OSS é faturado quando montado em um service EAS? Como estimar a capacidade necessária?

O EAS em si não cobra pela capacidade de armazenamento. Ao montar o OSS, o faturamento do armazenamento é feito pelo OSS com base no uso real e na classe de armazenamento. O EAS cobra apenas pelos recursos de computação do service. Para estimar a capacidade, use os tamanhos reais dos seus arquivos de modelo, código e dados. O armazenamento OSS escala elasticamente conforme o uso, portanto, não há necessidade de adquirir uma capacidade fixa antecipadamente.

P: P: O EAS falha ao acessar o OSS via endpoint público padrão. Como resolver?

Ao acessar recursos do OSS por meio de um domínio personalizado, se a região do OSS estiver na China continental, o domínio deve concluir o registro ICP conforme exigido pelas regulamentações. Domínios sem registro ICP não podem ser usados para acesso.

Use as seguintes alternativas:

• Use o endpoint interno.

• Para acesso pela rede pública, use um domínio personalizado. Ao acessar recursos do OSS por meio de um domínio personalizado, se a região do OSS estiver na China continental, o domínio deve concluir o registro ICP conforme exigido pelas regulamentações. Domínios sem registro ICP não podem ser usados para acesso.

P: Problemas com TensorFlow

Para obter detalhes, consulte {{XREF_21}}.