Platform For AI:Apêndice: Códigos de status do serviço e erros comuns

404 Not Found

400 Bad Request

O formato do corpo da solicitação está incorreto. Verifique cuidadosamente o formato do corpo da solicitação, como a estrutura JSON, nomes de campos e tipos de dados.

401 Authorization Failed

504 timeout

450: Solicitação descartada porque a fila está cheia

Quando uma instância de computação do lado do servidor recebe uma solicitação, ela primeiro a coloca em uma fila. Quando um worker na instância fica disponível, ele recupera dados da fila para processamento. O número padrão de workers é 5, ajustável por meio do campo metadata.rpc.worker_threads no arquivo JSON ao criar um serviço. Se o tempo de processamento do worker for muito longo, as solicitações podem se acumular na fila. Quando a fila está cheia, a instância rejeita imediatamente novas solicitações com um código de status 450 para evitar que o enfileiramento excessivo aumente a latência e torne o serviço indisponível. O comprimento padrão da fila é 64, ajustável por meio do campo metadata.rpc.max_queue_size no arquivo JSON ao criar um serviço.

503 no healthy upstream

Você recebe um erro 503 com a mensagem "no healthy upstream" durante a depuração online:

Solucione o problema da seguinte forma:

1. Verifique o status da instância. Se a instância tiver parado, Reinicie o Serviço.

2. Se o status do serviço for Running, a instância pode ter recursos insuficientes, como CPU, memória ou memória GPU, o que leva à falta de espaço de buffer.

   • Se você estiver usando recursos públicos, tente fazer a chamada novamente fora dos horários de pico ou mude para uma especificação de recurso ou região diferente.

   • Se você estiver usando um recurso dedicado (EAS Resource Group), garanta que o grupo de recursos tenha reservado CPU, memória e memória GPU suficientes para a instância. Recomendamos deixar pelo menos 20% dos recursos livres como buffer.

3. Outro cenário comum ocorre quando o status do serviço é Running e todas as instâncias estão Ready após a implantação, mas uma solicitação aciona um bug no código, fazendo com que a instância de serviço de backend falhe e pare de responder. Nessa situação, o gateway retorna um código de status 503 para o cliente. Para identificar e corrigir o bug, use os logs.

Erro: Unexpected token 12606 while expecting start token 200006

Ao usar vllm para implantar gpt-oss, as chamadas de serviço podem retornar o seguinte erro:

Solução: Tente implantar com aceleração SGLang.

Erro de invocação curl: no URL specified

Você recebe um erro no URL specified após enviar uma solicitação com o seguinte comando:

curl -X http://17****.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/service_name/**path** \
-H "Content-Type: application/json" \
-H "Authorization: **********==" \
-d '{"***":"****"}'

Causa: O comando curl usa a flag -X, mas falta o método, como POST.

A invocação retorna codificação ASCII

Modifique seu código da seguinte forma:

from flask import Flask, Response

@app.route('/hello', methods=['POST'])
def get_advice(): 
    result = "result"
    return Response(result, mimetype='text/plain', charset='utf-8')

Como resolver "[WARN] connection is closed: End of file" ou "Write a Invalid stream: End of file" nos logs de serviço?

Este log de aviso indica que o cliente ou o servidor fechou a conexão, e o servidor estava tentando gravar uma resposta nessa conexão fechada. Uma conexão pode ser fechada de duas maneiras:

• Tempo limite do lado do servidor: No modo Processor, o tempo limite padrão do lado do servidor é de 5 segundos. Altere esse valor usando o parâmetro metadata.rpc.keepalive do serviço. Quando o tempo limite é atingido, o servidor fecha a conexão e registra um código de status 408 em seu monitoramento.

• Tempo limite do lado do cliente: As configurações do seu código de chamada determinam o tempo limite do lado do cliente. Se o cliente não receber uma resposta HTTP dentro do período de tempo limite configurado, ele fecha ativamente a conexão. O servidor então registra um código de status 499 em seu monitoramento.

upstream connect error or disconnect/reset before headers. reset reason: connection termination

Problemas como tempo limite de conexão persistente ou cargas de instância desequilibradas geralmente causam esse erro. Se o tempo de processamento do lado do servidor exceder o tempo limite HTTP configurado no cliente, o cliente abandona a solicitação e fecha ativamente a conexão. Um código de status 499 aparece então no monitoramento do lado do servidor. Verifique as métricas de monitoramento para confirmação adicional. Para tarefas de inferência demoradas, implante um serviço de inferência assíncrona.

Como resolver falhas de depuração online para serviços implantados com um processador Tensorflow/Pytorch?

Por motivos de desempenho, os Processors TensorFlow/PyTorch usam um formato protobuf não plaintext para o corpo da solicitação. A depuração online atualmente suporta apenas entrada de texto plaintext. Portanto, não é possível depurar serviços implantados com esses processadores diretamente no console. Use os SDKs fornecidos pelo EAS para chamar o serviço. Para obter informações sobre SDKs em diferentes linguagens, consulte SDKs de Invocação de Serviço.