Platform For AI:Apêndice: Códigos de status do service e erros comuns

404 Não encontrado

400 Bad Request

O formato do corpo da solicitação está incorreto. Verifique cuidadosamente o formato do corpo da solicitação, como a estrutura JSON, nomes de campos e tipos de dados.

401 Falha na autorização

504 timeout

450: Solicitação descartada porque a fila está cheia

Quando uma instância de computação do lado do servidor recebe uma solicitação, ela primeiro coloca a solicitação em uma fila. Quando um worker na instância fica disponível, ele recupera dados da fila para processamento. O número padrão de workers é 5, que você pode ajustar usando o campo metadata.rpc.worker_threads no arquivo JSON crie um service. Se o tempo de processamento do worker for muito longo, as solicitações podem se acumular na fila. Quando a fila está cheia, a instância rejeita imediatamente novas solicitações com um código de status 450 para evitar que o enfileiramento excessivo aumente a latência e torne o service indisponível. O comprimento padrão da fila é 64, que você pode ajustar usando o campo metadata.rpc.max_queue_size no arquivo JSON crie um service.

503 no healthy upstream

Você recebe um erro 503 com a mensagem "no healthy upstream" durante a depuração online:

Solucione o problema da seguinte forma:

1. Verifique o status da instância. Se a instância tiver parado, Reinicie o Service.

2. Se o status do service for Running, a instância pode ter recursos insuficientes, como CPU, memória ou memória GPU, o que leva à falta de espaço de buffer.

   • Se você estiver usando recursos públicos, tente fazer a chamada novamente fora dos horários de pico ou mude para uma especificação de recurso ou região diferente.

   • Se você estiver usando um recurso dedicado (EAS Resource Group), certifique-se de que o grupo de recursos reservou CPU, memória e memória GPU suficientes para a instância. Recomendamos deixar pelo menos 20% dos recursos livres como buffer.

3. Outro cenário comum é quando o status do service é Running e todas as instâncias estão Ready após a implantação. No entanto, uma solicitação aciona um bug no código, o que faz com que a instância do service de backend falhe e pare de responder. Nessa situação, o gateway retorna um código de status 503 para o cliente. Para identificar e corrigir o bug, use os logs.

Erro: Unexpected token 12606 while expecting start token 200006

Ao usar o vllm para implantar o gpt-oss, as chamadas de service podem retornar o seguinte erro:

Solução: Tente implantar com aceleração SGLang.

Erro de invocação curl: no URL specified

Você recebe um erro no URL specified após enviar uma solicitação com o seguinte comando:

curl -X http://17****.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/service_name/**path** \
-H "Content-Type: application/json" \
-H "Authorization: **********==" \
-d '{"***":"****"}'

Causa: O comando curl usa a flag -X, mas falta o método, como POST.

A invocação retorna codificação ASCII

Modifique seu código da seguinte forma:

from flask import Flask, Response

@app.route('/hello', methods=['POST'])
def get_advice(): 
    result = "result"
    return Response(result, mimetype='text/plain', charset='utf-8')

Como resolver "[WARN] connection is closed: End of file" ou "Write a Invalid stream: End of file" nos logs do service?

Este log de aviso indica que o cliente ou o servidor fechou a conexão, e o servidor estava tentando gravar uma resposta de volta nessa conexão fechada. Uma conexão pode ser fechada de duas maneiras:

• Tempo limite do lado do servidor: No modo Processor, o tempo limite padrão do lado do servidor é de 5 segundos. Você pode alterar isso usando o parâmetro metadata.rpc.keepalive do service. Quando o tempo limite é atingido, o servidor fecha a conexão e registra um código de status 408 em seu monitoramento.

• Tempo limite do lado do cliente: As configurações do seu código de chamada determinam o tempo limite do lado do cliente. Se o cliente não receber uma resposta HTTP dentro do período de tempo limite configurado, ele fechará ativamente a conexão. O servidor então registra um código de status 499 em seu monitoramento.

upstream connect error or disconnect/reset before headers. reset reason: connection termination

Problemas como tempo limite de conexão persistente ou cargas de instância desequilibradas geralmente causam esse erro. Se o tempo de processamento do lado do servidor exceder o tempo limite HTTP configurado no cliente, o cliente abandonará a solicitação e fechará ativamente a conexão. Um código de status 499 aparecerá então no monitoramento do lado do servidor. Você pode verificar as métricas de monitoramento para confirmação adicional. Para tarefas de inferência demoradas, deploy an asynchronous inference service.

Como resolver falhas na depuração online para services implantados com um processador Tensorflow/Pytorch?

Por motivos de desempenho, os Processors TensorFlow/PyTorch usam um formato protobuf não plaintext para o corpo da solicitação. A depuração online atualmente suporta apenas entrada de texto plaintext. Portanto, você não pode depurar services implantados com esses processadores diretamente no console. Use os SDKs EAS fornecidos para chamar o service. Para obter informações sobre SDKs em diferentes linguagens, consulte Service Invocation SDKs.