Platform For AI:Appendix: Service status codes and common errors

404 Not Found

400 Bad Request

El formato del cuerpo de la solicitud es incorrecto. Revise cuidadosamente el formato del cuerpo de la solicitud, como la estructura JSON, los nombres de los campos y los tipos de datos.

401 Authorization Failed

504 timeout

450: Solicitud descartada porque la cola está llena

Cuando una instancia de cómputo del lado del servidor recibe una solicitud, primero la coloca en una cola. Cuando un worker de la instancia queda disponible, extrae datos de la cola para procesarlos. La cantidad predeterminada de workers es 5, y puede ajustarla mediante el campo metadata.rpc.worker_threads en el archivo JSON de create a service. Si el tiempo de procesamiento de los workers es demasiado largo, las solicitudes se acumulan en la cola. Cuando la cola se llena, la instancia rechaza inmediatamente las nuevas solicitudes con un código de estado 450. Esto evita que una acumulación excesiva aumente la latencia y deje el servicio no disponible. La longitud predeterminada de la cola es 64, y puede ajustarla mediante el campo metadata.rpc.max_queue_size en el archivo JSON de create a service.

503 no healthy upstream

Recibe un error 503 con el mensaje "no healthy upstream" durante la depuración en línea:

Solucione el problema de la siguiente manera:

1. Compruebe el estado de la instancia. Si la instancia se detuvo, reinicie el servicio.

2. Si el estado del servicio es Running, es posible que la instancia tenga recursos insuficientes, como CPU, memoria o memoria GPU, lo que provoca la falta de espacio de búfer.

   • Si usa recursos públicos, intente realizar la llamada nuevamente fuera de las horas pico, o cambie a una especificación de recursos o región diferente.

   • Si usa un recurso dedicado (EAS Resource Group), asegúrese de que el resource group haya reservado suficiente CPU, memoria y memoria GPU para la instancia. Se recomienda dejar como mínimo un 20 % de los recursos libres como búfer.

3. Otro escenario común ocurre cuando el estado del servicio es Running y todas las instancias están listas después del despliegue. Sin embargo, una solicitud activa un bug en el código, lo que provoca que la instancia del servicio de backend falle y deje de responder. En esta situación, la puerta de enlace devuelve un código de estado 503 al cliente. Use los registros para identificar y corregir el bug.

Error: Unexpected token 12606 while expecting start token 200006

Cuando usa vllm para desplegar gpt-oss, las llamadas al servicio podrían devolver el siguiente error:

Solución: intente desplegar con la aceleración SGLang.

Error de invocación de curl: no URL specified

Recibe un error no URL specified después de enviar una solicitud con el siguiente comando:

curl -X http://17****.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/service_name/**path** \
-H "Content-Type: application/json" \
-H "Authorization: **********==" \
-d '{"***":"****"}'

Causa: el comando curl usa la marca -X, pero falta el método, como POST.

La invocación devuelve codificación ASCII

Modifique su código de la siguiente manera:

from flask import Flask, Response

@app.route('/hello', methods=['POST'])
def get_advice(): 
    result = "result"
    return Response(result, mimetype='text/plain', charset='utf-8')

¿Cómo resolver "[WARN] connection is closed: End of file" o "Write a Invalid stream: End of file" en los registros del servicio?

Este registro de advertencia indica que el cliente o el servidor cerró la conexión, y el servidor estaba intentando escribir una respuesta en esa conexión cerrada. Una conexión puede cerrarse de dos maneras:

• Tiempo de espera del lado del servidor: en el modo Processor, el tiempo de espera predeterminado del lado del servidor es de 5 segundos. Puede cambiarlo mediante el parámetro metadata.rpc.keepalive del servicio. Cuando se alcanza el tiempo de espera, el servidor cierra la conexión y registra un código de estado 408 en su monitoreo.

• Tiempo de espera del lado del cliente: la configuración de su código de llamada determina el tiempo de espera del lado del cliente. Si el cliente no recibe una respuesta HTTP dentro del período de tiempo de espera configurado, cierra la conexión de forma activa. Luego, el servidor registra un código de estado 499 en su monitoreo.

upstream connect error or disconnect/reset before headers. reset reason: connection termination

Problemas como el agotamiento del tiempo de espera de una conexión persistente o cargas desequilibradas entre instancias suelen causar este error. Si el tiempo de procesamiento del lado del servidor supera el tiempo de espera HTTP configurado en el cliente, el cliente abandona la solicitud y cierra la conexión de forma activa. Después, aparece un código de estado 499 en el monitoreo del lado del servidor. Puede revisar las métricas de monitoreo para confirmarlo. Para tareas de inference que consumen mucho tiempo, deploy an asynchronous inference service.

¿Cómo resolver fallos de depuración en línea para servicios desplegados con un procesador TensorFlow/PyTorch?

Por motivos de rendimiento, los procesadores TensorFlow/PyTorch usan un formato protobuf que no es de texto sin formato para el cuerpo de la solicitud. Actualmente, la depuración en línea solo admite entradas de texto sin formato. Por lo tanto, no puede depurar directamente en la consola los servicios desplegados con estos procesadores. Use los SDK de EAS proporcionados para llamar al servicio. Para obtener información sobre los SDK en diferentes lenguajes, consulte Service Invocation SDKs.