El modo rápido proporciona mayores TPS para escenarios sensibles a la latencia.
Uso
El modo rápido proporciona las siguientes características clave:
- Salida de alta velocidad: Los TPS aumentan de 1.5 a 2 veces respecto a la API estándar. Esto es adecuado para asistentes de codificación de IA, razonamiento de agentes de múltiples pasos, conversaciones en tiempo real y otros escenarios sensibles a la latencia.
- Facturación basada en tokens: La lógica de facturación es la misma que la de la API estándar, con cargos basados en tokens de entrada y salida.
- Limitación de tasa especial: Cuando el volumen de llamadas alcanza el límite de tasa, si la plataforma aún tiene recursos disponibles, no se activa la limitación de tasa, por lo que los TPS disponibles reales no son inferiores al límite de tasa.
Para habilitar el modo rápido, establezca el parámetro del modelo en el ID de modelo de Modelos compatibles. No se requieren parámetros adicionales. El endpoint tiene el formato https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1, donde {workspace_id} se puede encontrar en la página Gestión de espacios de trabajo después de cambiar a la región correspondiente.
Ejemplo básico de llamada:
El nombre del modelo para el modo prime de glm 5.2 sigue siendo glm-5.2-fast-preview.
curl -X POST https://{workspace_id}.cn-beijing.maas.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "glm-5.2-fast-preview",
"messages": [{"role": "user", "content": "Who are you"}],
"stream": false
}'
Modelos admitidos
China (Beijing)
Modelo de generación de texto | Precios (por millón de tokens) | ||
|---|---|---|---|
Precio unitario de entrada | Precio unitario de salida | Acierto de caché | |
glm-5.2-fast-preview | $2.200 | $7.702 | $0.550 |
Modelo de generación de video | Precios ($/segundo) | ||
480P | 720P | 1080P | |
wan3.0-video-prime | $0.068/segundo | $0.14/segundo | $0.28/segundo |
Singapore
Modelo de generación de texto | Precios (por millón de tokens) | ||
|---|---|---|---|
Precio unitario de entrada | Precio unitario de salida | Acierto de caché | |
glm-5.2-fast-preview | $2.800 | $8.800 | $0.560 |
Modelo de generación de video | Precios ($/segundo) | ||
480P | 720P | 1080P | |
wan3.0-video-prime | $0.068/segundo | $0.14/segundo | $0.28/segundo |
Ejemplos
El modelo glm-5.2 devuelve un campo reasoning_content por defecto para el razonamiento. Durante la transmisión, el contenido de razonamiento y el contenido de respuesta se entregan a través de delta.reasoning_content y delta.content respectivamente. Ejemplo de llamada en streaming:
from openai import OpenAI
import os
client = OpenAI(
api_key=os.environ.get("API_KEY"),
base_url=os.environ.get("BASE_URL"),
)
completion = client.chat.completions.create(
model="glm-5.2-fast-preview",
messages=[{"role": "user", "content": "Who are you"}],
stream=True,
)
for chunk in completion:
if not chunk.choices:
continue
delta = chunk.choices[0].delta
if hasattr(delta, "reasoning_content") and delta.reasoning_content:
print(delta.reasoning_content, end="", flush=True)
if hasattr(delta, "content") and delta.content:
print(delta.content, end="", flush=True)
Ejemplo de respuesta:
{
"id": "chatcmpl-xxx",
"object": "chat.completion",
"model": "glm-5.2-fast-preview",
"choices": [{
"index": 0,
"message": {
"role": "assistant",
"reasoning_content": "...",
"content": "..."
},
"finish_reason": "stop"
}],
"usage": {
"prompt_tokens": 14,
"completion_tokens": 137,
"total_tokens": 151,
"prompt_tokens_details": { "cached_tokens": 0 },
"completion_tokens_details": { "reasoning_tokens": 127 }
}
}
Facturación
Para las reglas de facturación y precios del modo rápido, consulte Precios de inferencia de modelos.
Códigos de error
Para los códigos de error que pueden ocurrir cuando llama al modo rápido y las soluciones correspondientes, consulte Códigos de error.