Gateway with Inference Extension es un componente de ACK basado en Envoy Gateway y en la especificación Kubernetes Gateway API Inference Extension. Proporciona enrutamiento de capa 4 y capa 7 para Kubernetes, con balanceo de carga inteligente para cargas de trabajo de inference de modelos de lenguaje grandes (LLM).
Requisitos previos
Antes de instalar Gateway with Inference Extension, instale el componente Gateway API en su clúster. Gateway with Inference Extension requiere las CustomResourceDefinitions (CRD) que proporciona el componente Gateway API. Para conocer los pasos de instalación, consulte Install components.
Registro de cambios
Diciembre de 2025
| Versión |
Fecha |
Cambios |
Impacto |
| v1.4.0-apsara.4 |
16 de diciembre de 2025 |
- Admite la CRD InferencePool v1.
- Es compatible con el motor de inference vLLM v1.
- Mejora la programación del enrutamiento inteligente bajo alta concurrencia.
|
La actualización desde una versión anterior reinicia el Pod de la puerta de enlace. Ejecute la actualización fuera del horario de mayor demanda. |
Septiembre de 2025
| Versión |
Fecha |
Cambios |
Impacto |
| v1.4.0-apsara.3 |
4 de septiembre de 2025 |
- Incorpora rutas de inference para servicios SGLang con separación PD.
- Permite el enrutamiento con detección de caché de prefijos en modo preciso.
- Habilita el enrutamiento hacia servicios externos de modelo como servicio (MaaS).
- Se integra con Alibaba Cloud Content Moderation para revisar contenido generado por IA.
- Permite configurar políticas de enrutamiento de inference mediante la API InferenceTrafficPolicy.
|
La actualización desde una versión anterior reinicia el Pod de la puerta de enlace. Ejecute la actualización fuera del horario de mayor demanda. |
Mayo de 2025
| Versión |
Fecha |
Cambios |
Impacto |
| v1.4.0-aliyun.1 |
27 de mayo de 2025 |
- Admite Gateway API 1.3.0.
- Extensión de inference:
- Es compatible con los frameworks de inference vLLM, SGLang y TensorRT-LLM.
- Incluye balanceo de carga con detección de prefijos.
- Permite enrutar según los nombres de los modelos.
- Agrega compatibilidad con colas de solicitudes y programación por prioridad.
- Proporciona observability para las solicitudes de IA generativa.
- Admite la limitación global de velocidad.
- Permite limitar la velocidad global según los tokens de las solicitudes de IA generativa.
- Posibilita inyectar el contenido de un Secret en encabezados de solicitud específicos.
|
La actualización desde una versión anterior reinicia el Pod de la puerta de enlace. Ejecute la actualización fuera del horario de mayor demanda. |
Abril de 2025
| Versión |
Fecha |
Cambios |
Impacto |
| v1.3.0-aliyun.2 |
7 de mayo de 2025 |
- Admite clústeres ACS.
- Mejoras en la extensión de inference:
- Permite hacer referencia a recursos InferencePool en HTTPRoute.
- Habilita el enrutamiento ponderado, la duplicación de tráfico y la interrupción de circuitos en el nivel de InferencePool.
- Incluye balanceo de carga con detección de prefijos.
|
La actualización desde una versión anterior reinicia el Pod de la puerta de enlace. Ejecute la actualización fuera del horario de mayor demanda. |
Marzo de 2025
| Versión |
Fecha |
Cambios |
Impacto |
| v1.3.0-aliyun.1 |
12 de marzo de 2025 |
- Admite Gateway API v1.2.
- Incorpora Inference Extension para aplicar balanceo de carga inteligente en escenarios de inference de LLM.
|
Esta actualización no afecta sus servicios. |