O Gateway with Inference Extension é um componente do ACK baseado no Envoy Gateway e na especificação Kubernetes Gateway API Inference Extension. Ele fornece roteamento nas camadas 4 e 7 para Kubernetes, com balanceamento de carga inteligente para workloads de inferência de modelos grandes de linguagem (LLM).
Pré-requisitos
Antes de instalar o Gateway with Inference Extension, instale o componente Gateway API no cluster. O Gateway with Inference Extension exige as CustomResourceDefinitions (CRDs) fornecidas pelo componente Gateway API. Para obter as etapas de instalação, consulte Instalar componentes.
Histórico de alterações
Dezembro de 2025
| Versão |
Data |
Alterações |
Impacto |
| v1.4.0-apsara.4 |
16 de dezembro de 2025 |
- Suporte à CRD InferencePool v1.
- Suporte ao mecanismo de inferência vLLM v1.
- Melhoria no agendamento de roteamento inteligente sob alta concorrência.
|
A atualização de uma versão anterior reinicia o Pod do gateway. Realize a atualização fora dos horários de pico. |
Setembro de 2025
| Versão |
Data |
Alterações |
Impacto |
| v1.4.0-apsara.3 |
4 de setembro de 2025 |
- Rotas de inferência para serviços SGLang com separação PD.
- Roteamento com reconhecimento de cache de prefixo no modo preciso.
- Roteamento para serviços externos de Modelo como Serviço (MaaS).
- Integração com o Alibaba Cloud Content Moderation para revisão de conteúdo de IA.
- Configuração de políticas de roteamento de inferência pela API InferenceTrafficPolicy.
|
A atualização de uma versão anterior reinicia o Pod do gateway. Realize a atualização fora dos horários de pico. |
Maio de 2025
| Versão |
Data |
Alterações |
Impacto |
| v1.4.0-aliyun.1 |
27 de maio de 2025 |
- Suporte à Gateway API 1.3.0.
- Extensão de inferência:
- Suporte aos frameworks de inferência vLLM, SGLang e TensorRT-LLM.
- Balanceamento de carga com reconhecimento de prefixo.
- Roteamento baseado em nomes de modelos.
- Enfileiramento de solicitações e agendamento por prioridade.
- Observabilidade para solicitações de IA generativa.
- Limitação de taxa global.
- Limitação de taxa global baseada em tokens nas solicitações de IA generativa.
- Injeção de conteúdo de Secret em cabeçalhos de solicitação específicos.
|
A atualização de uma versão anterior reinicia o Pod do gateway. Realize a atualização fora dos horários de pico. |
Abril de 2025
| Versão |
Data |
Alterações |
Impacto |
| v1.3.0-aliyun.2 |
7 de maio de 2025 |
- Suporte a clusters ACS.
- Melhorias na extensão de inferência:
- Referência a recursos InferencePool no HTTPRoute.
- Roteamento ponderado, espelhamento de tráfego e circuit breaking no nível do InferencePool.
- Balanceamento de carga com reconhecimento de prefixo.
|
A atualização de uma versão anterior reinicia o Pod do gateway. Realize a atualização fora dos horários de pico. |
Março de 2025
| Versão |
Data |
Alterações |
Impacto |
| v1.3.0-aliyun.1 |
12 de março de 2025 |
- Suporte à Gateway API v1.2.
- Inference Extension para balanceamento de carga inteligente em cenários de inferência LLM.
|
Esta atualização não afeta seus serviços. |