Introduction to the Gateway API - Container Service for Kubernetes

L'API Gateway est une norme communautaire Kubernetes dédiée à la gestion du trafic. Elle prend en charge la gestion du trafic nord-sud basée sur Ingress ainsi que la gestion du trafic est-ouest basée sur le maillage de services (Service Mesh). Cette rubrique décrit les concepts fondamentaux de l'API Gateway et les solutions de trafic nord-sud disponibles dans ACK.

Concepts fondamentaux

L'API Gateway repose sur une conception en couches orientée rôles, qui découple le provisionnement de l'infrastructure, l'exploitation et la maintenance (O&M) du cluster, ainsi que le routage des applications :

GatewayClass (couche Infrastructure) : À l'instar de IngressClass, elle définit le type de contrôleur de passerelle, tel qu'ALB ou Envoy Gateway, ainsi que les configurations générales.
Gateway (couche O&M) : Définit une instance de passerelle et ses règles d'écoute, notamment les ports, les protocoles et les configurations TLS.
HTTPRoute, GRPCRoute et autres types de routes (couche Application) : Définissent les règles de routage du trafic, telles que la correspondance de chemin, la modification des en-têtes et la pondération du trafic, associées aux services backend.
Policy (couche Politique) : Définit des configurations telles que le disjoncteur (circuit breaking), la limitation de débit et l'authentification JWT. Peut être associée à une passerelle, une route ou un service backend.

Solutions d'API Gateway dans ACK

Choisissez une solution d'API Gateway en fonction de vos besoins métier :

Solution	Gateway with Inference Extension	ALB (Application Load Balancer)
Aperçu	Gateway with Inference Extension s'appuie sur Envoy Gateway open source, optimisé pour les scénarios cloud-native et d'inférence IA. Il écoute les ressources de l'API Gateway pour gérer dynamiquement les passerelles et le trafic nord-sud. Il n'est pas entièrement géré : déployé sur les nœuds du cluster, il nécessite une exploitation et une maintenance (O&M) et ne bénéficie d'aucun accord de niveau de service (SLA) de produit cloud.	ALB Ingress Controller prend en charge l'API Gateway à partir de la version v2.17.0. Configurez des ressources telles que Gateway et HTTPRoute pour acheminer le trafic externe vers les charges de travail du cluster. Le contrôleur convertit les modifications de l'API Gateway en règles d'écoute ALB, règles de routage et configurations de groupes de serveurs en temps réel.
Scénarios	Trafic général et scénarios d'inférence IA	Scénarios de trafic général
Principaux avantages	Architecture Envoy open source standard : Suit les dernières versions amont d'Envoy Gateway. S'appuie sur le proxy Envoy avec un écosystème mature et haute performance pour le trafic à grande échelle. Fonctionnalités riches de gestion du trafic : Prend en charge la limitation de débit, le disjoncteur (circuit breaking) et le routage au niveau de la zone, ainsi que des fonctionnalités telles que l'injection de pannes, la mise en miroir du trafic, la compression et la mise en cache. Extension d'inférence IA : Fournit un équilibrage de charge conscient des modèles avec des politiques de planification telles que LoRA/KV Cache-aware, Waiting Request Num et Model Priority. Prend en charge les déploiements progressifs des versions de modèles. Extensibilité flexible : S'intègre aux méthodes d'extension d'Envoy Gateway telles qu'EnvoyFilter, Lua, Wasm et ExtProc pour une gestion personnalisée du trafic.	Entièrement géré : Passerelle et composants entièrement gérés, réduisant la complexité et les coûts d'exploitation et de maintenance (O&M). Haute performance et élasticité instantanée : S'appuie sur la pile de virtualisation réseau d'Alibaba Cloud avec un débit QPS élevé et des performances de connexions simultanées. Mise à l'échelle automatique en fonction de la charge du trafic. Routage puissant au niveau applicatif : Intégration approfondie avec les services de conteneurs, prenant en charge des règles de routage avancées pour le trafic au niveau applicatif. Mises à jour progressives sans interruption : Ajustez dynamiquement les règles de transfert via OpenAPI. Les modifications prennent effet en temps réel sans redémarrage des instances, garantissant une absence d'interruption de service. Large prise en charge des scénarios : Gère les connexions persistantes, les connexions hautement concurrentielles, le QPS élevé, les pics de trafic, les mises à jour progressives, les mises à niveau à chaud, la redondance active entre zones et la redondance géographique active.
Références	Gérer le trafic général à l'aide de Gateway with Inference Extension Gérer le trafic LLM à l'aide de Gateway with Inference Extension	Gérer le trafic général à l'aide d'ALB