Pengenalan Gateway API - Container Service for Kubernetes

Gateway API adalah standar komunitas Kubernetes untuk manajemen lalu lintas. Gateway API mendukung manajemen lalu lintas utara-selatan berbasis Ingress dan manajemen lalu lintas timur-barat berbasis Service Mesh. Topik ini menjelaskan konsep inti Gateway API serta solusi lalu lintas utara-selatan yang tersedia di ACK.

Konsep inti

Gateway API menggunakan desain berlapis berbasis peran yang memisahkan penyediaan infrastruktur, operasi & pemeliharaan (O&M) klaster, dan routing aplikasi:

GatewayClass (lapisan infrastruktur): Seperti IngressClass, mendefinisikan jenis controller gateway—misalnya ALB atau Envoy Gateway—beserta konfigurasi umumnya.
Gateway (lapisan O&M): Mendefinisikan instans gateway beserta aturan pendengarnya, seperti port, protokol, dan konfigurasi TLS.
HTTPRoute, GRPCRoute, dan jenis rute lainnya (lapisan aplikasi): Mendefinisikan aturan routing lalu lintas, seperti pencocokan path, modifikasi header, dan pembobotan lalu lintas, yang diarahkan ke layanan backend.
Policy (lapisan kebijakan): Mendefinisikan konfigurasi seperti pemutusan sirkuit, pembatasan laju, dan otentikasi JWT. Kebijakan ini dapat diterapkan pada gateway, rute, atau layanan backend.

Solusi Gateway API di ACK

Pilih solusi Gateway API sesuai kebutuhan bisnis Anda:

Solusi	Gateway with Inference Extension	ALB (Application Load Balancer)
Ikhtisar	Gateway with Inference Extension dibangun di atas Envoy Gateway open source, dioptimalkan untuk skenario cloud-native dan inferensi AI. Mendengarkan resource Gateway API untuk mengelola gateway dan traffic utara-selatan secara dinamis. Tidak sepenuhnya dikelola—dideploy pada node kluster, memerlukan O&M, dan tidak memiliki SLA produk cloud.	ALB Ingress Controller mendukung Gateway API mulai dari v2.17.0. Konfigurasikan resource seperti Gateway dan HTTPRoute untuk mengarahkan traffic eksternal ke beban kerja dalam kluster. Controller ini mengonversi perubahan Gateway API menjadi aturan pendengar ALB, aturan routing, dan konfigurasi grup server secara real time.
Skenario	Skema traffic umum dan inferensi AI	Skenario Trafik Umum
Keunggulan utama	Arsitektur Envoy open source standar: Mengikuti versi terbaru Envoy Gateway upstream. Dibangun di atas proxy Envoy dengan ekosistem matang dan berkinerja tinggi untuk traffic skala besar. Fitur manajemen traffic lengkap: Mendukung pembatasan laju, pemutusan sirkuit, dan routing tingkat zona, serta fitur seperti injeksi kesalahan, pencerminan lalu lintas, kompresi, dan caching. Ekstensi inferensi AI: Menyediakan load balancing yang sadar model dengan kebijakan penjadwalan seperti LoRA/KV Cache-aware, Waiting Request Num, dan Model Priority. Mendukung rilis bertahap versi model. Ekstensibilitas fleksibel: Terintegrasi dengan metode ekstensi Envoy Gateway seperti EnvoyFilter, Lua, Wasm, dan ExtProc untuk manajemen traffic kustom.	Dikelola sepenuhnya: Gateway dan komponennya dikelola sepenuhnya, mengurangi kompleksitas dan biaya O&M. Berkinerja tinggi dan elastis instan: Dibangun di atas stack virtualisasi jaringan Alibaba Cloud dengan throughput QPS tinggi dan kinerja koneksi bersamaan yang tinggi. Diskalakan secara otomatis berdasarkan beban lalu lintas. Routing lapisan aplikasi yang andal: Terintegrasi erat dengan layanan kontainer, mendukung aturan routing lanjutan untuk traffic lapisan aplikasi. Pembaruan bergulir dan tanpa waktu henti: Menyesuaikan aturan pengalihan secara dinamis melalui OpenAPI. Perubahan berlaku secara real time tanpa perlu restart instans, memastikan tidak ada waktu henti layanan. Dukungan skenario luas: Menangani koneksi persisten, koneksi bersamaan tinggi, QPS tinggi, lonjakan lalu lintas, pembaruan bergulir, hot upgrade, zona redundansi aktif, dan redundansi geo-aktif.
Referensi	Kelola traffic umum menggunakan Gateway with Inference Extension Kelola traffic LLM menggunakan Gateway with Inference Extension	Kelola traffic umum menggunakan ALB