Ikhtisar Gateway API - Container Service for Kubernetes

Gateway API merupakan standar resmi manajemen traffic dari komunitas Kubernetes yang mendukung manajemen traffic utara-selatan berbasis Ingress serta manajemen traffic timur-barat berbasis Service Mesh. Topik ini menjelaskan konsep inti Gateway API dan solusinya untuk manajemen traffic utara-selatan.

Konsep inti

Gateway API menggunakan desain berlapis berorientasi peran yang memisahkan penyediaan infrastruktur, operasi kluster, dan routing aplikasi. Gateway API mencakup sumber daya inti berikut:

GatewayClass (Lapisan infrastruktur): Mirip dengan IngressClass, mendefinisikan tipe controller gateway—seperti ALB atau Envoy Gateway—beserta konfigurasi umumnya.
Gateway (Lapisan operasi): Mendefinisikan instans gateway tertentu beserta aturan listener jaringannya, seperti Port, protokol, dan konfigurasi TLS.
HTTPRoute, GRPCRoute, dll. (Lapisan aplikasi): Mendefinisikan aturan routing traffic spesifik, seperti pencocokan path, modifikasi Header, pembobotan traffic, serta penentuan layanan backend.
Policy (Lapisan kebijakan): Mendefinisikan serangkaian konfigurasi atau perilaku tertentu, seperti Pemutusan sirkuit, Pembatasan laju, dan otentikasi JWT. Kebijakan dapat dilampirkan ke gateway, rute, atau layanan backend tertentu.

Solusi Gateway API di ACK

Dalam kluster ACK, Anda dapat memilih solusi Gateway API yang sesuai berdasarkan kebutuhan bisnis Anda:

Solusi	Gateway with Inference Extension	ALB (Application Load Balancer)
Ikhtisar	Gateway with Inference Extension adalah komponen yang dibangun di atas proyek open source Envoy Gateway. Komponen ini dioptimalkan untuk skenario cloud-native dan Inferensi AI. Komponen ini memantau sumber daya Gateway API untuk membuat dan menghapus gateway secara dinamis, mengelola traffic utara-selatan untuk kluster. Komponen ini tidak dikelola (unmanaged). Komponen ini dideploy pada node kluster Anda dan memerlukan maintenance mandiri. Komponen ini tidak disertai jaminan Service-Level Agreement (SLA) produk cloud.	ALB Ingress Controller telah mendukung Gateway API sejak versi v2.17.0. Konfigurasikan sumber daya seperti Gateway dan HTTPRoute untuk mengarahkan traffic Lapisan 7 eksternal ke beban kerja (Pod) yang dikelola oleh layanan dalam kluster. Hal ini mengelola traffic utara-selatan kluster. ALB Ingress Controller memantau perubahan pada sumber daya Gateway API dan mengonversinya secara real-time menjadi aturan listener, aturan routing, serta konfigurasi grup server untuk instans ALB yang mendasarinya.
Skema penggunaan	Skema traffic umum dan Inferensi AI	Skenario lalu lintas umum
Keunggulan utama	Arsitektur standar Envoy open source: Konsisten dengan versi upstream terbaru dari komunitas Envoy Gateway. Dibangun di atas proxy Envoy. Ekosistemnya yang matang dan performa tinggi membantu Anda mengatasi tantangan traffic berskala besar dengan mudah. Fitur manajemen traffic lengkap: Mendukung berbagai aturan Pembatasan laju dan Pemutusan sirkuit. Mendukung kemampuan routing canggih, termasuk di tingkat zona. Mendukung fitur umum seperti injeksi kesalahan, Pencerminan lalu lintas, kompresi, dan cache. Ekstensi Inferensi AI: Menyediakan load balancing yang sadar model untuk layanan inferensi model besar. Mendukung berbagai kebijakan penjadwalan berbasis model, seperti penjadwalan LoRA/KV Cache-aware, Waiting Request Num, dan Model Priority. Mendukung kemampuan rilis bertahap untuk beberapa versi model. Ekstensibilitas fleksibel: Terintegrasi secara native dengan Envoy Gateway untuk mendukung berbagai metode ekstensi seperti EnvoyFilter, Lua, Wasm, dan ExtProc guna memenuhi kebutuhan manajemen traffic khusus.	Sepenuhnya dikelola: Menggunakan desain terintegrasi yang sepenuhnya dikelola untuk gateway dan komponennya. Hal ini secara signifikan mengurangi kompleksitas dan biaya O&M. Performa tinggi dan elastisitas instan: Dibangun di atas stack virtualisasi jaringan buatan Alibaba Cloud. Memberikan throughput permintaan per detik (QPS) dan performa pemrosesan koneksi bersamaan yang sangat baik. Juga mendukung scale-out otomatis berdasarkan beban lalu lintas untuk menangani lonjakan lalu lintas. Routing lapisan aplikasi yang andal: Dirancang untuk skenario load balancing lapisan aplikasi. Terintegrasi secara mendalam dengan Layanan kontainer dan mendukung berbagai aturan routing lanjutan. Pembaruan panas dan tanpa downtime: Mendukung hot update konfigurasi. Sesuaikan aturan pengalihan secara dinamis melalui OpenAPI. Perubahan berlaku secara real-time tanpa perlu me-restart instans, memastikan tidak ada downtime pada lalu lintas layanan. Cakupan skenario luas: Cocok untuk skenario seperti koneksi persisten, koneksi bersamaan tinggi, QPS tinggi, lalu lintas fluktuatif, ketergantungan pada hot update dan hot upgrade, serta pemulihan bencana dengan redundansi geo-aktif atau zona redundansi aktif.
Referensi	Kelola traffic umum menggunakan Gateway with Inference Extension Mengelola Trafik LLM Menggunakan Gateway dengan Inference Extension	Kelola traffic umum menggunakan ALB