AI Gateway tersedia dalam dua edisi: Dedicated Instance dan Serverless. Topik ini menjelaskan fitur, parameter, kuota, dan batasan masing-masing edisi untuk membantu Anda memilih edisi dan tipe instans yang sesuai.
Perbandingan edisi
Serverless: Edisi yang sepenuhnya dikelola ini mendukung skalabilitas elastis otomatis sehingga Anda tidak perlu mengelola sumber daya dasar. Penagihan dilakukan berdasarkan jumlah panggilan, memungkinkan integrasi cepat dan penggunaan awal dengan biaya rendah.
Dedicated Instance: Edisi ini menyediakan instans sumber daya khusus yang dideploy secara independen serta mendukung fitur lanjutan seperti ekstensi plugin, akselerasi perangkat keras, dan integrasi WAF. Edisi ini menjamin keamanan tinggi serta menyediakan Service-Level Agreement (SLA) yang lebih ketat, sehingga ideal bagi perusahaan yang memerlukan stabilitas, keamanan, dan skalabilitas tinggi.
Kategori | Fitur | Serverless | Dedicated Instance |
Proxy model | Teks-ke-teks | Didukung | Didukung |
Multimodal | Dukungan | Didukung | |
Kebijakan bawaan | Dukungan | Didukung | |
Server MCP | Proxy MCP | Dukungan | Didukung |
HTTP ke MCP | Didukung | Didukung | |
Proxy agen | Model Studio | Didukung | Dukungan |
Dify | Didukung | Didukung | |
Kustom | Didukung | Didukung | |
Plugin | System plugins | Didukung | Didukung |
Plugin marketplace | Tidak didukung | Didukung | |
Plugin kustom | Tidak didukung | Didukung | |
Spesifikasi | Spesifikasi kapasitas | Penskalaan otomatis | Tersedia berbagai spesifikasi kapasitas berdasarkan permintaan per detik (QPS) dan jumlah koneksi client. |
Akselerasi perangkat keras | Akselerasi perangkat keras TLS | Tidak didukung | Didukung |
Kompresi dan dekompresi perangkat keras QAT | Tidak didukung | Didukung | |
Keamanan | Integrasi WAF | Tidak didukung | Didukung |
Observabilitas | Pemantauan dan peringatan | Hanya metrik bisnis Catatan Edisi Serverless dirancang untuk mengelola sistem dasar secara otomatis. Anda tidak perlu mengelola O&M tingkat sistem. |
|
Titik akhir | EIP tetap | Menggunakan endpoint bersama dengan elastic IP addresses (EIPs) yang tidak tetap. | Mendukung endpoint khusus dengan EIP tetap. |
Bandwidth masuk | Bandwidth dibagi di antara beberapa instans. Satu instans gateway memiliki batas 400 Mbps. | Bandwidth khusus. Instans gateway tunggal memiliki batas bandwidth default 4 Gbps, yang dapat disesuaikan secara dinamis. | |
O&M | Perubahan konfigurasi | Edisi Serverless dirancang untuk penskalaan kinerja otomatis. Anda tidak perlu mengelola konfigurasi layanan. | Konfigurasi dapat diubah sesuai kebutuhan. Anda tidak dapat menurunkan spesifikasi ke edisi Serverless. |
Jaminan stabilitas | SLA | 99,9% | 99,99% |
Middleware dependen | Bersama dan terisolasi secara logis | Khusus dan terisolasi secara fisik | |
Pembaruan versi | Otomatis | Manual |
Spesifikasi kapasitas
Untuk instans AI Gateway Dedicated Instance, tersedia berbagai tipe instans dengan kinerja berbeda berdasarkan permintaan per detik (QPS) dan jumlah koneksi klien.
Tabel berikut mencantumkan parameter untuk berbagai tipe instans gateway.
Instance Type | QPS | Koneksi klien |
aigw.small.x1 | 1.500 | 20.000 |
aigw.small.x2 | 3.000 | 40.000 |
aigw.small.x4 | 6.000 | 80.000 |
aigw.medium.x1 | 12.000 | 160.000 |
aigw.medium.x2 | 24.000 | 320.000 |
aigw.medium.x3 | 36.000 | 480.000 |
aigw.large.x1 | 48.000 | 640.000 |
aigw.large.x2 | 96.000 | 1.280.000 |
aigw.large.x3 | 144.000 | 1.920.000 |
aigw.large.x4 | 192.000 | 2.560.000 |
Deskripsi kuota
Dimensi kuota | Instans serverless | Instans khusus | ||
Kuota default | Kuota maksimum | Kuota default | Kuota maksimum | |
Jumlah instans dalam wilayah yang sama | 50 | 100 | 100 | 500 |
Total jumlah Model API per instans | 50 | 100 | 100 | 500 |
Total jumlah entri rute per instans | 100 | 200 | small: 200 medium & large: 500 | small: 1000 medium & large: 2000 |
Total jumlah MCP Server per instans | 50 | 100 | small: 100 medium & large: 200 | small: 500 medium & large: 1000 |
Total jumlah Tools per MCP Server | 50 | 100 | 100 | 1000 |
Total jumlah Agent API per instans | 50 | 100 | 100 | 500 |
Jumlah konsumen | 20 | 50 | small: 50 medium & large: 200 | small: 100 medium & large: 500 |
Jumlah domain terkait per instans | 20 | 50 | small: 50 medium & large: 200 | small: 100 medium & large: 500 |
Jumlah layanan terkait per instans | 50 | 100 | small: 200 medium & large: 500 | small: 1000 medium & large: 2000 |
Jumlah plugin yang diinstal pada satu instans | N/A | N/A | small: 5 medium & large: 10 | small: 10 medium & large: 20 |
Jumlah custom plugin yang diunggah | N/A | N/A | 20 | 50 |