Ambang batas kapasitas, tolok ukur QPS, dan batas kuota untuk Cloud-native API Gateway, mencakup instans Dedicated maupun Serverless.
Dokumen ini mencakup ambang batas kapasitas, tolok ukur QPS, dan batas kuota untuk Dedicated instances maupun Serverless instances Cloud-native API Gateway.
Instans Serverless saat ini berada dalam masa beta publik. Kuota yang tercantum untuk Serverless merupakan nilai periode beta dan dapat berubah setelah rilis komersial.
Jenis instans
|
Jenis instans |
Resource Model |
Manajemen kapasitas |
Kasus penggunaan |
|
Dedicated instance |
Resource fisik khusus per pengguna |
Pilih spesifikasi; spesifikasi lebih tinggi = kapasitas lebih besar |
Beban kerja stabil frekuensi tinggi, audit kepatuhan, kustomisasi mendalam |
|
Serverless instance |
Kumpulan bersama multi-tenant yang dikelola platform |
Batas kapasitas platform terpadu; tidak ada pilihan spesifikasi |
Trafik variabel, skala kecil hingga menengah, onboarding cepat |
Ambang batas kapasitas (Instans Dedicated)
Tabel berikut mencantumkan ambang batas kapasitas per spesifikasi gateway. Cakupan SLA penuh berlaku selama metrik tetap di bawah ambang peringatan. Untuk beban kerja kritis, pertahankan metrik di bawah ambang aman.
-
Ambang aman: Gateway mempertahankan throughput tinggi dan latensi rendah bahkan jika lalu lintas meningkat dua kali lipat.
-
Ambang peringatan: Melebihi batas ini dapat menyebabkan peningkatan latensi dan risiko stabilitas selama lonjakan lalu lintas.
-
Spesifikasi
apigw.dev.x1merupakan implementasi single-node tanpa jaminan SLA dan hanya ditujukan untuk pengujian. Gunakan spesifikasi multi-node untuk lingkungan produksi. -
SLA tidak mencakup kegagalan permintaan ketika CPU atau memori melebihi ambang peringatan. Gateway menyediakan alarm untuk ambang tersebut. Pantau beban gateway dan alarm yang dipicu secara cermat.
|
Spesifikasi gateway |
Koneksi klien |
Koneksi HTTPS baru |
Pemanfaatan CPU |
Penggunaan memori |
||||
|
Ambang aman |
Ambang peringatan |
Ambang aman |
Ambang peringatan |
Ambang aman |
Ambang peringatan |
Ambang Batas Aman |
Ambang peringatan |
|
|
|
12.000 |
24.000 |
400 |
800 |
30% |
60% |
75% |
75% |
|
|
24.000 |
48.000 |
800 |
1.600 |
30% |
60% |
75% |
75% |
|
|
48.000 |
96.000 |
1.600 |
3.200 |
30% |
60% |
75% |
75% |
|
|
96.000 |
192.000 |
3.200 |
6.400 |
30% |
60% |
75% |
75% |
|
|
192.000 |
384.000 |
6.400 |
12.800 |
30% |
60% |
75% |
75% |
|
|
384.000 |
768.000 |
12.800 |
25.600 |
30% |
60% |
75% |
75% |
|
|
576.000 |
1.152.000 |
19.200 |
38.400 |
30% |
60% |
75% |
75% |
|
|
768.000 |
1.536.000 |
25.600 |
51.200 |
30% |
60% |
75% |
75% |
|
|
1.536.000 |
3.072.000 |
51.200 |
102.400 |
30% |
60% |
75% |
75% |
|
|
2.304.000 |
4.608.000 |
76.800 |
153.600 |
30% |
60% |
75% |
75% |
|
|
3.072.000 |
6.144.000 |
102.400 |
204.800 |
30% |
60% |
75% |
75% |
Instans Serverless menggunakan resource yang dikelola platform tanpa pilihan spesifikasi. Lihat bagian "Ambang batas kapasitas instans Serverless" untuk ambang batas per penyewa.
Kinerja QPS (Instans Dedicated)
Throughput QPS gateway bergantung pada faktor-faktor seperti ukuran respons, penggunaan HTTPS, dan kompresi gzip. Tabel berikut mencantumkan nilai QPS pesimistis pada CPU 30% (ambang aman).
Koneksi HTTPS baru mengonsumsi sumber daya CPU yang signifikan. Untuk skenario lonjakan HTTPS, rujuk data koneksi pendek + HTTPS untuk mengevaluasi kapasitas gateway.
Koneksi pendek
|
Ukuran respons |
HTTPS |
gzip |
dev.x1 |
small.x1 |
small.x2 |
small.x4 |
medium.x1 |
medium.x2 |
medium.x3 |
large.x1 |
large.x2 |
large.x3 |
large.x4 |
|
1 KB |
No |
No |
1700 |
3400 |
6800 |
13600 |
28000 |
56000 |
84000 |
112000 |
224000 |
336000 |
448000 |
|
1 KB |
Yes |
No |
500 |
1000 |
2000 |
4000 |
8700 |
17400 |
26100 |
34800 |
69600 |
104400 |
139200 |
Koneksi panjang
|
Ukuran respons |
HTTPS |
gzip |
dev.x1 |
small.x1 |
small.x2 |
small.x4 |
medium.x1 |
medium.x2 |
medium.x3 |
large.x1 |
large.x2 |
large.x3 |
large.x4 |
|
1 KB |
No |
No |
2200 |
4400 |
8800 |
17600 |
35000 |
70000 |
105000 |
140000 |
280000 |
420000 |
560000 |
|
1 KB |
Yes |
No |
2000 |
4000 |
8000 |
16000 |
32000 |
64000 |
96000 |
128000 |
256000 |
384000 |
512000 |
|
1 KB |
Yes |
Yes |
1700 |
3400 |
6800 |
13600 |
28000 |
56000 |
84000 |
112000 |
224000 |
336000 |
448000 |
|
10 KB |
No |
No |
1800 |
3600 |
7200 |
14400 |
30000 |
60000 |
90000 |
120000 |
240000 |
360000 |
480000 |
|
10 KB |
Yes |
No |
1700 |
3400 |
6800 |
13600 |
28000 |
56000 |
84000 |
112000 |
224000 |
336000 |
448000 |
|
10 KB |
Yes |
Yes |
1000 |
2000 |
4000 |
8000 |
16000 |
32000 |
48000 |
64000 |
128000 |
192000 |
256000 |
Batas kuota
Kuota global
Kuota global berlaku untuk Serverless instances maupun Dedicated instances terlepas dari spesifikasinya. Untuk menambah kuota, kirim tiket.
|
Item kuota |
Kuota |
|
Instans per Wilayah |
100 |
|
Kelompok konsumen per wilayah (maks) |
1.000 |
|
Konsumen per kelompok konsumen |
500 |
|
Konsumen per wilayah (maks) |
100.000 |
Kuota spesifik instans
Tabel berikut mengintegrasikan kuota per penyewa Serverless dengan kuota instans Dedicated di 11 spesifikasi untuk perbandingan berdampingan. Instans Dedicated dapat diskalakan dengan meningkatkan spesifikasi; jika spesifikasi tertinggi masih belum mencukupi, kirim tiket untuk peningkatan kuota lebih lanjut. Jumlah konsumen dan aturan otorisasi konsumen tercantum sebagai item kuota terpisah dan dihitung serta divalidasi secara terpisah.
|
Serverless |
DEV |
Small |
Medium |
Large |
||||||||
|
Item kuota |
Serverless |
dev.x1 |
small.x1 |
small.x2 |
small.x4 |
medium.x1 |
medium.x2 |
medium.x3 |
large.x1 |
large.x2 |
large.x3 |
large.x4 |
|
Domain yang dipublikasikan |
100 |
100 |
200 |
300 |
400 |
500 |
600 |
800 |
1.000 |
1.200 |
1.400 |
1.600 |
|
Layanan |
200 |
200 |
800 |
1.200 |
1.600 |
2.000 |
2.500 |
3.000 |
4.000 |
4.500 |
5.000 |
6.000 |
|
Total entri rute online (rute HTTP API, titik akhir REST API, entri rute Ingress) |
2.500 |
2.500 |
5.000 |
6.000 |
7.000 |
7.500 |
8.000 |
9.000 |
10.000 |
11.000 |
12.000 |
13.000 |
|
Jumlah konsumen |
500 |
500 |
2.000 |
4.000 |
6.000 |
8.000 |
12.000 |
16.000 |
20.000 |
27.500 |
35.000 |
42.500 |
|
Aturan otorisasi konsumen |
500 |
500 |
2.000 |
4.000 |
6.000 |
8.000 |
12.000 |
16.000 |
20.000 |
27.500 |
35.000 |
42.500 |
|
Aturan kuota konsumen |
500 |
500 |
2.000 |
4.000 |
6.000 |
8.000 |
12.000 |
16.000 |
20.000 |
27.500 |
35.000 |
42.500 |
|
Sumber layanan K8s |
1 |
3 |
3 |
3 |
3 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
|
Plugin yang diinstal |
5 |
5 |
10 |
10 |
10 |
20 |
20 |
20 |
30 |
30 |
30 |
30 |
|
Plugin kustom yang diunggah |
Tidak didukung |
10 |
20 |
20 |
20 |
50 |
50 |
50 |
80 |
80 |
80 |
80 |
Perhitungan kuota konsumen
Batas untuk Jumlah konsumen dan aturan otorisasi konsumen tercantum secara terpisah berdasarkan spesifikasi dalam tabel di atas. Lihat tabel kuota spesifikasi instans untuk nilai lainnya.
Jumlah konsumen = jumlah konsumen berbeda yang dirujuk oleh otorisasi langsung dan otorisasi kelompok konsumen pada gateway saat ini. Konsumen yang dirujuk oleh beberapa aturan atau kelompok dihitung satu kali. Kelompok konsumen kosong tidak menambah jumlah konsumen.
Aturan otorisasi konsumen = jumlah aturan otorisasi konsumen yang disimpan pada gateway saat ini. Setiap aturan otorisasi langsung dihitung sebagai satu, dan setiap aturan otorisasi kelompok konsumen juga dihitung sebagai satu, terlepas dari jumlah anggota kelompok atau apakah kelompok tersebut kosong.
Setiap nilai penggunaan dibandingkan secara independen dengan batas kuotanya masing-masing: jumlah konsumen tidak boleh melebihi batas Jumlah konsumen, dan jumlah aturan otorisasi konsumen tidak boleh melebihi batas aturan otorisasi konsumen. Daftar putih atau konfigurasi khusus dapat menaikkan batas yang berlaku, tetapi tidak mengubah aturan penghitungan ini.
Ambang batas kapasitas instans Serverless
Instans Serverless menggunakan kumpulan bersama multi-tenant yang dikelola platform tanpa pilihan spesifikasi. Semua penyewa berbagi batas kapasitas terpadu. Berikut adalah ambang batas per penyewa untuk periode beta publik.
Ambang batas kapasitas per penyewa
|
Metrik |
Kuota beta |
Deskripsi |
|
QPS per penyewa |
10.000 |
Pertimbangkan upgrade ke instans Dedicated saat mendekati batas ini; kirim tiket untuk melebihi batas tersebut |
|
Koneksi baru per detik |
2.000 |
Batas laju koneksi per penyewa yang diberlakukan platform |
|
Total koneksi |
100.000 |
Batas koneksi aktif per penyewa di ingress gateway |
Kapasitas elastis
-
Elastisitas yang dikelola platform: Resource komputasi Serverless diskalakan otomatis oleh platform. Penyewa tidak perlu melakukan scaling naik atau turun secara manual.
-
Isolasi tingkat penyewa: Setiap penyewa memiliki ingress khusus, dengan lalu lintas yang diisolasi secara ketat dari penyewa lain.
-
Penanganan melebihi batas: Ketika QPS, koneksi, atau entri rute melebihi batas kuota, platform mengembalikan respons pembatasan kecepatan. Untuk kuota lebih tinggi, lakukan upgrade ke instans Dedicated atau kirim tiket.
Peningkatan kuota dan upgrade instans
|
Skenario |
Jalur yang direkomendasikan |
|
Kuota instans Dedicated tidak mencukupi |
Upgrade ke spesifikasi yang lebih tinggi; kirim tiket jika masih tidak mencukupi |
|
QPS instans Serverless mendekati 10.000 |
Pertimbangkan upgrade ke instans Dedicated |
|
Instans Serverless memerlukan SLA yang lebih tinggi |
Upgrade ke instans Dedicated |