Kebijakan dan plugin lainnya - API Gateway

AI Gateway memungkinkan Anda menambahkan kebijakan dan mengonfigurasi plugin di tingkat API untuk meningkatkan keamanan, kinerja, dan kemudahan pemeliharaan API.

Penting

Perubahan konfigurasi kebijakan berlaku segera tanpa perlu menerbitkan ulang API.

Prosedur

Buka AI Gateway Instance, pilih wilayah, dan klik instance ID yang dituju.
Di panel navigasi kiri, klik LLM API. Kemudian, klik nama API untuk masuk ke halaman detail API.
Klik tab Policies & Plugins. Di bagian More Policies & Plugins, pilih lokasi untuk mengonfigurasi kebijakan atau plugin (Inbound Processing atau Outbound Processing), lalu klik Enable Policy/Plugin.
Di panel Enable Policy/Plugin, pilih dan konfigurasikan kebijakan atau plugin. Untuk informasi lebih lanjut, lihat Konfigurasi Kebijakan dan Konfigurasi Plugin.

Konfigurasi Kebijakan

Kontrol konkurensi

Aturan kontrol konkurensi menghitung jumlah total permintaan yang sedang diproses oleh gateway. Ketika angka ini mencapai ambang batas tertentu, gateway langsung memblokir trafik. Anda dapat menetapkan ambang batas ini ke jumlah maksimum permintaan konkuren yang dapat ditangani layanan backend Anda. Ini melindungi ketersediaan layanan backend selama periode konkurensi tinggi.

Prosedur

Di tab Add Policy, klik kartu Concurrency Control. Di panel Add Policy: Concurrency Control, konfigurasikan parameter.

Item konfigurasi			Deskripsi
Enable			Jika diaktifkan, aturan kontrol konkurensi akan berlaku.
Overall Concurrency Threshold			Tetapkan Overall Concurrency Threshold.
Web Fallback Behavior	Return Specified Content	HTTP Status Code	Tetapkan HTTP Status Code. Nilai default adalah 429.
		Return Content-type	Tetapkan Return Content-type ke Plain Text atau JSON.
		HTTP Response Body	Masukkan teks badan respons.
	Specify Content to Return	Redirect URL	Masukkan Redirect URL.

Pembentukan trafik

Aturan pembentukan trafik memantau permintaan per detik (QPS) dari sebuah API. Ketika QPS mencapai ambang batas tertentu, gateway langsung memblokir trafik. Ini mencegah lonjakan trafik tiba-tiba membebani layanan backend dan memastikan ketersediaan tinggi.

Prosedur

Di tab Add Policy, klik kartu Traffic Shaping. Di panel Add Policy: Traffic Shaping, konfigurasikan parameter.

Item konfigurasi			Deskripsi
Enable			Jika diaktifkan, aturan pembentukan trafik akan berlaku.
Overall QPS Threshold			Tetapkan Overall QPS Threshold.
Web Fallback Behavior	Return Specified Content	HTTP Status Code	Tetapkan HTTP Status Code. Nilai default adalah 429.
		Return Content-type	Tetapkan Return Content-type ke Plain Text atau JSON.
		HTTP Response Body	Masukkan teks badan respons.
	Redirect To A Specific Page	Redirect URL	Masukkan Redirect URL.

Kebijakan pemutusan sirkuit

Aturan pemutusan sirkuit memantau waktu respons atau tingkat kesalahan dari sebuah API. Ketika ambang batas tercapai, gateway langsung memicu pemutusan sirkuit. Selama periode tertentu, gateway berhenti memanggil sumber daya yang tidak stabil. Ini mencegah layanan backend terpengaruh dan memastikan ketersediaan tinggi. Setelah waktu yang ditentukan, gateway melanjutkan panggilan ke sumber daya tersebut.

Prosedur

Di tab Add Policy, klik kartu Circuit Breaking. Di panel Add Policy: Circuit Breaking, konfigurasikan parameter.

Item konfigurasi			Deskripsi
Enable			Jika diaktifkan, aturan pemutusan sirkuit akan berlaku.
Statistics Window Duration			Panjang jendela waktu untuk statistik. Nilainya bisa antara 1 detik hingga 120 menit.
Minimum Number Of Requests			Jumlah minimum permintaan yang diperlukan untuk memicu pemutusan sirkuit. Jika jumlah permintaan dalam jendela statistik saat ini kurang dari nilai ini, aturan tidak akan dipicu meskipun kondisi pemutusan sirkuit terpenuhi.
Threshold Type			Pilih Slow Call Ratio (%) atau Error Ratio (%) sebagai ambang batas. Jika Anda memilih Slow Call Ratio (%) sebagai ambang batas, Anda harus menetapkan Slow Call RT (waktu respons maksimum). Sebuah permintaan dihitung sebagai panggilan lambat jika waktu responsnya lebih besar dari nilai ini. Tetapkan rasio panggilan lambat yang memicu pemutusan sirkuit dalam ambang batas degradasi. Setelah aturan diaktifkan, jika jumlah permintaan dalam durasi jendela statistik lebih besar dari jumlah minimum permintaan, dan rasio panggilan lambat melebihi ambang batas, permintaan secara otomatis diblokir selama durasi pemutusan sirkuit. Setelah durasi pemutusan sirkuit, pemutus sirkuit memasuki status pemulihan pencarian. Jika waktu respons permintaan berikutnya kurang dari RT panggilan lambat yang ditetapkan, pemutusan sirkuit berakhir. Jika lebih besar dari RT panggilan lambat yang ditetapkan, sirkuit akan rusak lagi. Jika Anda memilih Error Ratio (%) sebagai ambang batas, Anda harus menetapkan rasio kesalahan yang memicu pemutusan sirkuit dalam ambang batas degradasi. Setelah aturan diaktifkan, jika jumlah kesalahan bisnis dalam durasi jendela statistik lebih besar dari jumlah minimum permintaan, dan rasio kesalahan melebihi ambang batas, permintaan secara otomatis diblokir selama durasi pemutusan sirkuit.
Slow Call RT			Tetapkan Slow Call RT (waktu respons maksimum).
Circuit Breaking Ratio Threshold			Ambang batas rasio panggilan lambat yang memicu pemutusan sirkuit. Nilainya bisa antara 0 hingga 100, yang mewakili 0% hingga 100%.
Circuit Breaking Duration (s)			Durasi sirkuit tetap rusak setelah dipicu. Setelah sumber daya memasuki status pemutusan sirkuit, permintaan gagal dengan cepat selama durasi pemutusan sirkuit yang dikonfigurasi.
Web Fallback Behavior	Return Specified Content	HTTP Status Code	Tetapkan HTTP Status Code. Nilai default adalah 429.
		Return Content-type	Tetapkan Return Content-type ke Plain Text atau JSON.
		HTTP Response Body	Masukkan teks badan respons.
	Redirect To A Specific Page	Redirect URL	Masukkan Redirect URL.

Kebijakan daftar hitam dan putih IP

Kebijakan daftar hitam dan putih IP mengontrol akses klien ke layanan berdasarkan daftar alamat IP yang diizinkan (putih) atau ditolak (hitam) yang telah dikonfigurasi sebelumnya.

Prosedur

Di tab Add Policy, klik kartu IP Blacklist/Whitelist. Di panel Add Policy: IP Blacklist/Whitelist, konfigurasikan parameter.

Parameter	Deskripsi
Enable	Jika diaktifkan, kebijakan daftar hitam dan putih IP akan berlaku.
Name	ID kustom untuk membedakan dan mengelola beberapa kebijakan.
Notes	Deskripsi kebijakan untuk identifikasi dan pengelolaan yang mudah.
Type	Tentukan apakah daftarnya adalah daftar hitam atau daftar putih untuk mengontrol jenis kebijakan akses. Whitelist: Mengizinkan akses hanya dari alamat IP tertentu. Semua alamat IP lainnya ditolak secara default. Blacklist: Memblokir akses dari alamat IP tertentu. Semua alamat IP lainnya diizinkan secara default.
IP Address/CIDR Block	Konfigurasikan daftar alamat IP atau blok CIDR untuk diizinkan atau ditolak. Beberapa entri didukung. Gunakan format seperti `192.168.1.1/24`.

Kebijakan timeout

AI Gateway menyediakan pengaturan timeout pada tingkat API. Anda dapat mengonfigurasi durasi maksimum yang ditunggu gateway untuk mendapatkan respons dari layanan backend untuk API tertentu. Jika gateway tidak menerima respons dalam waktu yang telah ditentukan, maka akan mengembalikan kode status HTTP 504 (Gateway Timeout) kepada klien.

Prosedur

Pada tab Add Policy, klik kartu Timeout. Di panel Add Policy: Timeout, atur parameter yang diperlukan.

Catatan

Setelah mengonfigurasi dan mengaktifkan kebijakan timeout, verifikasi bahwa aturan timeout berfungsi sesuai yang diharapkan.

Parameter

Deskripsi

Enable

Menentukan apakah akan mengaktifkan kebijakan timeout.

Aktifkan: Kebijakan timeout API gateway berlaku.
Nonaktifkan: Kebijakan timeout API gateway dinonaktifkan.

Timeout Period

Tetapkan periode timeout untuk API saat ini dalam detik.

Catatan

Jika Anda menetapkan parameter ini ke 0 atau menonaktifkan kebijakan timeout, gateway akan menunggu tanpa batas waktu untuk respons.

Kebijakan pengulangan

AI Gateway menyediakan pengaturan pengulangan di tingkat API yang memungkinkan pengulangan otomatis untuk permintaan gagal. Anda dapat mengonfigurasi kondisi pemicu pengulangan, seperti kegagalan koneksi, layanan backend tidak tersedia, atau kode status HTTP tertentu.

Kondisi Pengulangan API

Ketika layanan backend mengembalikan kesalahan 5xx, AI Gateway secara otomatis mencoba mengulang permintaan gagal berdasarkan jumlah pengulangan yang dikonfigurasi.

Kondisi pengulangan untuk protokol HTTP Protocol adalah sebagai berikut:
- 5xx: Jika layanan backend mengembalikan respons 5xx apa pun, atau jika koneksi terputus, reset, atau terjadi peristiwa timeout baca, AI Gateway mencoba mengulang permintaan gagal.
  Catatan
  5xx mencakup kondisi untuk connect-failure dan refused-stream.
- reset: Jika koneksi terputus, reset, atau terjadi peristiwa timeout baca, AI Gateway mencoba mengulang permintaan gagal.
- connect-failure: Jika koneksi ke layanan backend tidak dapat dibuat, AI Gateway mencoba mengulang permintaan gagal.
- refused-stream: Jika layanan backend mereset aliran dengan kode kesalahan REFUSED_STREAM, AI Gateway mencoba mengulang permintaan gagal.
- retriable-status-codes: Jika kode status HTTP dari respons layanan backend cocok dengan salah satu kode status pengulangan yang ditentukan, AI Gateway mencoba mengulang permintaan.
  Catatan
  Anda hanya dapat menggunakan kode status pengulangan jika Anda menentukan retriable-status-codes dalam kondisi pengulangan.
Kondisi pengulangan untuk protokol GRPC Protocol adalah sebagai berikut:
- cancelled: Jika kode status gRPC dalam header respons dari layanan gRPC backend adalah cancelled, AI Gateway mencoba mengulang permintaan.
- deadline-exceeded: Jika kode status gRPC dalam header respons dari layanan gRPC backend adalah deadline-exceeded, AI Gateway mencoba mengulang permintaan.
- internal: Jika kode status gRPC dalam header respons dari layanan gRPC backend adalah internal, AI Gateway mencoba mengulang permintaan.
- resource-exhausted: Jika kode status gRPC dalam header respons dari layanan gRPC backend adalah resource-exhausted, AI Gateway mencoba mengulang permintaan.
- unavailable: Jika kode status gRPC dalam header respons dari layanan gRPC backend adalah unavailable, AI Gateway mencoba mengulang permintaan.

Prosedur

Pada tab Add Policy, klik kartu Retry. Di panel Add Policy: Retry, atur parameter yang diperlukan.

Catatan

Setelah mengonfigurasi dan mengaktifkan kebijakan pengulangan, verifikasi bahwa aturan pengulangan berfungsi sesuai yang diharapkan.

Parameter	Deskripsi
Enable	Menentukan apakah akan mengaktifkan kebijakan pengulangan. Aktifkan: Kebijakan pengulangan API gateway berlaku. Dinonaktifkan: Kebijakan pengulangan API gateway tidak berlaku. Setelah Anda menonaktifkan pengulangan, gateway memiliki konfigurasi pengulangan internal default. Secara default, jumlah pengulangan adalah 2 dan kondisi pengulangan adalah `connect-failure`, `refused-stream`, `unavailable`, `cancelled`, `non_idempotent`, atau `retriable-status-codes`.
Number Of Retries	Jumlah maksimum pengulangan untuk permintaan gagal. Anda dapat menetapkan parameter ini ke bilangan bulat dari 0 hingga 10. Kami merekomendasikan agar Anda menetapkan parameter ini ke 0, 1, atau 2. Jika Anda menetapkan parameter ini ke 0, permintaan gagal tidak akan diulang.
Retry Conditions	Pilih kondisi yang sesuai. Anda dapat memilih beberapa kondisi.
Retry Status Codes	Coba ulang permintaan untuk respons dengan kode status HTTP tertentu. Anda dapat mengonfigurasi beberapa kode status HTTP. Penting Anda hanya dapat mengonfigurasi Retry Status Codes jika Anda menentukan `retriable-status-codes` untuk Retry Conditions.

Kebijakan modifikasi header

Fitur modifikasi header memungkinkan Anda mengubah header pada permintaan asli sebelum diteruskan ke layanan backend, atau pada respons dari layanan backend sebelum dikembalikan ke klien.

Prosedur

Pada tab Add Policy, klik kartu Header Modification. Di panel Add Policy: Header Modification, atur parameter yang diperlukan.

Item konfigurasi	Deskripsi
Enable	Menentukan apakah akan mengaktifkan kebijakan modifikasi header. Aktifkan: Jika diaktifkan, gateway mengontrol header permintaan dan respons. Nonaktifkan: Jika dinonaktifkan, gateway tidak mengontrol header permintaan dan respons.
Header Type	Pilih tipe header. Request: Memodifikasi header permintaan. Response: Memodifikasi header respons.
Operation Type	Pilih tipe operasi. Add: Menambahkan header ke permintaan atau respons. Catatan Jika header yang akan ditambahkan sudah ada, nilai header baru akan ditambahkan ke nilai yang ada, dipisahkan oleh koma (,). Modify: Mengubah header tertentu dalam permintaan atau respons. Catatan Jika header yang ditentukan tidak ada, ia akan ditambahkan dengan kunci header dan nilai yang ditentukan. Jika header yang ditentukan ada, nilainya akan ditimpa. Delete: Menghapus header tertentu dari permintaan atau respons.
Header Key	Masukkan nama header permintaan atau respons.
Header Value	Masukkan nilai header permintaan atau respons.

Konfigurasi Plugin

Klik tab Add Plugin.
Di bagian Quick Navigation, pilih jenis plugin untuk diinstal atau cari plugin berdasarkan nama, lalu klik kartu plugin:
- Jika plugin belum diinstal, klik Install and Configure di kotak dialog yang muncul. Kemudian, konfigurasikan aturan plugin dan tetapkan status menjadi aktif.
- Jika plugin sudah diinstal, konfigurasikan aturan plugin dan tetapkan status menjadi aktif di kotak dialog yang muncul.
Klik OK. Anda akan dialihkan ke daftar lampiran API, di mana Anda dapat melihat lampiran dan status aktif plugin untuk API tersebut.