API Gateway：Fallback AI

Apa itu Fallback AI

Fallback AI memungkinkan Model API beralih ke model cadangan ketika layanan model utama tidak tersedia, sehingga meningkatkan ketersediaan API dan mencegah kegagalan permintaan akibat pengecualian layanan atau beban tinggi.

Model API mendukung fallback multi-level. Anda dapat mengaktifkan dan mengonfigurasi fallback secara tepat untuk meningkatkan tingkat keberhasilan permintaan AI.

Gerbang AI memungkinkan Anda mengonfigurasi satu atau beberapa model fallback. Jika layanan model utama tidak tersedia, gerbang tersebut memanggil model fallback secara berurutan dan segera mengembalikan tanggapan setelah panggilan berhasil.

Model fallback mencakup item konfigurasi berikut:

• Nama layanan: Nama layanan model cadangan. Anda dapat memilih layanan dari daftar layanan untuk instans tersebut.

• Nama model: Anda dapat menggunakan transmisi langsung atau menentukan nama model, seperti Qwen-plus.

Kondisi Pemicu

Fallback AI dipicu ketika panggilan ke layanan model mengembalikan kode status error HTTP 4xx atau 5xx apa pun.

Prasyarat

• Instans gerbang telah dibuat.

• Layanan telah dibuat.

Konfigurasi Fallback AI

2. Pada panel navigasi di sebelah kiri, klik Model API, tempat Anda dapat mengaktifkan fallback saat membuat atau mengedit Model API.

   • Buat Model API: Klik Create API dan aktifkan Fallback pada halaman konfigurasi Model API.

   • Edit Model API: Klik Edit di kolom Actions untuk API target. Pada halaman konfigurasi Model API, aktifkan Fallback.

   Item konfigurasi		Deskripsi
   Fallback		Aktifkan fitur ini untuk menambahkan layanan fallback. Layanan-layanan tersebut dijalankan berdasarkan urutan prioritas menurun. Catatan Anda dapat menggunakan kembali layanan yang sama untuk membuat beberapa kebijakan fallback.
   Fallback hanya pada error layanan backend		Jika Anda mengaktifkan opsi ini, fallback hanya dipicu ketika layanan backend mengembalikan error. Jika opsi ini dinonaktifkan, fallback juga dipicu ketika gerbang melakukan rate-limit atau memblokir permintaan.
   Fallback List	Service Name	Pilih layanan fallback.
   	Model Name	Nilai default adalah transmisi langsung. Ini meneruskan nama model dari permintaan asli langsung ke layanan model fallback.
   Timeout paket pertama		Periode timeout, dalam milidetik, untuk paket pertama dari tanggapan streaming. Pengaturan ini hanya berlaku untuk tanggapan streaming. Nilai 0 menonaktifkan fitur ini. Jika Anda menetapkan timeout bukan nol, gerbang akan beralih ke layanan cadangan ketika tanggapan paket pertama terlalu lambat.