API Gateway：AI Gateway

Tantangan akses ke layanan model: Banyak faktor dan persyaratan tinggi

Tiga 'Lebih':

1. Banyak model: Penyedia model berbeda memiliki spesifikasi operasi API, mekanisme autentikasi, dan metode pemanggilan yang berbeda. Hal ini menyulitkan pemanggil untuk mencapai integrasi terpadu dan pergantian fleksibel antarpenyedia. Tidak tersedia lapisan abstraksi standar yang mendukung pemanggilan paralel ke beberapa model.

2. Banyak modalitas: Berbeda dengan LLM teks-ke-teks yang kompatibel dengan standar OpenAI, model multi-modal tidak memiliki standar terpadu. Model-model tersebut beragam dalam protokol transport seperti SSE, WebSocket, dan Web Real-Time Communication (WebRTC), serta dalam mode komunikasi (sinkron atau asinkron) dan struktur permintaan-tanggapan. Keragaman antarmuka ini meningkatkan kompleksitas integrasi sistem dan manajemen operasional.

3. Banyak skenario: Skenario bisnis yang berbeda memiliki kebutuhan berbeda terhadap layanan model. Misalnya, speech-to-text real-time memerlukan waktu respons (RT) rendah, sedangkan pemahaman teks panjang memerlukan stabilitas pemrosesan. Skenario berbeda memiliki persyaratan berbeda terhadap kebijakan pembatasan kecepatan, mekanisme toleransi kesalahan, dan kualitas layanan, sehingga memerlukan adaptasi kustom.

Mahkamah Agung Rakyat (SPC) dan Kejaksaan Agung Rakyat (SPP):

1. Persyaratan keamanan tinggi: Bisnis menghadapi risiko kebocoran data saat memanggil layanan model, terutama ketika menggunakan model eksternal atau open source. Transmisi dan pemrosesan data sensitif harus memenuhi persyaratan kepatuhan data yang ketat, termasuk perlindungan privasi, jejak audit, dan langkah kontrol akses.

2. Persyaratan stabilitas tinggi: Layanan model dibatasi oleh sumber daya daya komputasi dasar dan umumnya memiliki ambang batas throttling operasi API yang rendah. Dibandingkan layanan API tradisional, RT dan tingkat keberhasilan permintaan lebih fluktuatif, sehingga ketersediaan layanan kurang stabil. Hal ini menantang kontinuitas dan pengalaman pengguna aplikasi AI hulu.

Tantangan akses ke tool: Akurasi dan keamanan

Tantangan utama aplikasi AI saat memanggil tool adalah menyeimbangkan efisiensi dan keamanan.

Seiring bertambahnya jumlah tool yang tersedia, mengirim seluruh daftar tool ke LLM untuk inferensi dan seleksi secara signifikan meningkatkan konsumsi token dan biaya inferensi. Selain itu, terlalu banyak kandidat tool dapat menyebabkan model membuat pilihan salah, sehingga mengurangi akurasi eksekusi.

Di samping itu, tool sering kali terhubung langsung dengan logika bisnis inti. Pemanggilan yang tidak tepat dapat memperluas permukaan risiko keamanan sistem. Metode serangan baru, seperti malicious MCP poisoning, telah muncul. Hal ini menuntut desain keamanan mekanisme akses tool yang lebih ketat.

Tantangan akses ke aplikasi AI: Stabilitas dan fleksibilitas

Pengembang dapat membangun aplikasi AI dengan beberapa cara, yang terbagi menjadi tiga kategori utama berikut:

• Pengembangan high-code: Menggunakan framework seperti Spring AI Alibaba, ADK, dan LangChain untuk menulis kode. Metode ini menawarkan fleksibilitas dan skalabilitas fungsional tertinggi, tetapi juga memerlukan keterampilan teknis pengembang yang lebih tinggi.

• Pengembangan low-code: Menggunakan platform seperti Alibaba Cloud Model Studio untuk mengatur alur aplikasi melalui antarmuka visual seret-dan-lepas. Metode ini mendukung pembuatan dan iterasi cepat, menurunkan hambatan pengembangan, serta cocok untuk validasi dan prototipe cepat.

• Pengembangan no-code: Menggunakan tool seperti JManus untuk membangun aplikasi AI hanya dengan mengonfigurasi prompt tanpa pemrograman. Metode ini cocok untuk penerapan cepat dalam skenario sederhana.

Karena model pengembangan yang berbeda memiliki implementasi dan desain arsitektur yang berbeda, tidak ada standar terpadu untuk menghubungkan aplikasi AI. Hal ini menyulitkan pencapaian tata kelola dan kontrol terpusat seperti pada aplikasi cloud-native.

Selain itu, perilaku dan performa aplikasi AI sangat bergantung pada kemampuan LLM dasar. Stabilitas output-nya tidak pasti. Tanpa mekanisme isolasi dan toleransi kesalahan yang efektif, satu titik kegagalan dapat menyebabkan reaksi berantai yang berpotensi mengakibatkan kegagalan skala besar pada sistem bisnis yang bergantung pada aplikasi tersebut.

Akses model

Sebuah bisnis berencana membangun aplikasi AI untuk meningkatkan efisiensi operasional dan menjajaki skenario bisnis baru. Di platform Alibaba Cloud, bisnis tersebut menerapkan model fine-tuned pada PAI dan mengintegrasikan Alibaba Cloud Model Studio sebagai layanan fallback. Untuk kebutuhan khusus seperti generasi citra, bisnis tersebut menggunakan model open source yang diterapkan pada Function Compute. Untuk memastikan pemanggilan aman dan efisien ke layanan LLM dari semua aplikasi AI, bisnis tersebut menerapkan AI Gateway. AI Gateway dikonfigurasi dengan Model API untuk setiap skenario aplikasi dan mengintegrasikan kemampuan kontrol seperti tata kelola lalu lintas dan autentikasi ke lapisan API, sehingga menyediakan titik masuk terpadu untuk akses model.

AI Gateway secara efektif mengatasi masalah 'tiga lebih dan dua tinggi':

• Banyak model: AI Gateway mendukung berbagai kebijakan routing model, termasuk aturan routing berdasarkan nama model, rasio permintaan, atau fitur permintaan tertentu seperti header. Gateway juga dapat mengonversi protokol dari berbagai penyedia model menjadi antarmuka yang kompatibel dengan OpenAI, sehingga aplikasi AI dapat terhubung ke satu standar tunggal dan beralih mulus antarbeberapa model.

• Banyak modalitas: AI Gateway mendukung proxy pemanggilan model multi-modal melalui protokol HTTP dan WebSocket, serta menyediakan titik akhir terpadu. Hal ini memungkinkan aplikasi memanggil berbagai model—seperti teks-ke-teks, teks-ke-gambar, dan pengenalan suara—secara konsisten. Administrator juga dapat menggunakan plugin untuk meningkatkan keamanan dan stabilitas pemanggilan multi-modal.

• Banyak skenario: Buat Model API terpisah untuk setiap skenario aplikasi model tertentu, seperti generasi teks, generasi citra, atau pengenalan suara. Tetapkan identitas konsumen unik untuk setiap pemanggil. Gunakan dimensi konsumen untuk menerapkan pengamatan panggilan, pembatasan kecepatan, perlindungan keamanan, dan penagihan, sehingga menjamin isolasi sumber daya dan manajemen detail halus.

• Persyaratan keamanan tinggi: AI Gateway menyediakan perlindungan komprehensif pada lapisan keamanan jaringan, keamanan data, dan keamanan konten.

  • Keamanan jaringan: Mengintegrasikan sertifikat SSL, perlindungan WAF, serta daftar hitam dan daftar putih IP untuk mempertahankan diri dari lalu lintas dan serangan berbahaya di lapisan entri jaringan.

  • Keamanan data: Mendukung autentikasi identitas sisi konsumen untuk menghindari ekspos kunci API secara langsung. Gateway melakukan autentikasi backend dan manajemen kunci API untuk layanan model backend. Anda juga dapat menyimpan kunci di KMS untuk mencegah informasi sensitif disimpan secara lokal pada gateway.

  • Keamanan konten: Terintegrasi mendalam dengan guardrail keamanan AI untuk intersepsi real-time terhadap konten tidak sesuai dan input berisiko. Gateway bekerja sama dengan plugin penyamaran data untuk menghapus informasi sensitif sebelum meneruskan permintaan, sehingga menjamin kepatuhan konten.

• Persyaratan stabilitas tinggi: AI Gateway meningkatkan stabilitas sistem dari dua dimensi: observabilitas dan kendali.

  • Observabilitas: Mencatat penyedia sumber, model target, dan konsumen untuk setiap permintaan, serta metrik kunci seperti waktu hingga byte pertama dan jumlah token. Gateway juga menandai event seperti throttling, intersepsi, dan fallback. Dasbor bawaan menyediakan visualisasi end-to-end.

  • Kendali: Menyediakan load balancing, mekanisme fallback, kebijakan throttling, dan cache. Konfigurasikan aturan tata kelola seperti batas token dan kontrol konkurensi berdasarkan konsumen. Administrator dapat menggunakan data pemantauan untuk terus mengoptimalkan kebijakan dan menyesuaikan sumber daya secara dinamis guna menjamin stabilitas sistem.

Akses tool

Setelah membangun sistem akses terpadu untuk layanan model, sebuah bisnis mengidentifikasi banyak masalah pada akses tool—terutama risiko keamanan tinggi yang memerlukan tata kelola fokus. Untuk mengatasi hal ini, bisnis tersebut memutuskan untuk menyatukan kontrol protokol dan titik masuk akses tool. Tim arsitektur memilih MCP sebagai protokol standar untuk akses tool dan menggunakan kemampuan konversi HTTP-ke-MCP dari AI Gateway untuk secara otomatis mengonversi API yang ada menjadi MCP Server, sehingga mendukung iterasi dan inovasi bisnis yang cepat.

AI Gateway menjamin akurasi dan keamanan pemanggilan tool melalui mekanisme berikut:

• Akurasi:

  AI Gateway mendukung koneksi ke layanan HTTP yang ada dan hosting MCP Server. Untuk layanan HTTP yang ada, pengguna dapat memperbarui deskripsi tool secara dinamis di gateway. Gateway mendukung orkestrasi tool yang fleksibel. Anda dapat membuat MCP Server virtual untuk menggabungkan daftar tool sesuai kebutuhan guna memenuhi persyaratan skenario bisnis yang berbeda. Hal ini memungkinkan penyedia dan konsumen mendefinisikan MCP Server mereka sendiri secara independen. Selain itu, AI Gateway menyediakan fitur routing tool cerdas yang secara otomatis menyaring kumpulan tool relevan di sisi gateway berdasarkan konten permintaan dan hanya mengembalikan daftar tool yang sesuai dengan tugas saat ini. Hal ini secara efektif mengurangi konsumsi token untuk inferensi model dan meningkatkan akurasi pemilihan tool.

• Keamanan: Untuk kontrol akses tool, AI Gateway memiliki mekanisme keamanan berlapis. Selain mendukung autentikasi pemanggilan di tingkat MCP Server, gateway juga mendukung konfigurasi izin akses detail halus untuk masing-masing tool. Hal ini memungkinkan manajemen otorisasi detail halus berdasarkan identitas pemanggil, sehingga tool dengan tingkat keamanan berbeda dapat diberikan izin akses sesuai dengan tingkat risikonya.

Akses agen

Saat jumlah aplikasi AI meningkat, sebuah bisnis menyatukannya di bawah AI Gateway untuk mengatasi isu kolaborasi dan manajemen. Bisnis tersebut merekomendasikan penggunaan protokol A2A untuk registrasi dan penemuan layanan melalui Nacos AI Registry.

AI Gateway dapat berperan sebagai layanan proxy terpadu untuk aplikasi AI, menyediakan stabilitas dan fleksibilitas.

• Stabilitas: AI Gateway mendukung koneksi langsung ke berbagai platform runtime Alibaba Cloud seperti ACK, FC, dan SAE. Gateway menyediakan mekanisme pemeriksaan kesehatan aktif dan pasif untuk secara otomatis mengisolasi node abnormal. Gateway mengurangi risiko perubahan dengan kemampuan rilis canary dan juga mendukung kebijakan pembatasan kecepatan multidimensi untuk mencegah overload aplikasi serta menjamin stabilitas layanan.

• Fleksibilitas: AI Gateway menggunakan fitur penemuan layanan untuk secara seragam mengekspos aplikasi AI yang diterapkan di berbagai platform komputasi. Gateway menyediakan konversi protokol REST-ke-A2A yang memungkinkan peningkatan otomatis aplikasi HTTP yang ada ke protokol A2A. Untuk aplikasi AI low-code yang dibangun dengan Model Studio, AI Gateway mendukung akses proxy terpadu dan dapat memperluas mekanisme otentikasi sekunder.

Selain itu, AI Gateway terintegrasi mendalam dengan sistem observabilitas Alibaba Cloud. Setelah aplikasi AI terhubung, Anda dapat mengaktifkan observabilitas end-to-end dengan satu klik, yang mencakup seluruh rantai panggilan mulai dari lapisan aplikasi, tool MCP, hingga panggilan model, sehingga memungkinkan pelacakan dan lokalisasi kesalahan end-to-end.

Proxy terpadu untuk model, MCP Server, dan agen

AI Gateway menyediakan kemampuan proxy untuk model, MCP Server, dan agen. Gateway mendukung akses dan manajemen terpadu untuk berbagai jenis layanan, termasuk:

• Layanan AI: Mendukung proxy untuk berbagai layanan model, termasuk layanan model dari vendor seperti Model Studio, OpenAI, Minimax, Anthropic, Amazon Bedrock, dan Azure. Gateway juga kompatibel dengan model yang dibangun sendiri berbasis Ollama, vLLM, dan SGLang. Anda dapat mengonfigurasi kunci API di layanan AI dan menentukan server DNS kustom untuk alamat layanan internal.

• Layanan agen: Mendukung layanan pada platform aplikasi agen, termasuk Model Studio, Dify, dan beban kerja agen yang ditentukan pengguna. Anda dapat mengonfigurasi kunci API dan APP-ID untuk autentikasi identitas dan kontrol akses.

• Layanan kontainer: Mendukung layanan yang berjalan pada kluster Alibaba Cloud ACK atau ACS. Satu instans AI Gateway dapat dikaitkan dengan hingga tiga kluster kontainer.

• Layanan Nacos: Mendukung akses ke instans layanan yang terdaftar di registri MSE Nacos, baik untuk microservice biasa maupun MCP Server.

• Layanan DNS: Mendukung akses ke layanan backend melalui penguraian DNS. Anda dapat menentukan server DNS khusus untuk menyelesaikan jaringan pribadi atau nama domain internal.

• Alamat tetap: Mendukung konfigurasi alamat layanan backend sebagai daftar alamat IP tetap. Anda dapat mengatur beberapa alamat IP:Port.

• Layanan SAE: Mendukung layanan yang berjalan pada Alibaba Cloud SAE.

• Layanan FC: Mendukung akses untuk layanan Alibaba Cloud Function Compute (FC). AI Gateway dapat melewati HTTP Trigger dan berintegrasi langsung dengan layanan backend untuk meningkatkan efisiensi pemanggilan.

• Layanan MCP Compute Nest: Mendukung MCP Server yang dihosting oleh Compute Nest.

AI Gateway memungkinkan Anda mengonfigurasi pemeriksaan kesehatan untuk layanan, termasuk mode pemeriksaan kesehatan aktif dan pasif.

• Pemeriksaan kesehatan aktif: Gateway secara berkala mengirim probe kesehatan ke node layanan berdasarkan aturan deteksi yang dikonfigurasi pengguna untuk menentukan status ketersediaannya.

• Pemeriksaan kesehatan pasif: Gateway mengevaluasi status kesehatan node layanan berdasarkan kinerjanya dalam menangani permintaan aktual, sesuai aturan deteksi yang dikonfigurasi pengguna.

Load balancing dan rilis canary untuk model dan agen

Autentikasi, observabilitas, pembatasan kecepatan, dan pengukuran berdasarkan konsumen dan dimensi lainnya

AI Gateway mendukung fungsi autentikasi, pemantauan, pembatasan kecepatan, dan pengukuran independen berdasarkan sumber bisnis yang berbeda untuk memenuhi kebutuhan manajemen detail halus pengguna.

Perlindungan keamanan AI multidimensi dan multi-modal

AI Gateway mengintegrasikan fitur perlindungan keamanan konten untuk menyediakan kemampuan keamanan AI. Anda dapat mengaktifkannya per API untuk secara efektif mencegah risiko keamanan selama pemanggilan model, seperti kata sensitif, masalah kepatuhan, serangan prompt injection, dan serangan brute-force. Hal ini meningkatkan keamanan dan stabilitas aplikasi AI.

AI Gateway mendukung konfigurasi kebijakan intersepsi independen untuk dimensi perlindungan berbeda. Dimensi yang dapat dilindungi meliputi:

• contentModeration: deteksi kepatuhan konten

• promptAttack: deteksi serangan prompt

• sensitiveData: deteksi konten sensitif

• maliciousFile: deteksi file berbahaya

• waterMark: watermark digital

Untuk setiap dimensi perlindungan, Anda dapat mengonfigurasi kebijakan intersepsi yang sesuai. Kebijakan intersepsi meliputi:

• Tinggi: Semua permintaan—baik dengan tingkat risiko rendah, menengah, maupun tinggi—dicegat.

• Menengah: Memblokir permintaan dengan tingkat ancaman menengah atau tinggi.

• Rendah: Hanya permintaan dengan tingkat risiko tinggi yang diintersepsi.

• Mode pemantauan: Permintaan tidak diintersepsi, hanya dicatat.

Kebijakan dan plugin ekstensi yang dapat ditukar dan diperbarui secara langsung

AI Gateway menyediakan beragam kebijakan dan plugin ekstensi bawaan. Gateway juga memungkinkan pengguna mengembangkan plugin kustom untuk memenuhi kebutuhan bisnis spesifik.

Sebagai contoh, Model API dilengkapi lima kebijakan inti bawaan: pemilihan tool, perlindungan keamanan, pembatasan kecepatan, cache, dan pencarian web. Anda dapat mengaktifkan lebih banyak kebijakan dan plugin sesuai kebutuhan.

Semua kebijakan dan plugin mendukung pertukaran dan pembaruan rolling secara hot, sehingga memastikan lalu lintas layanan tidak terganggu selama perubahan konfigurasi.