All Products
Search

This Product

    API Gateway:AI gateway

    Document Center

    API Gateway:AI gateway

    Last Updated:Sep 10, 2026

    AI Gateway menghubungkan aplikasi AI dengan layanan model, tool, dan agent melalui gerbang terpadu yang menyediakan konversi protokol, keamanan, tata kelola trafik, dan observabilitas.

    Ikhtisar

    Seiring perluasan kasus penggunaan AI oleh model bahasa besar (LLM), arsitektur aplikasi berkembang dari layanan mikro dan cloud-native menuju AI-native. Perubahan ini menimbulkan tantangan dalam integrasi, stabilitas, keamanan, kepatuhan, dan manajemen.

    API Gateway cloud-native menyediakan AI Gateway sebagai pusat utama yang menghubungkan aplikasi AI, layanan model, tool, dan agent. AI Gateway memberikan konversi protokol, perlindungan keamanan, tata kelola trafik, dan observabilitas terpadu untuk aplikasi berbasis AI-native.

    Tantangan integrasi AI

    Berbeda dengan aplikasi tradisional, aplikasi AI berpusat pada model—mereka mengandalkan inferensi, prompt, pemanggilan tool, dan memori untuk memenuhi kebutuhan bisnis.

    Trafik aplikasi AI terbagi menjadi tiga kategori:

    • Mengakses layanan model: Aplikasi AI bergantung pada model untuk inferensi dan perencanaan. Mengamankan dan menstabilkan jalur akses ini sangat penting.

    • Memanggil tool eksternal: Tool menjembatani aplikasi AI dan sistem eksternal, biasanya melalui protokol seperti Model Context Protocol (MCP).

    • Diakses secara eksternal: Pengguna akhir atau aplikasi AI lain mengakses layanan Anda, sering kali melalui protokol seperti A2A.

    Setiap skenario menimbulkan tantangan tersendiri:

    Tantangan akses model

    • Beberapa model: Penyedia berbeda dalam spesifikasi API, otentikasi, dan metode pemanggilan. Tidak ada lapisan abstraksi standar untuk integrasi terpadu atau pemanggilan paralel lintas penyedia.

    • Beberapa modalitas: Model multi-modal tidak memiliki standar terpadu. Mereka berbeda dalam protokol transport (SSE, WebSocket, Web Real-Time Communication (WebRTC)), mode komunikasi (sinkron atau asinkron), serta struktur permintaan-tanggapan, yang meningkatkan kompleksitas integrasi.

    • Beberapa skenario: Skenario berbeda memerlukan pembatasan kecepatan, toleransi kesalahan, dan kualitas layanan yang berbeda. Misalnya, speech-to-text real-time menuntut RT rendah, sedangkan pemahaman teks panjang menuntut stabilitas pemrosesan.

    • Persyaratan keamanan tinggi: Memanggil model eksternal atau open-source berisiko menyebabkan kebocoran data. Transmisi data sensitif harus memenuhi persyaratan kepatuhan untuk perlindungan privasi, jejak audit, dan kontrol akses.

    • Persyaratan stabilitas tinggi: Layanan model memiliki ambang batas throttling yang rendah serta RT dan tingkat keberhasilan yang kurang stabil dibandingkan API tradisional. Fluktuasi ini memengaruhi kontinuitas aplikasi AI hulu dan pengalaman pengguna.

    Tantangan akses tool

    Akses tool memerlukan keseimbangan antara efisiensi dan keamanan.

    Saat jumlah tool yang tersedia bertambah, mengirim daftar tool besar ke LLM meningkatkan konsumsi token dan biaya inferensi. Terlalu banyak kandidat juga menurunkan akurasi pemilihan model.

    Tool sering dikaitkan dengan logika bisnis inti, sehingga pemanggilan yang tidak tepat memperluas permukaan risiko keamanan. Ancaman seperti MCP poisoning berbahaya menuntut keamanan akses tool yang kuat.

    Tantangan akses agent

    Pengembang membangun aplikasi AI dengan tiga cara utama:

    • Pengembangan high-code: Gunakan framework seperti Spring AI Alibaba, ADK, dan LangChain. Menawarkan fleksibilitas maksimal tetapi memerlukan keterampilan teknis lebih mendalam.

    • Pengembangan low-code: Gunakan platform seperti Alibaba Cloud Model Studio untuk mengatur alur dengan antarmuka drag-and-drop. Cocok untuk prototipe cepat dan iterasi.

    • Pengembangan no-code: Gunakan tool seperti JManus untuk membangun aplikasi AI hanya melalui konfigurasi prompt. Cocok untuk skenario sederhana.

    Tanpa standar terpadu untuk menghubungkan aplikasi AI, tata kelola dan kontrol terpusat—seperti pada arsitektur cloud-native—sulit dicapai.

    Perilaku aplikasi AI bergantung pada LLM yang mendasarinya, sehingga stabilitas output tidak pasti. Tanpa isolasi dan toleransi kesalahan, satu kegagalan saja dapat berdampak domino ke sistem bisnis yang saling bergantung.

    Cara AI Gateway mengatasi setiap skenario

    AI Gateway menjembatani aplikasi AI, layanan model, tool, dan agent. Skenario berikut menunjukkan cara AI Gateway mengatasi setiap tantangan.

    Akses model

    Sebuah bisnis men-deploy model hasil fine-tuning di Platform for AI (PAI), mengintegrasikan Model Studio sebagai fallback, dan menggunakan model open-source di Function Compute untuk generasi gambar. AI Gateway menyediakan titik masuk akses model terpadu dengan tata kelola trafik dan otentikasi di lapisan API.

    AI Gateway mengatasi tantangan-tantangan berikut:

    • Beberapa model: AI Gateway mengarahkan permintaan berdasarkan nama model, rasio permintaan, atau fitur permintaan seperti header. AI Gateway mengonversi protokol khusus penyedia menjadi antarmuka kompatibel OpenAI, memungkinkan pergantian model yang mulus.

    • Beberapa modalitas: AI Gateway melakukan proxy pemanggilan model multi-modal melalui HTTP dan WebSocket melalui satu titik akhir terpadu. Aplikasi dapat memanggil model text-to-text, teks-ke-gambar, dan pengenalan suara secara konsisten. Plugin dapat meningkatkan keamanan dan stabilitas.

    • Beberapa skenario: Buat API model terpisah untuk setiap skenario (generasi teks, generasi gambar, pengenalan suara). Tetapkan identitas konsumen unik untuk setiap pemanggil guna memungkinkan observabilitas, pembatasan kecepatan, keamanan, dan penagihan per konsumen.

    • Persyaratan keamanan tinggi: AI Gateway menyediakan perlindungan berlapis di bidang keamanan jaringan, data, dan konten.

      • Keamanan jaringan: Mengintegrasikan sertifikat SSL, WAF, serta daftar hitam dan daftar putih IP untuk mempertahankan diri dari trafik berbahaya di lapisan masuk.

      • Keamanan data: Melakukan otentikasi konsumen untuk menghindari eksposur langsung kunci API. Mengelola kredensial layanan model backend dan mendukung penyimpanan kredensial di KMS agar data sensitif tidak tersimpan di gateway.

      • Keamanan konten: Mengintegrasikan guardrail keamanan AI untuk intersepsi konten tidak sesuai dan input berisiko secara real-time. Plugin penyamaran data menghapus informasi sensitif sebelum meneruskan permintaan.

    • Persyaratan stabilitas tinggi: AI Gateway meningkatkan stabilitas melalui observabilitas dan kemampuan kendali.

      • Observabilitas: Mencatat penyedia sumber, model target, konsumen, waktu hingga byte pertama, dan jumlah token per permintaan. Menandai event seperti throttling, intersepsi, dan fallback. Dasbor bawaan menyediakan visualisasi end-to-end.

      • Kemampuan kendali: Menyediakan load balancing, fallback, throttling, dan cache. Tetapkan aturan tata kelola per konsumen seperti batas token dan kontrol konkurensi. Gunakan data pemantauan untuk mengoptimalkan kebijakan dan menyesuaikan sumber daya secara dinamis.

    Akses tool

    Sebuah bisnis menghadapi risiko keamanan dalam akses tool dan memerlukan tata kelola terpadu. Tim arsitektur memilih MCP sebagai protokol standar dan menggunakan AI Gateway untuk mengonversi otomatis API HTTP yang ada menjadi MCP Server.

    AI Gateway memastikan akurasi dan keamanan pemanggilan tool:

    • Akurasi:

      AI Gateway terhubung ke layanan HTTP yang ada dan meng-host MCP server. Anda dapat memperbarui deskripsi tool secara dinamis serta membuat MCP server virtual yang menggabungkan daftar tool untuk skenario berbeda. Penyedia dan konsumen dapat mendefinisikan MCP server mereka sendiri secara independen. Perutean tool cerdas menyaring tool relevan berdasarkan konten permintaan, mengurangi konsumsi token dan meningkatkan akurasi pemilihan.

    • Keamanan: AI Gateway menyediakan kontrol akses tool multilapis—otentikasi di tingkat MCP server dan izin detail halus untuk tool individual. Izin akses diberikan berdasarkan identitas pemanggil dan tingkat risiko tool.

    Akses agen

    Saat aplikasi AI berkembang, sebuah bisnis menyatukannya di bawah AI Gateway untuk manajemen terpusat, menggunakan protokol A2A dan Nacos AI Registry untuk pendaftaran dan penemuan layanan.

    AI Gateway menyediakan proxy terpadu untuk aplikasi AI dengan stabilitas dan fleksibilitas:

    • Stabilitas: AI Gateway terhubung ke berbagai platform Alibaba Cloud—Container Service for Kubernetes (ACK), Function Compute, dan Serverless App Engine (SAE). AI Gateway mengisolasi node tidak sehat melalui pemeriksaan kesehatan aktif dan pasif, mengurangi risiko perubahan dengan rilis canary, serta mencegah overload melalui pembatasan kecepatan multidimensi.

    • Fleksibilitas: AI Gateway menggunakan penemuan layanan untuk mengekspos aplikasi AI lintas platform komputasi. Konversi protokol REST-ke-A2A secara otomatis meningkatkan aplikasi HTTP yang ada. Aplikasi low-code Model Studio mendapatkan akses proxy terpadu dengan mekanisme otentikasi sekunder.

    AI Gateway terintegrasi dengan sistem observabilitas Alibaba Cloud. Aktivasi satu klik mencakup seluruh rantai panggilan—dari lapisan aplikasi melalui tool MCP hingga panggilan model—untuk pelacakan end-to-end dan lokalisasi kesalahan.

    Kemampuan inti AI Gateway

    Proxy terpadu untuk model, server MCP, dan agent

    AI Gateway menyediakan proxy dan manajemen terpadu untuk berbagai jenis layanan:

    • Layanan AI: Melakukan proxy layanan model dari Model Studio, OpenAI, Minimax, Anthropic, Amazon Bedrock, Azure, dan model buatan sendiri (Ollama, vLLM, SGLang). Mendukung konfigurasi kunci API dan DNS kustom untuk alamat internal.

    • Layanan agent: Mendukung platform agent termasuk Model Studio, Dify, dan beban kerja agent kustom. Konfigurasikan kunci API dan ID aplikasi untuk otentikasi.

    • Layanan kontainer: Mendukung layanan di kluster ACK atau ACS. Setiap instans AI Gateway mendukung hingga tiga kluster kontainer.

    • Layanan Nacos: Mengakses instans layanan yang terdaftar di registri MSE Nacos, baik untuk layanan mikro maupun MCP Server.

    • Layanan DNS: Mengakses layanan backend melalui resolusi DNS. Mendukung server DNS khusus untuk jaringan pribadi atau domain internal.

    • Alamat tetap: Mengonfigurasi alamat layanan backend sebagai entri tetap IP:Port.

    • SAE: Mendukung layanan yang berjalan di Alibaba Cloud SAE.

    • Function Compute: Terintegrasi langsung dengan Function Compute, melewati pemicu HTTP untuk meningkatkan efisiensi pemanggilan.

    • Layanan MCP Compute Nest: Mendukung server MCP yang di-host oleh Compute Nest.

    AI Gateway mendukung pemeriksaan kesehatan aktif dan pasif untuk layanan:

    • Pemeriksaan kesehatan aktif: Gateway secara berkala memeriksa node layanan berdasarkan aturan deteksi yang dikonfigurasi.

    • Pemeriksaan kesehatan pasif: Gateway mengevaluasi kesehatan node berdasarkan kinerja permintaan aktual terhadap aturan deteksi yang dikonfigurasi.

    Load balancing dan rilis canary untuk model dan agent

    Load balancing dan rilis canary untuk model

    API model menyediakan tiga mode load balancing:

    • Layanan model tunggal: Tentukan satu layanan LLM. Mendukung meneruskan nama model atau menentukan nama model. Saat nama model ditentukan secara eksplisit, nama model dalam permintaan pengguna akan diabaikan.

    • Layanan multi-model (berdasarkan nama model): Konfigurasikan beberapa layanan LLM dengan aturan pencocokan nama model. Misalnya, arahkan permintaan deepseek-* ke layanan DeepSeek dan permintaan qwen-* ke Model Studio.

    • Layanan multi-model (berdasarkan bobot): Konfigurasikan beberapa layanan LLM dengan bobot alokasi permintaan per model. Cocok untuk rilis canary model baru.

    API model juga mendukung rute kustom untuk meneruskan permintaan ke backend berbeda berdasarkan fitur permintaan seperti header.

    Rilis canary untuk agent

    API agent juga mendukung rilis canary berdasarkan fitur permintaan seperti header, mengarahkan permintaan ke backend berbeda.

    Otentikasi, observabilitas, dan pembatasan kecepatan berbasis konsumen

    AI Gateway mendukung otentikasi, pemantauan, pembatasan kecepatan, dan pengukuran per konsumen untuk manajemen detail halus.

    Otentikasi konsumen

    Buat konsumen dan tetapkan kredensial permintaan di AI Gateway. Aktifkan otentikasi untuk API model, server MCP, dan API agent sesuai kebutuhan.

    AI Gateway mendukung tiga metode otentikasi konsumen: kunci API, JWT, dan HMAC. Untuk persyaratan keamanan tinggi, simpan kredensial konsumen di KMS.

    Observabilitas dan pengukuran per konsumen

    AI Gateway menyediakan observabilitas multidimensi dengan pemantauan per konsumen. Metrik utama:

    • QPS: Permintaan dan respons AI per detik, dibagi menjadi QPS permintaan, QPS respons streaming, dan QPS respons non-streaming.

    • Tingkat keberhasilan permintaan: Tingkat keberhasilan dengan granularitas 1 detik, 15 detik, dan 1 menit.

    • Token yang dikonsumsi per detik: Token input, output, dan total yang dikonsumsi per detik.

    • RT rata-rata: Waktu respons rata-rata (ms) dengan granularitas 1 detik, 15 detik, atau 1 menit. Termasuk RT non-streaming, RT streaming, dan waktu hingga byte pertama.

    • Hit cache: Jumlah hit dan miss cache per periode waktu.

    • Statistik pembatasan kecepatan: Permintaan yang dibatasi kecepatannya versus permintaan yang diproses normal per periode waktu.

    • Statistik token berdasarkan model: Konsumsi token per model dalam periode tertentu.

    • Statistik token berdasarkan konsumen: Konsumsi token per konsumen dalam periode tertentu.

    • Statistik risiko: Permintaan berisiko yang diidentifikasi oleh deteksi keamanan konten, dipecah berdasarkan jenis risiko dan konsumen.

    Data ini mendukung pengukuran dan penagihan per konsumen—misalnya, melacak token yang dikonsumsi oleh konsumen tertentu saat memanggil model tertentu dalam periode tertentu.

    Pembatasan kecepatan per konsumen

    AI Gateway mendukung pembatasan kecepatan berdasarkan konsumen, nama model, dan header permintaan. Batasan mencakup permintaan, konkurensi, koneksi, dan token per satuan waktu.

    Perlindungan keamanan AI

    AI Gateway mengintegrasikan fitur perlindungan keamanan konten. Aktifkan fitur ini per API untuk mencegah kata sensitif, masalah kepatuhan, injeksi prompt, dan serangan brute-force selama pemanggilan model.

    AI Gateway mendukung kebijakan intersepsi independen untuk dimensi perlindungan berbeda:

    • contentModeration: deteksi kepatuhan konten

    • promptAttack: deteksi serangan prompt

    • sensitiveData: deteksi konten sensitif

    • maliciousFile: deteksi file berbahaya

    • waterMark: watermark digital

    • customLabel: agent kustom

    Setiap dimensi mendukung kebijakan intersepsi berikut:

    • Tingkat Tinggi: Mengintersepsi semua tingkat risiko (rendah, menengah, dan tinggi).

    • Menengah: Mengintersepsi tingkat risiko menengah dan tinggi.

    • Rendah: Hanya mengintersepsi tingkat risiko tinggi.

    • Mode pemantauan: Hanya mencatat, tanpa intersepsi.

    Kebijakan dan plugin yang dapat ditukar secara hot-swap

    AI Gateway menyediakan kebijakan dan plugin bawaan serta mendukung plugin kustom untuk kebutuhan bisnis spesifik.

    API model mencakup lima kebijakan bawaan inti: pemilihan tool, perlindungan keamanan, pembatasan kecepatan, caching, dan pencarian web. Aktifkan kebijakan dan plugin tambahan sesuai kebutuhan.

    Semua kebijakan dan plugin mendukung hot-swapping dan pembaruan rolling tanpa memengaruhi trafik layanan.

    Langkah selanjutnya

    Pelajari tentang AI Gateway, jenis gerbang, dan penagihan.

    Buat instans gateway untuk mencoba fitur-fitur AI Gateway.