All Products
Search

This Product

    API Gateway:Model APIs

    Document Center

    API Gateway:Model APIs

    Last Updated:Jun 17, 2026

    Model API memungkinkan tim aplikasi AI mengonfigurasi dan men-debug AI Gateway serta mengatur plugin prasetel untuk proxy AI, observabilitas AI, otorisasi konsumen, dan moderasi konten.

    Create Model API

    1. Masuk ke Konsol AI Gateway dan pilih Instance. Di bilah menu atas, pilih wilayah, lalu klik ID instans target.

    2. Di panel navigasi sebelah kiri, pilih Model API, lalu klik Create Model API.

    3. Pilih kasus penggunaan dan klik Create.

      Kasus penggunaan menentukan opsi Protocol dan default routes yang tersedia. Kasus penggunaan yang didukung:

      • Text Generation: Mendukung protokol Kompatibel dengan OpenAI dan Anthropic.

      • Image Generation

      • Video Generation

      • Speech Synthesis

      • Embedding

      • Rerank

      • Others

    4. Konfigurasikan informasi dasar.

      Di dialog tersebut, lengkapi langkah Select a scenario., lalu konfigurasikan formulir Create Model API:

      • Protocol: Setiap protokol menyediakan serangkaian default routes bawaan untuk kasus penggunaan yang dipilih, sehingga Anda dapat dengan cepat menghasilkan antarmuka yang kompatibel untuk layanan seperti OpenAI, DashScope, dan vLLM.

        Catatan

        Konversi protokol dapat mengubah struktur statistik token. Misalnya, statistik token input untuk protokol Alibaba Cloud Model Studio (DashScope) mencakup cache tokens, sedangkan statistik token input untuk protokol Anthropic tidak mencakup cache tokens. Perhatikan perbedaan metrik statistik di berbagai protokol saat melihat data observabilitas.

      • API Name: Nama unik dalam akun Anda. Maksimal 64 karakter; mendukung huruf, angka, garis bawah (_), dan tanda hubung (-).

      • Domain Name: Pilih satu atau beberapa nama domain untuk akses API. Setiap kombinasi nama domain + BasePath harus unik.

        Jika Anda tidak memiliki nama domain, klik tombol Add Domain Name untuk membuatnya.

      • base path: Jalur permintaan dasar API. Nilai default-nya adalah /. Secara opsional aktifkan Remove during backend forwarding.

        Catatan

        Jika Anda mengaktifkan Remove during backend forwarding, sistem akan menghapus base path dari permintaan sebelum meneruskannya ke backend. Contohnya:

        • Base path diatur ke /api.

        • Jalur permintaan asli adalah /api/users.

        • Jalur yang diteruskan ke layanan backend menjadi /users.

      • AI Request Monitoring: Mengaktifkan metrik, log, dan jejak. Pencatatan log dan pelacakan memerlukan SLS. Pilih Record request content dan Log response untuk mencatat permintaan dan respons model.

        Penting

        Saat diaktifkan, seluruh konten permintaan AI termasuk badan permintaan akan dicatat ke log akses. Pastikan SLS telah dikonfigurasi dengan benar dan langkah-langkah pengamanan data telah diterapkan.

      • Model Service: Mendukung Single-model Service, Multi-model Service (by model name), Multi-model Service (by proportion), Multiple Services (by observability metrics), dan Multiple Services (intelligent routing).

        • Single-model Service: Pilih satu layanan AI dan atur Model Name. Nama model dapat diteruskan atau ditulis ulang.

        • Multi-model Service (by model name): Mengarahkan permintaan ke layanan berbeda dengan mencocokkan nama model dalam badan permintaan sesuai aturan. Aturan ini mendukung wildcard seperti ? dan *. Misalnya, qwen-* dapat mencocokkan qwen-max dan qwen-long.

        • Multi-model Service (by proportion): Pilih beberapa layanan AI dan atur bobotnya. Nama model dapat diteruskan atau ditulis ulang.

        • Multi-Service (by Metrics): Secara otomatis mengarahkan permintaan ke layanan optimal berdasarkan metrik observabilitas seperti waktu respons dan tingkat keberhasilan, tanpa perlu mengonfigurasi bobot secara manual.

        • Multi-Model Service (Smart Routing): Sistem secara otomatis memilih model yang paling sesuai berdasarkan karakteristik model. Intelligent Routing.

          Catatan

          Untuk menggunakan fitur Multiple Services (by observability metrics) dan Multiple Services (intelligent routing), Anda harus meningkatkan AI Gateway ke versi 2.1.15 atau lebih baru.

      • fallback: Anda dapat Enable fitur ini untuk mengonfigurasi urutan kebijakan fallback. Layanan yang sama dapat digunakan dalam beberapa kebijakan.

      • first packet timeout: Waktu tunggu maksimum (dalam milidetik) untuk paket data pertama dalam respons streaming. Atur ke 0 untuk menonaktifkan.

      • resource: Pilih kelompok sumber daya default, yang sudah ada, atau buat yang baru untuk pengelompokan, otorisasi, dan pemantauan sumber daya.

        Untuk membuat Resource Group baru, klik Create Resource Group.

    5. Tinjau konfigurasi Anda dan klik OK.

    Default route

    Setiap kombinasi protocol dan use case menghasilkan satu set default routes.

    Text generation

    Protocol: OpenAI compatible (OpenAI/v1)

    Route name

    Path

    Method

    Description

    create-chat-completion

    /v1/chat/completions

    POST

    Membuat respons model untuk percakapan chat yang diberikan.

    create-completion

    /v1/completions

    POST

    Membuat completion untuk prompt dan parameter yang diberikan.

    Protocol: Anthropic (Anthropic)

    Protokol Anthropic menyediakan format pesan native untuk model Anthropic seperti Claude. Ideal untuk aplikasi yang menggunakan format API Anthropic native.

    Catatan

    Penyedia yang mendukung protokol ini mencakup Alibaba Cloud Model Studio (Qwen), Claude, Moonshot AI, dan Zhipu AI. Layanan AI mereka secara native mendukung protokol Anthropic tanpa perlu konfigurasi tambahan.

    Route name

    Path

    Method

    Description

    create-message

    /v1/messages

    POST

    Membuat pesan untuk percakapan chat yang diberikan menggunakan format pesan native Anthropic.

    Image generation

    Protocol: Alibaba Cloud Model Studio

    Route name

    Path

    Method

    Description

    dashscope-text-to-image-synthesis

    /api/v1/services/aigc/text2image/image-synthesis

    POST

    Menghasilkan gambar menggunakan sintesis teks-ke-gambar.

    dashscope-image-to-image-synthesis

    /api/v1/services/aigc/image2image/image-synthesis

    POST

    Menghasilkan gambar menggunakan sintesis gambar-ke-gambar.

    dashscope-image-to-image-outpainting

    /api/v1/services/aigc/image2image/out-painting

    POST

    Menjalankan outpainting gambar-ke-gambar.

    dashscope-virtual-model-generation

    /api/v1/services/aigc/virtualmodel/generation

    POST

    Menghasilkan gambar model virtual.

    dashscope-background-generation

    /api/v1/services/aigc/background-generation/generation

    POST

    Menghasilkan gambar latar belakang.

    tasks

    /api/v1/tasks

    GET/POST/PUT/PATCH/DELETE

    Mengelola tugas asinkron.

    Protocol: OpenAI compatibility

    Route name

    Path

    Method

    Description

    openai-image-generation

    /api/v1/images/generations

    POST

    Menghasilkan gambar.

    openai-image-edit

    /api/v1/images/edits

    POST

    Mengedit gambar.

    openai-image-variation

    /api/v1/images/variations

    POST

    Membuat variasi dari gambar tertentu.

    Protocol: ComfyUI

    Route name

    Path

    Method

    Description

    comfyui-websocket

    /ws

    GET

    Menyediakan titik akhir WebSocket untuk komunikasi real-time dengan server.

    comfyui-embeddings

    /embeddings

    GET

    Menampilkan daftar embedding yang tersedia.

    comfyui-extensions

    /extensions

    GET

    Menampilkan ekstensi yang mendaftarkan direktori web.

    comfyui-features

    /features

    GET

    Mendapatkan fitur dan kemampuan server.

    comfyui-models

    /models

    GET

    Menampilkan jenis model yang tersedia.

    comfyui-models-folder

    /models/{folder}

    GET

    Mendapatkan model dari folder tertentu.

    comfyui-workflow-templates

    /workflow_templates

    GET

    Mendapatkan peta modul node kustom dan alur kerja templat terkait.

    comfyui-upload-image

    /upload/image

    POST

    Mengunggah gambar.

    comfyui-upload-mask

    /upload/mask

    POST

    Mengunggah mask.

    comfyui-view

    /view

    GET

    Menampilkan gambar dengan berbagai opsi.

    comfyui-view-metadata

    /view_metadata/

    GET

    Mendapatkan metadata untuk model.

    comfyui-system-stats

    /system_stats

    GET

    Mendapatkan informasi sistem, seperti versi Python, perangkat, dan VRAM.

    comfyui-prompt

    /prompt

    GET/POST

    Mendapatkan status antrian dan informasi eksekusi saat ini, atau mengirimkan prompt.

    comfyui-object-info

    /object_info

    GET

    Mendapatkan detail semua jenis node.

    comfyui-object-info-class

    /object_info/{node_class}

    GET

    Mendapatkan detail untuk jenis node tertentu.

    comfyui-history

    /history

    GET/POST

    Mendapatkan riwayat antrian.

    comfyui-history-prompt-id

    /history/{prompt_id}

    GET

    Mendapatkan riwayat antrian untuk prompt tertentu.

    comfyui-queue

    /queue

    GET/POST

    Mendapatkan status antrian atau mengelola operasi antrian.

    comfyui-interrupt

    /interrupt

    POST

    Menghentikan eksekusi alur kerja saat ini.

    comfyui-free

    /free

    POST

    Membebaskan memori dengan membongkar model tertentu.

    comfyui-userdata

    /userdata

    GET

    Menampilkan file data pengguna dalam direktori tertentu.

    comfyui-userdata-v2

    /v2/userdata

    GET

    Menampilkan file dan direktori dalam format terstruktur.

    comfyui-userdata-file

    /userdata/{file}

    GET/POST/DELETE

    Mendapatkan, mengunggah, memperbarui, atau menghapus file data pengguna tertentu.

    comfyui-userdata-file-move

    /userdata/{file}/move/{dest}

    POST

    Memindahkan atau mengganti nama file data pengguna.

    comfyui-users

    /users

    GET/POST

    Mendapatkan informasi pengguna atau membuat pengguna baru.

    Video generation

    Alibaba Cloud Model Studio protocol

    Route name

    Path

    Method

    Description

    dashscope-video-generation-synthesis

    /api/v1/services/aigc/video-generation/video-synthesis

    POST

    Menghasilkan video.

    dashscope-image-to-video-synthesis

    /api/v1/services/aigc/image2video/video-synthesis

    POST

    Menghasilkan video dari gambar.

    tasks

    /api/v1/tasks

    GET/POST/PUT/PATCH/DELETE

    Mengelola tugas asinkron.

    Speech synthesis

    Alibaba Cloud Model Studio

    Route name

    Path

    Method

    Description

    dashscope-text-to-audio-synthesis

    /api-ws/v1/inference

    GET

    Mensintesis audio dari teks.

    OpenAI compatible (OpenAI/v1)

    Route name

    Path

    Method

    Description

    openai-audio-speech

    /api/v1/audio/speech

    POST

    Mensintesis audio dari teks.

    Embedding

    Protocol: OpenAI compatible (OpenAI/v1)

    Route name

    Path

    Method

    Description

    create-embedding

    /v1/embeddings

    POST

    Menghasilkan vektor penyematan yang merepresentasikan teks input.

    Text reranking (rerank)

    Protocol: Alibaba Cloud Model Studio text reranking

    Route name

    Path

    Method

    Description

    rerank

    /api/v1/services/rerank/text-rerank/text-rerank

    POST

    Menyusun ulang dokumen yang diberikan berdasarkan relevansi kueri.

    Protocol: vLLM

    Route name

    Path

    Method

    Description

    rerank

    /v1/rerank

    POST

    Menyusun ulang dokumen yang diberikan berdasarkan relevansi kueri.

    Others

    Protocol: OpenAI-compatible (OpenAI/v1)

    Route name

    Path

    Method

    Description

    models

    /v1/models

    GET, POST, PUT, PATCH, DELETE

    Mengelola model.

    files

    /v1/files

    GET, POST, PUT, PATCH, DELETE

    Mengelola file.

    batches

    /v1/batches

    GET, POST, PUT, PATCH, DELETE

    Mengelola batch.

    fine-tuning

    /v1/fine_tuning

    GET, POST, PUT, PATCH, DELETE

    Mengelola pekerjaan fine-tuning.
    Catatan

    Layanan AI dari penyedia yang mendukung protokol Anthropic (Alibaba Cloud Model Studio, Claude, Moonshot AI, Zhipu AI) secara otomatis mendukung beberapa protokol, termasuk Kompatibel dengan OpenAI dan Anthropic. Pilih protokol yang sesuai saat membuat Model API.

    Intelligent routing

    LLM yang berbeda unggul di bidang tertentu:

    • Code generation: Seri Qwen-Coder unggul dalam pemahaman dan pembuatan kode.

    • Mathematical reasoning: Seri Qwen-Math unggul dalam menyelesaikan masalah matematika kompleks.

    • Translation: Seri Qwen-MT dioptimalkan untuk terjemahan multibahasa.

    • Rapid response: Seri Qwen-Flash menawarkan latensi ultra-rendah untuk skenario yang sensitif terhadap waktu.

    • Complex reasoning: Model seperti Qwen-Max dan DeepSeek-R1 memiliki keunggulan dalam penalaran kompleks.

    Mengarahkan permintaan secara manual ke model-model ini menimbulkan tantangan:

    1. Fragmented user experience: Pengguna harus memilih model secara manual tanpa panduan tentang model mana yang paling cocok.

    2. Inefficient resource utilization: Model berbiaya tinggi menangani tugas sederhana yang bisa dilayani oleh model yang lebih murah.

    3. High development complexity: Logika pengarahan di lapisan aplikasi meningkatkan biaya pengembangan dan pemeliharaan.

    4. No unified endpoint: Beberapa penerapan model menghasilkan API yang tersebar dan sulit dikelola.

    Fitur intelligent routing AI Gateway menggunakan analisis semantik untuk secara otomatis mengarahkan permintaan ke model yang paling sesuai berdasarkan klasifikasi intent berikut:

    Intent code

    Description

    Scenarios

    Coder

    Penulisan dan debugging kode

    Pertanyaan pemrograman, generasi kode, perbaikan bug

    Math

    Komputasi dan penalaran matematika

    Bukti matematika, penurunan rumus, analisis statistik

    Translation

    Terjemahan multibahasa

    Terjemahan dokumen, terjemahan real-time, lokalisasi

    Flash

    Respons cepat dan sederhana

    Tanya jawab sederhana, pencarian informasi, percakapan sehari-hari

    Complex

    Penalaran kompleks

    Analisis mendalam, pengambilan keputusan kompleks, pemahaman konteks panjang

    Edit Model API

    1. Masuk ke Konsol AI Gateway dan pilih Instance. Di bilah menu atas, pilih wilayah, lalu klik ID instans target.

    2. Di panel navigasi, klik Model API, lalu klik Edit di kolom Actions pada API target. Ubah parameter di panel Edit Model API. Deskripsi parameter: Create a Model API.

    3. Klik OK.

    Debug Model API

    Catatan

    Saat ini, Anda hanya dapat melakukan debug generasi teks menggunakan titik akhir /v1/chat/completions.

    1. Masuk ke Konsol AI Gateway dan pilih Instance. Di bilah menu atas, pilih wilayah, lalu klik ID instans target.

    2. Di panel navigasi kiri, pilih Model API dan klik Debug di kolom Actions untuk API target.

    3. Di panel Debug, pilih nama domain dan model. Jika diperlukan, aktifkan sakelar Streaming dan konfigurasikan parameter serta parameter kustom. Di tab Model Returned, masukkan konten Anda dan klik Send.

      Parameter: system prompt (instruksi sistem, maksimal 100 karakter), max_tokens (0–8192, default: 1024), top_p (0–1, default: 0.95), dan temperature (0–2, default: 1; sesuaikan dengan hati-hati karena sangat memengaruhi hasil). Tab cURL command dan raw output tersedia di sebelah kanan.

    Delete a model API

    1. Masuk ke Konsol AI Gateway dan pilih Instance. Di bilah menu atas, pilih wilayah, lalu klik ID instans target.

    2. Di panel navigasi, pilih Model API. Di baris API target, klik Delete di kolom Actions. Di kotak dialog konfirmasi yang muncul, masukkan nama API dan klik Delete.