Platform For AI:Panggil layanan melalui shared gateway (titik akhir publik/VPC)

Pilih alamat pemanggilan

Setelah shared gateway diterapkan, dua jenis alamat pemanggilan disediakan secara default:

Jika aplikasi Anda dan layanan EAS berada di wilayah yang berbeda, Anda tidak dapat menggunakan alamat VPC dari shared gateway untuk mengakses layanan tersebut, meskipun VPC-nya saling terhubung. Dalam kasus ini, Anda hanya dapat mengakses layanan dengan menggunakan alamat IP instans dan port-nya. Namun, karena alamat IP berubah saat layanan dimulai ulang atau diperbarui, kami menyarankan menggunakan dedicated gateway.

Panggil layanan

Contoh pemanggilan

Contoh berikut menunjukkan cara memanggil layanan model DeepSeek-R1-Distill-Qwen-7B yang diterapkan dengan vLLM. Asumsikan bahwa <EAS_ENDPOINT> adalah http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test.

Isi permintaan:

{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}

Contoh kode:

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}' 

import requests

# Ganti dengan endpoint aktual Anda.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# Nilai Authorization pada header adalah token aktual Anda.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Susun permintaan layanan berdasarkan format data yang dibutuhkan oleh model tertentu.
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# Kirim permintaan.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

Untuk informasi lebih lanjut tentang pemanggilan layanan Large Language Model (LLM), lihat LLM service invocation.

Skenario penerapan lainnya

• Model yang diterapkan dari Model Gallery: Halaman Overview untuk model biasanya menyediakan contoh pemanggilan API, termasuk path URL lengkap dan format permintaan.

  Perintah cURL

  Parameter umum:

  Parameter	Deskripsi	Contoh
  -X	Menentukan metode HTTP.	-X POST
  -H	Menambahkan header permintaan.	-H "Content-Type: application/json"
  -d	Menambahkan badan permintaan.	-d '{"key": "value"}'

  Contoh pemanggilan API Chat: Kirim permintaan POST ke <EAS_ENDPOINT>/v1/chat/completions dengan header berikut: Content-Type: application/json dan Authorization: <EAS_TOKEN>. Struktur badan permintaan JSON adalah sebagai berikut:

  • model: Nama model, yang dapat diambil melalui API /v1/models.

  • messages: Array pesan yang berisi peran system (contoh konten: You are a helpful assistant.) dan peran user (contoh konten: Hello!).

  Kode Python

  Contoh berikut menggunakan model Qwen3-Reranker-8B untuk menunjukkan cara memanggil layanan dengan kode Python. Perhatikan bahwa URL dan badan permintaannya berbeda dari contoh cURL. Selalu ikuti petunjuk pada halaman Overview model.

  Kode Python berisi konfigurasi utama berikut: Atur url menjadi EAS_ENDPOINT/v1/rerank, dan konfigurasikan Authorization serta Content-Type dalam headers. Definisikan string templat prefix, suffix, query_template, dan document_template (berisi token khusus im_start/im_end). Susun badan permintaan data dengan bidang model (nilai: Qwen3-Reranker-8B), query, dan documents (contoh dokumen: "Ibu kota Tiongkok adalah Beijing"). Terakhir, dalam fungsi main(), kirim permintaan POST menggunakan requests.post(url, headers=headers, json=data) dan cetak hasil responsnya.

• Penerapan berbasis skenario:

  • Pemanggilan API ComfyUI

  • Pemanggilan API SDWebUI

  • Pemanggilan layanan TensorFlow Serving

  • Pemanggilan layanan Triton

• Layanan yang diterapkan dengan processor generik (seperti TensorFlow, Caffe, dan PMML): Lihat Susun permintaan layanan berdasarkan processor generik.

• Layanan kustom lainnya: Format permintaan ditentukan oleh format input data yang didefinisikan dalam custom image atau kode Anda.

• Model yang dilatih sendiri: Metode pemanggilannya sama dengan model aslinya.

FAQ

Untuk masalah umum dan solusi terkait pemanggilan layanan, lihat Service Invocation FAQ.