Platform For AI:Panggil layanan melalui shared gateway (titik akhir publik/VPC)

Pilih alamat pemanggilan

Setelah shared gateway diterapkan, dua jenis alamat pemanggilan disediakan secara default:

Jika aplikasi Anda dan layanan EAS berada di wilayah berbeda, Anda tidak dapat menggunakan alamat VPC dari shared gateway untuk mengakses layanan tersebut, meskipun VPC-nya saling terhubung. Dalam kasus ini, Anda hanya dapat mengakses layanan dengan menggunakan alamat IP instans dan port-nya. Namun, karena alamat IP berubah saat layanan dimulai ulang atau diperbarui, kami menyarankan menggunakan dedicated gateway.

Panggil layanan

Contoh pemanggilan

Contoh berikut menunjukkan cara memanggil layanan model DeepSeek-R1-Distill-Qwen-7B yang diterapkan dengan vLLM. Asumsikan bahwa <EAS_ENDPOINT> adalah http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test.

Request body:

{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}

Contoh kode:

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}' 

import requests

# Ganti dengan endpoint aktual Anda.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# Nilai Authorization pada header adalah token aktual Anda.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Susun permintaan layanan berdasarkan format data yang dibutuhkan oleh model tertentu.
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# Kirim permintaan.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

Untuk informasi lebih lanjut tentang pemanggilan layanan Large Language Model (LLM), lihat LLM service invocation.

Skenario penerapan lainnya

• Model yang diterapkan dari Model Gallery: Halaman Overview untuk model biasanya menyediakan contoh pemanggilan API, termasuk path URL lengkap dan format permintaan.

  Perintah cURL

  Parameter umum:

  Parameter	Deskripsi	Contoh
  -X	Menentukan metode HTTP.	-X POST
  -H	Menambahkan header permintaan.	-H "Content-Type: application/json"
  -d	Menambahkan badan permintaan.	-d '{"key": "value"}'

  

  Kode Python

  Contoh berikut menggunakan model Qwen3-Reranker-8B untuk menunjukkan cara memanggil layanan dengan kode Python. Perhatikan bahwa URL dan badan permintaannya berbeda dari contoh cURL. Selalu ikuti petunjuk pada halaman Overview model.

  

• Penerapan berbasis skenario:

  • Pemanggilan API ComfyUI

  • Pemanggilan API SDWebUI

  • Pemanggilan layanan TensorFlow Serving

  • Pemanggilan layanan Triton

• Layanan yang diterapkan dengan processor generik (seperti TensorFlow, Caffe, dan PMML): Lihat Susun permintaan layanan berdasarkan processor generik.

• Layanan kustom lainnya: Format permintaan ditentukan oleh format input data yang didefinisikan dalam custom image atau kode Anda.

• Model yang dilatih sendiri: Metode pemanggilannya sama seperti model aslinya.

FAQ

Untuk masalah umum dan solusi terkait pemanggilan layanan, lihat Service Invocation FAQ.