Platform For AI：Memanggil layanan melalui Internet atau jaringan internal melalui gerbang

1. Dapatkan endpoint dan token

Setelah menerapkan layanan, sistem akan secara otomatis menghasilkan endpoint dan token yang diperlukan.

2. Bangun dan kirim permintaan

Untuk endpoint Internet dan VPC, pembuatan permintaan sama; hanya URL yang berbeda. Permintaan pemanggilan standar biasanya mencakup empat komponen inti:

• Metode: Metode yang paling umum adalah POST dan GET.

• URL: Basis <EAS_ENDPOINT> dengan Path Permintaan spesifik ditambahkan.

• Header Permintaan: Minimal, ini harus mencakup token otentikasi Anda, seperti Authorization: <EAS_TOKEN>.

• Badan Permintaan: API dari model yang diterapkan menentukan formatnya, seperti JSON.

  Penting

  Saat memanggil layanan melalui gerbang, badan permintaan tidak boleh melebihi 1 MB.

Skenario 1: Panggil model yang diterapkan dari Model Gallery

Rujuk langsung ke halaman Model Introduction di Model Gallery. Halaman ini memberikan contoh panggilan API yang paling akurat, biasanya dalam cURL atau Python, termasuk path URL lengkap dan format Badan Permintaan.

Skenario 2: Panggil model bahasa besar

Layanan Model Bahasa Besar (LLM) biasanya menyediakan endpoint API yang kompatibel dengan OpenAI, seperti endpoint chat completions (/v1/chat/completions) dan endpoint completions (/v1/completions).

Sebagai contoh, untuk memanggil endpoint chat completions dari layanan model DeepSeek-R1-Distill-Qwen-7B yang diterapkan dengan vLLM, Anda memerlukan komponen-komponen berikut. Untuk informasi lebih lanjut, lihat Panggil LLM:

• Metode: POST

• URI: <EAS_ENDPOINT>/v1/chat/completions

• Header Permintaan: Authorization: <EAS_TOKEN> dan Content-Type: application/json

• Request Body:

  {
      "model": "DeepSeek-R1-Distill-Qwen-7B",
      "messages": [
      {
          "role": "system",
          "content": "Anda adalah asisten yang membantu."
      },
      {
          "role": "user",
          "content": "halo!"
      }
      ]
  }

Contoh: Panggil dengan cURL dan Python

Asumsikan bahwa <EAS_ENDPOINT> adalah http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test.

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "Anda adalah asisten yang membantu."
    },
    {
        "role": "user",
        "content": "halo!"
    }
    ]
}' 

import requests

# Ganti dengan endpoint aktual.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# Nilai Authorization di header adalah token aktual.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Bangun permintaan layanan berdasarkan format data yang diperlukan oleh model tertentu.
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "Anda adalah asisten yang membantu."
        },
        {
            "role": "user",
            "content": "halo!"
        }
    ]
}
# Kirim permintaan.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

Lebih banyak skenario

• Panggil API ComfyUI.

• Panggil API SDWebUI.

• Panggil layanan TensorFlow Serving.

• Untuk layanan yang diterapkan dengan Processor universal (termasuk TensorFlow, Caffe, dan PMML): Lihat Bangun permintaan layanan berdasarkan processor universal.

• Model yang Anda latih sendiri: Metode pemanggilannya sama dengan model aslinya.

• Layanan kustom lainnya: Format input data yang Anda tentukan dalam gambar kustom atau kode menentukan format permintaan.