Platform For AI：Panggil layanan melalui Internet atau jaringan pribadi menggunakan gateway

Pilih jenis gateway

EAS menawarkan Shared Gateway dan dedicated gateway. Perbedaannya dijelaskan di bawah ini:

Rekomendasi:

• Gunakan Shared Gateway untuk lingkungan pengembangan dan pengujian.

• Gunakan dedicated gateway untuk lingkungan produksi.

Pilih metode akses

Cara memanggil layanan

Memanggil layanan EAS memerlukan tiga elemen utama:

• Titik akhir layanan (service endpoint)

• Token otorisasi

• Permintaan yang disusun sesuai spesifikasi API model

Contoh pemanggilan

Untuk memanggil layanan model DeepSeek-R1-Distill-Qwen-7B yang diterapkan dengan vLLM, Anda memerlukan elemen-elemen berikut:

• Metode: POST

• Path permintaan: <EAS_ENDPOINT>/v1/chat/completions (API chat)

• Headers:

  • Authorization: <Token>

  • Content-Type: application/json

• Request body:

  {
      "model": "DeepSeek-R1-Distill-Qwen-7B",
      "messages": [
      {
          "role": "system",
          "content": "You are a helpful assistant."
      },
      {
          "role": "user",
          "content": "hello!"
      }
      ]
  }

Contoh kode:

Asumsikan <EAS_ENDPOINT> adalah http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test.

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}' 

import requests

# Ganti dengan endpoint aktual Anda.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# Nilai Authorization pada header adalah token aktual Anda.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Susun permintaan layanan berdasarkan format data yang dibutuhkan oleh model tertentu.
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# Kirim permintaan.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

Untuk informasi selengkapnya tentang pemanggilan layanan Large Language Model (LLM), lihat LLM service invocation.

Skema penggunaan lainnya

• Model yang diterapkan dari Model Gallery: Halaman Overview untuk model-model ini biasanya menyediakan contoh pemanggilan API, termasuk path URL lengkap dan format permintaan.

  Perintah cURL

  Sintaks dasar: curl [options] [URL]

  Parameter umum (opsi):

  • -X: Menentukan metode HTTP, seperti -X POST.

  • -H: Menambahkan header permintaan, seperti -H "Content-Type: application/json".

  • -d: Menambahkan badan permintaan, seperti -d '{"key": "value"}'.

  

  Kode Python

  Kode Python berikut menggunakan model Qwen3-Reranker-8B sebagai contoh. Perhatikan bahwa URL dan badan permintaannya berbeda dari contoh perintah cURL. Pastikan untuk merujuk pada deskripsi model yang sesuai.

  

• Deployment berbasis skenario:

  • ComfyUI API calls

  • SDWebUI API calls

  • TensorFlow Serving service calls

  • Triton service calls

• Layanan yang diterapkan menggunakan processor generik, termasuk TensorFlow, Caffe, dan PMML: Untuk informasi selengkapnya, lihat Construct a service request based on a generic processor.

• Layanan kustom lainnya: Format permintaan ditentukan oleh format input data yang Anda definisikan dalam custom image atau kode Anda.

• Model yang Anda latih sendiri: Metode pemanggilannya sama dengan model aslinya.

FAQ

Untuk pertanyaan umum dan solusi terkait pemanggilan layanan, lihat Service Invocation FAQ.