Platform For AI：Menyebarkan model bahasa besar di PAI-EAS

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

Dengan keterangan:

• Ganti <EAS_ENDPOINT> dan <EAS_TOKEN> dengan titik akhir dan token layanan yang telah Anda terapkan.

• Ganti <model_name> dengan nama model. Untuk vLLM/SGLang, Anda dapat mengambil nama model dari API daftar model di <EAS_ENDPOINT>/v1/models.

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

Gunakan SDK Python resmi untuk berinteraksi dengan layanan. Pastikan OpenAI SDK telah diinstal: pip install openai.

from openai import OpenAI

# 1. Konfigurasikan client
# Ganti <EAS_TOKEN> dengan token layanan yang telah Anda terapkan
openai_api_key = "<EAS_TOKEN>"
# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang telah Anda terapkan
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. Dapatkan nama model
# Untuk BladeLLM, setel model = "". BladeLLM tidak memerlukan parameter model dan tidak mendukung pengambilan nama model menggunakan client.models.list(). Setel ke string kosong untuk memenuhi persyaratan parameter wajib OpenAI SDK.
models = client.models.list()
model = models.data[0].id
print(model)

# 3. Kirim permintaan chat
# Mendukung output streaming (stream=True) dan non-streaming (stream=False)
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Pustaka requests Python

Untuk skenario yang tidak memerlukan ketergantungan pada OpenAI SDK, Anda dapat menggunakan pustaka requests.

import json
import requests

# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang telah Anda terapkan
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# Ganti <EAS_TOKEN> dengan token layanan yang telah Anda terapkan
EAS_TOKEN = "<EAS_TOKEN>"
# Ganti <model_name> dengan nama model. Anda dapat memperolehnya dari API daftar model di <EAS_ENDPOINT>/v1/models. Untuk BladeLLM, API ini tidak didukung. Anda dapat menghilangkan field "model" atau mengaturnya ke "".
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # Kode berikut memproses respons streaming dalam format Server-Sent Events (SSE)
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. Instal penyedia model yang kompatibel dengan OpenAI-API

   Klik foto profil Anda di pojok kanan atas dan pilih Settings. Di panel navigasi sebelah kiri, pilih Model Providers. Jika OpenAI-API-compatible tidak ada di Model List, cari di daftar di bawah dan klik Install.

   

2. Tambahkan model

   Klik Add Model di pojok kanan bawah kartu OpenAI-API-compatible dan konfigurasikan parameter sebagai berikut:

   • Model Type: Pilih LLM.

   • Model Name: Untuk penerapan vLLM, kirim permintaan GET ke API /v1/models untuk mengambil namanya. Misalnya, masukkan Qwen3-8B.

   • API Key: Masukkan token layanan EAS.

   • API endpoint URL: Masukkan titik akhir Internet layanan EAS. Catatan: Tambahkan /v1 di akhir.

3. Penggunaan

   1. Di halaman utama Dify, klik Create Blank App. Pilih tipe Chatflow, masukkan nama aplikasi dan informasi lainnya, lalu klik Create.

   2. Klik node LLM, pilih model yang telah Anda tambahkan, lalu atur konteks dan prompt.

   3. Klik Preview di pojok kanan atas dan masukkan pertanyaan.

      

Chatbox

1. Buka Chatbox. Unduh dan instal versi untuk perangkat Anda, atau klik Launch Web App untuk menggunakan versi web. Contoh ini menggunakan macOS pada chip M3.

2. Tambahkan penyedia model. Klik Settings, tambahkan penyedia model, masukkan nama, misalnya pai, dan pilih OpenAI API Compatible untuk API Mode.

   

3. Pilih penyedia model pai dan konfigurasikan parameter berikut.

   • API Key: Masukkan token layanan EAS.

   • API Host: Masukkan titik akhir Internet layanan EAS. Catatan: Tambahkan /v1 di akhir.

   • API Path: Biarkan kosong.

   • Model: Klik Get untuk menambahkan model. Jika mesin inferensi adalah BladeLLM yang tidak mendukung pengambilan melalui API, klik New untuk memasukkan nama model.

   

4. Uji percakapan. Klik New Chat. Di pojok kanan bawah kotak input teks, pilih layanan model.

   

Cherry Studio

1. Instal klien

   Kunjungi Cherry Studio untuk mengunduh dan menginstal klien.

   Anda juga dapat mengunduhnya dari https://github.com/CherryHQ/cherry-studio/releases.

2. Konfigurasikan layanan model.

   1. Klik tombol Settings di pojok kiri bawah. Di bagian Model Service, klik Add. Untuk Provider Name, masukkan nama kustom, misalnya PAI. Atur Provider Type ke OpenAI. Klik OK.

   2. Untuk API Key, masukkan token layanan EAS. Untuk API Address, masukkan titik akhir Internet layanan EAS.

   3. Klik Add. Untuk Model ID, masukkan nama model. Untuk penerapan vLLM, kirim permintaan GET ke API /v1/models untuk mengambil namanya. Misalnya, masukkan Qwen3-8B. Perhatikan bahwa nama ini bersifat case-sensitive.

   4. Di samping kotak input API Key, klik Test untuk mengonfirmasi konektivitas.

3. Uji model dengan cepat

   Kembali ke kotak dialog. Di bagian atas, pilih model dan mulai percakapan.