Platform For AI:Penerapan model bahasa besar di PAI-EAS

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

Pada kode di atas, ganti parameter berikut:

• Ganti <EAS_ENDPOINT> dan <EAS_TOKEN> dengan Titik akhir dan token layanan yang telah Anda terapkan.

• Ganti <model_name> dengan nama model. Untuk vLLM atau SGLang, Anda dapat memperoleh nama model dari API daftar model di <EAS_ENDPOINT>/v1/models.

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

Kami merekomendasikan penggunaan SDK Python resmi untuk berinteraksi dengan layanan. Pastikan Anda telah menginstal OpenAI SDK: pip install openai.

from openai import OpenAI

# 1. Konfigurasikan klien.
# Ganti <EAS_TOKEN> dengan token layanan yang telah Anda terapkan.
openai_api_key = "<EAS_TOKEN>"
# Ganti <EAS_ENDPOINT> dengan Titik akhir layanan yang telah Anda terapkan.
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. Dapatkan nama model.
# Untuk BladeLLM, setel model = "". BladeLLM tidak memerlukan parameter model
# dan tidak mendukung pengambilan nama model menggunakan client.models.list().
# Setel ke string kosong untuk memenuhi persyaratan parameter wajib SDK OpenAI.
models = client.models.list()
model = models.data[0].id
print(model)

# 3. Kirim permintaan chat.
# Output streaming (stream=True) dan non-streaming (stream=False) didukung.
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Python requests

Jika Anda tidak ingin menambahkan dependensi pada OpenAI SDK, Anda dapat menggunakan pustaka requests.

import json
import requests

# Ganti <EAS_ENDPOINT> dengan Titik akhir layanan yang telah Anda terapkan.
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# Ganti <EAS_TOKEN> dengan token layanan yang telah Anda terapkan.
EAS_TOKEN = "<EAS_TOKEN>"
# Ganti <model_name> dengan nama model. Anda dapat memperolehnya dari API <EAS_ENDPOINT>/v1/models.
# Untuk BladeLLM, API ini tidak didukung. Anda dapat menghilangkan bidang "model" atau mengaturnya ke "".
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # Kode berikut memproses respons streaming berformat Server-Sent Events (SSE).
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. Instal penyedia model yang kompatibel dengan OpenAI-API

   Klik avatar Anda di pojok kanan atas dan pilih Settings. Di panel kiri, pilih Model Providers. Jika OpenAI-API-compatible tidak ada di Model List, temukan di daftar di bawah dan klik Install.

2. Tambahkan model

   Klik Add Model di pojok kanan bawah kartu OpenAI-API-compatible dan konfigurasikan parameter berikut:

   • Model type: Pilih LLM.

   • Model name: Untuk penerapan vLLM, kirim permintaan GET ke Titik akhir /v1/models untuk mendapatkan namanya. Untuk contoh ini, masukkan Qwen3-8B.

   • API key: Masukkan token layanan PAI-EAS Anda.

   • API endpoint URL: Masukkan Titik akhir publik layanan PAI-EAS Anda dan tambahkan /v1 di akhir.

3. Uji integrasi

   1. Di halaman utama Dify, klik Create Blank App, pilih tipe Chatflow, masukkan nama aplikasi dan informasi lainnya, lalu klik Create.

   2. Klik node LLM, pilih model yang telah Anda tambahkan, dan atur konteks serta prompt. Pilih Qwen3-8B CHAT dari kategori OpenAI-API-compatible. Di prompt SYSTEM, masukkan deskripsi peran dan referensikan variabel konteks sys.query. Di area USER, tambahkan variabel sys.query dan sys.files. Anda dapat menyesuaikan parameter model seperti Max Tokens (default 512), Presence Penalty, dan Thinking Mode sesuai kebutuhan.

   3. Klik Preview di pojok kanan atas dan masukkan pertanyaan.

      Bot memproses pertanyaan melalui workflow dan mengembalikan balasan. Di bagian atas area percakapan ditampilkan status Deep thinking dan waktu yang berlalu.

Chatbox

1. Buka Chatbox untuk mengunduh dan menginstal klien untuk perangkat Anda, atau klik Launch Web App untuk versi web. Contoh ini menggunakan macOS M3.

2. Tambahkan penyedia model. Klik Settings, tambahkan penyedia model, masukkan nama seperti pai, dan pilih OpenAI API Compatible sebagai mode API.

3. Pilih penyedia PAI dan konfigurasikan parameter berikut:

   • API key: Masukkan token layanan PAI-EAS Anda.

   • API host: Masukkan Titik akhir publik layanan PAI-EAS Anda dan tambahkan /v1 di akhir.

   • API path: Biarkan bidang ini kosong.

   • Model: Klik Get untuk menambahkan model. Mesin inferensi BladeLLM tidak mendukung pengambilan model berbasis API. Jika Anda menggunakan BladeLLM, tambahkan model secara manual dengan mengklik New.

4. Uji chat. Klik New Chat dan pilih layanan model di pojok kanan bawah kotak input teks.

   Bagian atas antarmuka chat menampilkan prompt sistem, seperti You are a helpful assistant.. Masukkan pertanyaan seperti "Who are you?" di kotak teks dan kirim. Area balasan asisten menampilkan bagian Deep thinking yang diciutkan dengan waktu berpikir, diikuti oleh respons model.

Cherry Studio

1. Instal klien

   Kunjungi Cherry Studio untuk mengunduh dan menginstal klien.

   Anda juga dapat mengunduhnya dari https://github.com/CherryHQ/cherry-studio/releases.

2. Konfigurasikan layanan model

   1. Klik ikon pengaturan di pojok kiri bawah. Di bagian Model Service, klik Add. Di Provider name, masukkan nama kustom, seperti PAI, dan atur tipe penyedia ke OpenAI. Klik OK.

   2. Di bidang API key, masukkan token layanan PAI-EAS Anda. Di bidang API address, masukkan Titik akhir publik layanan PAI-EAS Anda.

   3. Klik Add dan masukkan nama model di bidang Model ID. Untuk penerapan vLLM, Anda dapat memperoleh nama dengan mengirim permintaan GET ke API /v1/models. Misalnya, masukkan Qwen3-8B. Nama bersifat case-sensitive. Untuk API Address, masukkan URL tetapi hilangkan nomor versi v1 di akhir. Jika URL diakhiri dengan karakter #, sistem akan memaksa penggunaan path /v1/chat/completions. Setelah konfigurasi selesai, bagian Model secara otomatis mengidentifikasi dan mencantumkan model yang tersedia, seperti Qwen3-8B.

   4. Klik Test di samping bidang input API key untuk memverifikasi konektivitas.

3. Uji model dengan cepat

   Kembali ke antarmuka chat, pilih model di bagian atas, dan mulai percakapan.

   Misalnya, jika Anda memasukkan Who are you? dan model Qwen3-8B merespons dengan perkenalan diri, hal ini menunjukkan bahwa model telah diterapkan dan berfungsi dengan benar.