Platform For AI:Menyebar model bahasa besar di PAI-EAS

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

Di mana:

• Ganti <EAS_ENDPOINT> dan <EAS_TOKEN> dengan titik akhir dan token layanan Anda.

• Ganti <model_name> dengan nama model. Untuk vLLM/SGLang, dapatkan nama model dengan memanggil titik akhir API <EAS_ENDPOINT>/v1/models.

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

Kami merekomendasikan menggunakan SDK Python resmi untuk berinteraksi dengan layanan. Pastikan Anda telah menginstal OpenAI SDK: pip install openai.

from openai import OpenAI

# 1. Konfigurasikan client
# Ganti <EAS_TOKEN> dengan token layanan yang telah diterapkan.
openai_api_key = "<EAS_TOKEN>"
# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang telah diterapkan.
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. Dapatkan nama model.
# Untuk BladeLLM, setel model = "". BladeLLM tidak menggunakan parameter model atau mendukung pengambilan dengan client.models.list().
# Parameter ini diatur sebagai string kosong untuk memenuhi persyaratan OpenAI SDK.
models = client.models.list()
model = models.data[0].id
print(model)

# 3. Kirim permintaan chat.
# Output streaming (stream=True) dan non-streaming (stream=False) didukung.
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Python requests library

Jika Anda lebih memilih untuk tidak menggunakan OpenAI SDK, Anda dapat menggunakan library requests.

import json
import requests

# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang telah diterapkan.
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# Ganti <EAS_TOKEN> dengan token layanan yang telah diterapkan.
EAS_TOKEN = "<EAS_TOKEN>"
# Ganti <model_name> dengan nama model. Anda dapat mendapatkan nama model dengan memanggil titik akhir API <EAS_ENDPOINT>/v1/models.
# (Untuk BladeLLM, API ini tidak didukung. Anda dapat menghilangkan bidang "model" atau mengaturnya ke "".)
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # Kode berikut menangani respons streaming dalam format Server-Sent Events (SSE).
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. Instal penyedia model yang kompatibel dengan OpenAI-API

   Di pojok kanan atas halaman, klik foto profil Anda dan pilih Settings. Di panel navigasi kiri, klik Model Providers. Jika OpenAI-API-compatible tidak ada di Model List, temukan di daftar di bawah dan klik Install.

2. Tambahkan model

   Pada kartu OpenAI-API-compatible, klik Add Model di pojok kanan bawah dan konfigurasikan parameter berikut:

   • Model type: Pilih LLM.

   • Model name: Untuk penerapan vLLM, kirim permintaan GET ke titik akhir API /v1/models untuk mendapatkan nama model. Untuk contoh ini, masukkan Qwen3-8B.

   • API key: Masukkan token layanan PAI-EAS.

   • API endpoint URL: Masukkan titik akhir publik layanan PAI-EAS. Catatan: URL harus diakhiri dengan /v1.

3. Uji layanan

   1. Di halaman utama Dify, klik Create Blank App, pilih tipe Chatflow, masukkan nama aplikasi dan informasi lainnya, lalu klik Create.

   2. Klik node LLM dan pilih model yang telah Anda tambahkan. Untuk mengonfigurasi node, pilih Qwen3-8B CHAT dari kategori OpenAI-API-compatible. Di prompt SYSTEM, masukkan deskripsi peran dan referensikan variabel konteks sys.query. Di area USER, tambahkan variabel sys.query dan sys.files. Anda dapat menyesuaikan parameter model seperti Max Tokens (default 512), Presence Penalty, dan Thought Mode sesuai kebutuhan.

   3. Klik Preview di pojok kanan atas dan masukkan pertanyaan.

      Bot memproses pertanyaan melalui workflow dan mengembalikan balasan. Bagian atas area percakapan menampilkan Deeply thought dan waktu pemrosesan.

Chatbox

1. Buka Chatbox untuk mengunduh dan menginstal klien untuk perangkat Anda, atau klik Launch Web App untuk menggunakan versi web. Contoh ini menggunakan Mac dengan chip M3.

2. Tambahkan penyedia model. Klik Settings, tambahkan penyedia model, masukkan nama seperti pai, dan pilih OpenAI API Compatible sebagai API Mode.

3. Pilih penyedia model pai dan konfigurasikan parameter berikut.

   • API key: Masukkan token layanan PAI-EAS.

   • API host: Masukkan titik akhir publik layanan PAI-EAS. Catatan: URL harus diakhiri dengan /v1.

   • API path: Biarkan kosong.

   • Model: Klik Get untuk menambahkan model. Jika mesin inferensi adalah BladeLLM yang tidak mendukung pengambilan API, klik New untuk memasukkan nama model secara manual.

4. Uji percakapan. Klik New Chat dan pilih layanan model di pojok kanan bawah kotak input teks.

   Bagian atas antarmuka percakapan menampilkan prompt sistem, seperti You are a helpful assistant.. Masukkan pertanyaan seperti "Who are you?" di kotak input teks dan kirim. Area Deeply thought yang dapat dilipat dan waktu pemrosesan ditampilkan di bagian atas area balasan asisten, diikuti oleh balasan model.

Cherry Studio

1. Instal klien

   Kunjungi Cherry Studio untuk mengunduh dan menginstal klien.

   Anda juga dapat mengunduhnya dari https://github.com/CherryHQ/cherry-studio/releases.

2. Konfigurasikan layanan model.

   1. Klik ikon pengaturan di pojok kiri bawah. Di bagian Model Service, klik Add. Untuk Provider Name, masukkan nama kustom seperti PAI, dan atur tipe penyedia ke OpenAI. Klik OK.

   2. Di bidang API key, masukkan token layanan PAI-EAS. Di bidang API address, masukkan titik akhir publik layanan PAI-EAS.

   3. Klik Add. Di bidang Model ID , masukkan nama model. Untuk penerapan vLLM, kirim permintaan GET ke titik akhir API /v1/models untuk mendapatkan nama model. Untuk contoh ini, masukkan Qwen3-8B. Perhatikan bahwa nama tersebut bersifat case-sensitive. Saat Anda memasukkan API address, jangan sertakan sufiks /v1. Jika URL Anda diakhiri dengan #, klien secara otomatis menggunakan path /v1/chat/completions. Setelah konfigurasi selesai, area Model secara otomatis mengidentifikasi dan mencantumkan model yang tersedia, seperti Qwen3-8B.

   4. Klik Test di sebelah kotak input API key untuk memverifikasi konektivitas.

3. Uji model dengan cepat

   Kembali ke kotak dialog, pilih model di bagian atas, dan mulai percakapan.

   Sebagai contoh, masukkan Who are you? dan kirim pesan. Model Qwen3-8B membalas dengan perkenalan diri, yang mengonfirmasi bahwa model siap digunakan.