Platform For AI：Menerapkan Model Bahasa Besar Menggunakan EAS

SDK OpenAI

Kami merekomendasikan menggunakan SDK Python resmi untuk berinteraksi dengan layanan. Pastikan Anda telah menginstal SDK OpenAI: pip install openai.

from openai import OpenAI

# 1. Konfigurasikan klien
# Ganti <EAS_TOKEN> dengan token layanan yang diterapkan
openai_api_key = "<EAS_TOKEN>"
# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang diterapkan
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. Dapatkan nama model
# Untuk BladeLLM, set model = "". BladeLLM tidak memerlukan parameter input model dan tidak mendukung penggunaan client.models.list() untuk mendapatkan nama model. Atur ke string kosong untuk memenuhi persyaratan parameter wajib SDK OpenAI.
models = client.models.list()
model = models.data[0].id
print(model)

# 3. Mulai permintaan chat
# Mendukung streaming (stream=True) dan non-streaming (stream=False) output
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "Anda adalah asisten yang membantu."},
        {"role": "user", "content": "halo"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

cURL

Untuk pengujian cepat atau integrasi skrip, Anda dapat menggunakan cURL.

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "Anda adalah asisten yang membantu."
        },
        {
            "role": "user",
            "content": "halo"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }' 

Di mana:

• Ganti <EAS_ENDPOINT> dan <EAS_TOKEN> dengan Endpoint dan Token layanan Anda.

• Ganti <model_name> dengan nama model. Untuk vLLM/SGLang, Anda bisa mendapatkannya dari titik akhir daftar model <EAS_ENDPOINT>/v1/models. Untuk BladeLLM, titik akhir ini tidak didukung, dan Anda dapat menghilangkan bidang ini atau mengaturnya ke "".

• curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

Perpustakaan requests Python

Jika Anda lebih memilih untuk tidak menambahkan dependensi SDK OpenAI, Anda dapat menggunakan perpustakaan requests.

import json
import requests

# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang diterapkan
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# Ganti <EAS_TOKEN> dengan token layanan yang diterapkan
EAS_TOKEN = "<EAS_TOKEN>"
# Ganti <model_name> dengan nama model. Anda bisa mendapatkan nama dari antarmuka daftar model di <EAS_ENDPOINT>/v1/models. Untuk BladeLLM, antarmuka ini tidak didukung. Anda dapat menghilangkan bidang "model" atau mengaturnya ke "".
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "Anda adalah asisten yang membantu."},
    {"role": "user", "content": "halo"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # Kode berikut memproses respons streaming dalam format Server-Sent Events (SSE)
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. Instal Penyedia Model yang Kompatibel dengan API OpenAI

   Klik gambar profil Anda di sudut kanan atas dan pilih Settings. Di panel navigasi di sebelah kiri, pilih Model Providers. Jika OpenAI-API-compatible tidak ada di Model List, temukan dan instal dari daftar di bawah.

   

2. Tambahkan Model

   Klik Tambah Model di sudut kanan bawah kartu Kompatibel-API OpenAI dan konfigurasikan parameter berikut:

   • Tipe Model: Pilih LLM.

   • Nama Model: Untuk penyebaran vLLM, dapatkan nama dengan mengirim permintaan GET ke titik akhir /v1/models. Contoh ini menggunakan Qwen3-8B.

   • API Key: Masukkan token layanan EAS.

   • URL Titik Akhir API: Masukkan Titik Akhir publik layanan EAS. Catatan: Tambahkan /v1 di akhir.

3. Uji Model

   1. Di halaman utama Dify, klik Create Blank App. Pilih tipe Chatflow, masukkan nama aplikasi dan informasi lainnya, lalu klik Create.

   2. Klik node LLM, pilih model yang Anda tambahkan, dan atur konteks serta Prompt.

   3. Klik Preview di sudut kanan atas dan masukkan pertanyaan.

      

Chatbox

1. Pergi ke Chatbox, unduh dan instal versi yang sesuai untuk perangkat Anda, atau langsung Launch The Web Version. Panduan ini menggunakan macOS M3 sebagai contoh.

2. Tambahkan penyedia model. Klik Pengaturan, tambahkan penyedia model, dan masukkan nama seperti pai. Untuk API Mode, pilih OpenAI API Compatible.

   

1. Pilih penyedia model pai dan konfigurasikan parameter berikut:

   • API Key: Token layanan EAS.

   • API Host: Masukkan titik akhir publik layanan EAS. Catatan: Tambahkan /v1 di akhir URL.

   • API Path: Biarkan bidang ini kosong.

   • Models: Klik Get untuk menambahkan model. Jika Mesin Inferensi adalah BladeLLM, Anda tidak dapat mendapatkan model melalui antarmuka ini. Klik New dan masukkan nama model secara manual.

   

2. Uji obrolan. Klik New Chat, dan pilih layanan model di sudut kanan bawah kotak input teks.

   

Cherry Studio

1. Instal Klien

   Kunjungi Cherry Studio untuk mengunduh dan menginstal klien.

   Anda juga dapat mengunduhnya dari https://github.com/CherryHQ/cherry-studio/releases.

2. Konfigurasikan Layanan Model

   1. Klik tombol pengaturan di sudut kiri bawah, lalu klik Add di bawah bagian Model Service. Masukkan nama kustom, seperti PAI, di bidang Model Providers, dan pilih OpenAI sebagai tipe penyedia. Klik OK.

   2. Masukkan Token layanan EAS di bidang API Key dan Titik Akhir publik layanan EAS di bidang API Host.

   3. Klik Add. Di bidang ID Model, masukkan nama model. Untuk penyebaran vLLM, dapatkan nama dengan mengirim permintaan GET ke titik akhir /v1/models. Contoh ini menggunakan Qwen3-8B. Perhatikan bahwa nama bersifat peka huruf besar-kecil.

   4. Klik Check di sebelah kotak input API Key untuk memverifikasi konektivitas.

3. Uji Model

   Kembali ke antarmuka obrolan, pilih model di bagian atas, dan mulai percakapan.