Platform For AI:Penerapan model bahasa besar di PAI-EAS

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

Pada kode di atas, ganti parameter berikut:

• Ganti <EAS_ENDPOINT> dan <EAS_TOKEN> dengan titik akhir dan token layanan yang telah Anda terapkan.

• Ganti <model_name> dengan nama model. Untuk vLLM atau SGLang, Anda dapat memperoleh nama model dari API daftar model di <EAS_ENDPOINT>/v1/models.

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

Kami merekomendasikan menggunakan SDK Python resmi untuk berinteraksi dengan layanan. Pastikan Anda telah menginstal OpenAI SDK: pip install openai.

from openai import OpenAI

# 1. Konfigurasikan klien.
# Ganti <EAS_TOKEN> dengan token layanan yang telah Anda terapkan.
openai_api_key = "<EAS_TOKEN>"
# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang telah Anda terapkan.
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. Dapatkan nama model.
# Untuk BladeLLM, setel model = "". BladeLLM tidak memerlukan parameter model
# dan tidak mendukung pengambilan nama model menggunakan client.models.list().
# Setel ke string kosong untuk memenuhi persyaratan parameter wajib dari OpenAI SDK.
models = client.models.list()
model = models.data[0].id
print(model)

# 3. Kirim permintaan chat.
# Output streaming (stream=True) dan non-streaming (stream=False) didukung.
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Python requests

Jika Anda tidak ingin menambahkan dependensi pada OpenAI SDK, Anda dapat menggunakan library requests.

import json
import requests

# Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang telah Anda terapkan.
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# Ganti <EAS_TOKEN> dengan token layanan yang telah Anda terapkan.
EAS_TOKEN = "<EAS_TOKEN>"
# Ganti <model_name> dengan nama model. Anda dapat memperolehnya dari API <EAS_ENDPOINT>/v1/models.
# Untuk BladeLLM, API ini tidak didukung. Anda dapat menghilangkan bidang "model" atau mengaturnya ke "".
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # Kode berikut memproses respons streaming berformat Server-Sent Events (SSE).
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. Instal penyedia model yang kompatibel dengan OpenAI-API

   Klik avatar Anda di pojok kanan atas dan pilih Settings. Di panel kiri, pilih Model Providers. Jika OpenAI-API-compatible tidak ada di Model List, temukan di daftar di bawah dan klik Install.

2. Tambahkan model

   Klik Add Model di pojok kanan bawah kartu OpenAI-API-compatible dan konfigurasikan parameter berikut:

   • Model type: Pilih LLM.

   • Model name: Untuk penerapan vLLM, kirim permintaan GET ke titik akhir /v1/models untuk mendapatkan namanya. Untuk contoh ini, masukkan Qwen3-8B.

   • API key: Masukkan token layanan PAI-EAS Anda.

   • API endpoint URL: Masukkan titik akhir publik layanan PAI-EAS Anda dan tambahkan /v1 di akhirnya.

3. Uji integrasi

   1. Di halaman utama Dify, klik Create Blank App, pilih tipe Chatflow, masukkan nama aplikasi dan informasi lainnya, lalu klik Create.

   2. Klik node LLM, pilih model yang telah Anda tambahkan, dan atur konteks serta prompt. Pilih Qwen3-8B CHAT dari kategori OpenAI-API-compatible. Di prompt SYSTEM, masukkan deskripsi peran dan referensikan variabel konteks sys.query. Di area USER, tambahkan variabel sys.query dan sys.files. Anda dapat menyesuaikan parameter model seperti Max Tokens (default 512), Presence Penalty, dan Thinking Mode sesuai kebutuhan.

   3. Klik Preview di pojok kanan atas dan masukkan pertanyaan.

      Bot memproses pertanyaan melalui workflow dan mengembalikan balasan. Bagian atas area percakapan menampilkan status Deep thinking dan waktu yang berlalu.

Chatbox

1. Buka Chatbox untuk mengunduh dan menginstal klien untuk perangkat Anda, atau klik Launch Web App untuk versi web. Contoh ini menggunakan macOS M3.

2. Tambahkan penyedia model. Klik Settings, tambahkan penyedia model, masukkan nama seperti pai, dan pilih OpenAI API Compatible sebagai mode API.

3. Pilih penyedia PAI dan konfigurasikan parameter berikut:

   • API key: Masukkan token layanan PAI-EAS Anda.

   • API host: Masukkan titik akhir publik layanan PAI-EAS Anda dan tambahkan /v1 di akhirnya.

   • API path: Biarkan bidang ini kosong.

   • Model: Klik Get untuk menambahkan model. Mesin inferensi BladeLLM tidak mendukung pengambilan model melalui API. Jika Anda menggunakan BladeLLM, tambahkan model secara manual dengan mengklik New.

4. Uji chat. Klik New Chat dan pilih layanan model di pojok kanan bawah kotak input teks.

   Bagian atas antarmuka chat menampilkan prompt sistem, seperti You are a helpful assistant.. Masukkan pertanyaan seperti "Who are you?" di kotak teks dan kirim. Area balasan asisten menampilkan bagian Deep thinking yang dikompresi dengan waktu berpikir, diikuti oleh respons model.

Cherry Studio

1. Instal klien

   Kunjungi Cherry Studio untuk mengunduh dan menginstal klien.

   Anda juga dapat mengunduhnya dari https://github.com/CherryHQ/cherry-studio/releases.

2. Konfigurasikan layanan model

   1. Klik ikon pengaturan di pojok kiri bawah. Di bagian Model Service, klik Add. Di Provider name, masukkan nama kustom, seperti PAI, dan atur tipe penyedia ke OpenAI. Klik OK.

   2. Di bidang API key, masukkan token layanan PAI-EAS Anda. Di bidang API address, masukkan titik akhir publik layanan PAI-EAS Anda.

   3. Klik Add dan masukkan nama model di bidang Model ID. Untuk penerapan vLLM, Anda dapat memperoleh nama dengan mengirim permintaan GET ke API /v1/models. Misalnya, masukkan Qwen3-8B. Nama ini bersifat case-sensitive. Untuk API Address, masukkan URL tetapi hilangkan nomor versi v1 di akhir. Jika URL diakhiri dengan karakter #, sistem akan memaksa penggunaan path /v1/chat/completions. Setelah konfigurasi selesai, bagian Model secara otomatis mengidentifikasi dan mencantumkan model yang tersedia, seperti Qwen3-8B.

   4. Klik Test di samping bidang input API key untuk memverifikasi konektivitas.

3. Uji model dengan cepat

   Kembali ke antarmuka chat, pilih model di bagian atas, dan mulai percakapan.

   Misalnya, jika Anda memasukkan Who are you? dan model Qwen3-8B merespons dengan perkenalan diri, hal ini menunjukkan bahwa model telah diterapkan dan berfungsi dengan benar.

LangChain

LangChain adalah framework Python umum untuk membangun aplikasi LLM. Karena layanan PAI-EAS kompatibel dengan API OpenAI, Anda dapat langsung memanggil layanan tersebut dengan langchain_openai.ChatOpenAI, misalnya, untuk menyusun templat prompt menjadi rantai.

1. Instal dependensi

   pip install langchain langchain-openai

2. Konfigurasikan model. Konfigurasikan ChatOpenAI dengan parameter berikut:

   • base_url: Masukkan titik akhir publik layanan PAI-EAS Anda dan tambahkan /v1 di akhirnya.

   • api_key: Masukkan token layanan PAI-EAS Anda.

   • model: Masukkan nama model. Untuk penerapan vLLM, kirim permintaan GET ke titik akhir /v1/models untuk mendapatkan namanya. Untuk contoh ini, masukkan Qwen3-8B.

   from langchain_openai import ChatOpenAI
   
   llm = ChatOpenAI(
       base_url="<EAS_ENDPOINT>/v1",
       api_key="<EAS_TOKEN>",
       model="<model_name>"
   )

   Penting

   Anda harus menambahkan /v1 ke base_url. Jika Anda memasukkan titik akhir publik layanan PAI-EAS Anda tanpa /v1, pemanggilan akan mengembalikan 404.

3. Pemanggilan rantai. Anda dapat menyusun model dengan ChatPromptTemplate menggunakan operator |:

   from langchain_core.prompts import ChatPromptTemplate
   
   prompt = ChatPromptTemplate.from_messages([
       ("system", "You are a helpful assistant."),
       ("user", "{input}")
   ])
   
   chain = prompt | llm
   response = chain.invoke({"input": "Who are you?"})
   print(response.content)