Platform For AI:Deploy large language models on PAI-EAS

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

Yukarıdaki kodda aşağıdaki parametreleri değiştirin:

• <EAS_ENDPOINT> ve <EAS_TOKEN> değerlerini, dağıttığınız hizmetin uç noktası ve belirteci ile değiştirin.

• <model_name> değerini model adı ile değiştirin. vLLM veya SGLang için model adını <EAS_ENDPOINT>/v1/models uç noktasındaki model listesi API'sinden alabilirsiniz.

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

Hizmetle etkileşim kurmak için resmi Python SDK'sını kullanmanızı öneririz. OpenAI SDK'yı yüklediğinizden emin olun: pip install openai.

from openai import OpenAI

# 1. Configure the client.
# Replace <EAS_TOKEN> with the token of your deployed service.
openai_api_key = "<EAS_TOKEN>"
# Replace <EAS_ENDPOINT> with the endpoint of your deployed service.
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. Get the model name.
# For BladeLLM, set model = "". BladeLLM does not require a model parameter
# and does not support getting the model name by using client.models.list().
# Set it to an empty string to meet the mandatory parameter requirement of the OpenAI SDK.
models = client.models.list()
model = models.data[0].id
print(model)

# 3. Send a chat request.
# Both streaming (stream=True) and non-streaming (stream=False) outputs are supported.
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Python requests

OpenAI SDK bağımlılığı eklemek istemiyorsanız requests kitaplığını kullanabilirsiniz.

import json
import requests

# Replace <EAS_ENDPOINT> with the endpoint of your deployed service.
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# Replace <EAS_TOKEN> with the token of your deployed service.
EAS_TOKEN = "<EAS_TOKEN>"
# Replace <model_name> with the model name. You can get it from the <EAS_ENDPOINT>/v1/models API.
# For BladeLLM, this API is not supported. You can omit the "model" field or set it to "".
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # The following code processes Server-Sent Events (SSE) formatted streaming responses.
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. OpenAI API uyumlu model sağlayıcısını yükleyin

   Sağ üst köşedeki avatarınıza tıklayın ve Settings seçeneğini belirleyin. Sol bölmede Model Providers seçeneğine tıklayın. Model List içinde OpenAI-API-compatible yoksa aşağıdaki listede bulun ve Install öğesine tıklayın.

2. Model ekleyin

   OpenAI-API-compatible kartının sağ alt köşesindeki Add Model öğesine tıklayın ve aşağıdaki parametreleri yapılandırın:

   • Model type: LLM seçeneğini belirleyin.

   • Model name: vLLM dağıtımı için ad almak üzere /v1/models uç noktasına bir GET isteği gönderin. Bu örnek için Qwen3-8B girin.

   • API key: PAI-EAS hizmet belirtecinizi girin.

   • API endpoint URL: PAI-EAS hizmetinizin genel uç noktasını girin ve sonuna /v1 ekleyin.

3. Entegrasyonu test edin

   1. Dify ana sayfasında Create Blank App öğesine tıklayın, Chatflow türünü seçin, bir uygulama adı ve diğer bilgileri girin, ardından Create öğesine tıklayın.

   2. LLM düğümüne tıklayın, eklediğiniz modeli seçin ve bağlam ile istemleri ayarlayın. OpenAI-API-compatible kategorisinden Qwen3-8B CHAT seçeneğini belirleyin. SYSTEM istemine bir rol açıklaması girin ve sys.query bağlam değişkenine referans verin. USER alanında sys.query ve sys.files değişkenlerini ekleyin. Max Tokens (varsayılan 512), Presence Penalty ve Thinking Mode gibi model parametrelerini gerektiği gibi ayarlayabilirsiniz.

   3. Sağ üst köşedeki Preview öğesine tıklayın ve bir soru girin.

      Bot, soruyu workflow üzerinden işler ve bir yanıt döndürür. Konuşma alanının üst kısmında Deep thinking durumu ve geçen süre görüntülenir.

Chatbox

1. Chatbox adresine giderek cihazınız için istemciyi indirip yükleyin veya web sürümü için Launch Web App öğesine tıklayın. Bu örnekte macOS M3 kullanılmaktadır.

2. Model sağlayıcı ekleyin. Settings öğesine tıklayın, bir model sağlayıcı ekleyin, pai gibi bir ad girin ve API modu olarak OpenAI API Compatible seçeneğini belirleyin.

3. pai sağlayıcısını seçin ve aşağıdaki parametreleri yapılandırın:

   • API key: PAI-EAS hizmet belirtecinizi girin.

   • API host: PAI-EAS hizmetinizin genel uç noktasını girin ve sonuna /v1 ekleyin.

   • API path: Bu alanı boş bırakın.

   • Model: Modeli eklemek için Get öğesine tıklayın. BladeLLM çıkarım motoru, API tabanlı model alma işlemini desteklemez. BladeLLM kullanıyorsanız New öğesine tıklayarak modeli manuel olarak ekleyin.

4. Sohbeti test edin. New Chat öğesine tıklayın ve metin giriş kutusunun sağ alt köşesindeki model hizmetini seçin.

   Sohbet arayüzünün üst kısmında You are a helpful assistant. gibi bir sistem istemi görüntülenir. Metin kutusuna "Who are you?" gibi bir soru girin ve gönderin. Asistanın yanıt alanında, düşünme süresini gösteren daraltılmış bir Deep thinking bölümü ve ardından modelin yanıtı yer alır.

Cherry Studio

1. İstemciyi yükleyin

   İstemciyi indirmek ve yüklemek için Cherry Studio adresini ziyaret edin.

   Ayrıca şuradan da indirebilirsiniz: https://github.com/CherryHQ/cherry-studio/releases .

2. Model hizmetini yapılandırın

   1. Sol alt köşedeki ayarlar simgesine tıklayın. Model Service bölümünün altında Add öğesine tıklayın. Provider name alanına PAI gibi özel bir ad girin ve sağlayıcı türünü OpenAI olarak ayarlayın. OK öğesine tıklayın.

   2. API key alanına PAI-EAS hizmet belirtecinizi girin. API address alanına PAI-EAS hizmetinizin genel uç noktasını girin.

   3. Add öğesine tıklayın ve Model ID alanına model adını girin. vLLM dağıtımları için adı /v1/models API'sine bir GET isteği göndererek alabilirsiniz. Örneğin, Qwen3-8B girin. Ad büyük/küçük harfe duyarlıdır. API Address için URL'yi girin ancak sondaki v1 sürüm numarasını atlayın. URL bir # karakteriyle biterse sistem /v1/chat/completions yolunu zorunlu olarak kullanır. Yapılandırma tamamlandığında Model bölümü Qwen3-8B gibi kullanılabilir modelleri otomatik olarak tanımlar ve listeler.

   4. Bağlantıyı doğrulamak için API key giriş alanının yanındaki Test öğesine tıklayın.

3. Modeli hızlıca test edin

   Sohbet arayüzüne dönün, üst kısımdan modeli seçin ve bir konuşma başlatın.

   Örneğin, Who are you? girdiğinizde Qwen3-8B modeli bir kendini tanıtma yanıtı veriyorsa modelin başarıyla dağıtıldığı ve çalıştığı anlamına gelir.

LangChain

LangChain, LLM uygulamaları oluşturmak için yaygın olarak kullanılan bir Python çerçevesidir. Bir PAI-EAS hizmeti OpenAI API ile uyumlu olduğundan hizmeti doğrudan langchain_openai.ChatOpenAI ile çağırabilirsiniz; örneğin, bir istem şablonunu zincire dönüştürmek için.

1. Bağımlılıkları yükleyin

   pip install langchain langchain-openai

2. Modeli yapılandırın. Aşağıdaki parametrelerle ChatOpenAI yapılandırmasını yapın:

   • base_url: PAI-EAS hizmetinizin genel uç noktasını girin ve sonuna /v1 ekleyin.

   • api_key: PAI-EAS hizmet belirtecinizi girin.

   • model: Model adını girin. vLLM dağıtımı için ad almak üzere /v1/models uç noktasına bir GET isteği gönderin. Bu örnek için Qwen3-8B girin.

   from langchain_openai import ChatOpenAI
   
   llm = ChatOpenAI(
       base_url="<EAS_ENDPOINT>/v1",
       api_key="<EAS_TOKEN>",
       model="<model_name>"
   )

   Önemli

   base_url değerine /v1 eklemelisiniz. PAI-EAS hizmetinizin genel uç noktasını /v1 olmadan girerseniz çağrı 404 hatası döndürür.

3. Zincir çağrısı. | operatörünü kullanarak modeli ChatPromptTemplate ile birleştirebilirsiniz:

   from langchain_core.prompts import ChatPromptTemplate
   
   prompt = ChatPromptTemplate.from_messages([
       ("system", "You are a helpful assistant."),
       ("user", "{input}")
   ])
   
   chain = prompt | llm
   response = chain.invoke({"input": "Who are you?"})
   print(response.content)