Platform For AI:EAS を使用した大規模言語モデルのデプロイ

OpenAI SDK

サービスと対話するには、公式の Python SDK を使用することをお勧めします。OpenAI SDK がインストールされていることを確認してください: pip install openai。

from openai import OpenAI

# 1. クライアントを設定
# <EAS_TOKEN> をデプロイされたサービスのトークンに置き換えます
openai_api_key = "<EAS_TOKEN>"
# <EAS_ENDPOINT> をデプロイされたサービスのエンドポイントに置き換えます
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. モデル名を取得
# BladeLLM の場合、model = "" と設定します。BladeLLM はモデル入力パラメーターを必要とせず、client.models.list() を使用したモデル名の取得をサポートしていません。OpenAI SDK の必須パラメーター要件を満たすために、空の文字列に設定します。
models = client.models.list()
model = models.data[0].id
print(model)

# 3. チャットリクエストを開始
# ストリーミング (stream=True) と非ストリーミング (stream=False) 出力をサポート
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

cURL

簡単なテストやスクリプトの統合には、cURL を使用できます。

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }' 

ここで:

• <EAS_ENDPOINT> と <EAS_TOKEN> を、サービスのエンドポイントとトークンに置き換えます。

• <model_name> をモデル名に置き換えます。vLLM/SGLang の場合、モデルリストのエンドポイント <EAS_ENDPOINT>/v1/models から取得できます。BladeLLM の場合、このエンドポイントはサポートされておらず、このフィールドを省略するか、"" に設定できます。

• curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

Python requests ライブラリ

OpenAI SDK の依存関係を追加したくない場合は、requests ライブラリを使用できます。

import json
import requests

# <EAS_ENDPOINT> をデプロイされたサービスのエンドポイントに置き換えます
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# <EAS_TOKEN> をデプロイされたサービスのトークンに置き換えます
EAS_TOKEN = "<EAS_TOKEN>"
# <model_name> をモデル名に置き換えます。モデル名は <EAS_ENDPOINT>/v1/models のモデルリストインターフェイスから取得できます。BladeLLM の場合、このインターフェイスはサポートされていません。"model" フィールドを省略するか、"" に設定できます。
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # 以下のコードは、Server-Sent Events (SSE) 形式のストリーミング応答を処理します
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. OpenAI-API-compatible モデルプロバイダーのインストール

   右上のプロフィール写真をクリックし、[Settings] を選択します。左側のナビゲーションウィンドウで、[Model Providers] を選択します。[Model List] に [OpenAI-API-compatible] がない場合は、下のリストから見つけてインストールします。

   

2. モデルの追加

   [OpenAI-API-compatible] カードの右下にある [Add Model] をクリックし、次のパラメーターを設定します。

   • Model Type: LLM を選択します。

   • Model Name: vLLM デプロイの場合、/v1/models エンドポイントに GET リクエストを送信して名前を取得します。この例では Qwen3-8B を使用します。

   • API Key: EAS サービスのトークンを入力します。

   • API endpoint URL: EAS サービスのパブリックエンドポイントを入力します。注: 末尾に /v1 を追加してください。

3. モデルのテスト

   1. Dify のメインページで、[Create Blank App] をクリックします。[Chatflow] タイプを選択し、アプリケーション名などの情報を入力してから、[Create] をクリックします。

   2. LLM ノードをクリックし、追加したモデルを選択して、コンテキストとプロンプトを設定します。

   3. 右上の [Preview] をクリックし、質問を入力します。

      

Chatbox

1. Chatbox にアクセスし、お使いのデバイスに適したバージョンをダウンロードしてインストールするか、直接 [Launch The Web Version] します。このガイドでは、macOS M3 を例として使用します。

2. モデルプロバイダーを追加します。[Settings] をクリックし、モデルプロバイダーを追加して、pai などの名前を入力します。[API Mode] には、[OpenAI API Compatible] を選択します。

   

1. pai モデルプロバイダーを選択し、次のパラメーターを設定します。

   • API Key: EAS サービスのトークン。

   • API Host: EAS サービスのパブリックエンドポイントを入力します。注: URL の末尾に /v1 を追加してください。

   • API Path: このフィールドは空のままにします。

   • Mdoels: [Get] をクリックしてモデルを追加します。推論エンジンが BladeLLM の場合、このインターフェイス経由でモデルを取得することはできません。[New] をクリックし、モデル名を手動で入力します。

   

2. チャットをテストします。[New Chat] をクリックし、テキスト入力ボックスの右下でモデルサービスを選択します。

   

Cherry Studio

1. クライアントのインストール

   Cherry Studio にアクセスしてクライアントをダウンロードし、インストールします。

   https://github.com/CherryHQ/cherry-studio/releases からもダウンロードできます。

2. モデルサービスの設定

   1. 左下の設定ボタンをクリックし、[Model Service] セクションの下にある [Add] をクリックします。[Model Providers] フィールドに PAI などのカスタム名を入力し、プロバイダータイプとして [OpenAI] を選択します。[OK] をクリックします。

   2. [API Key] フィールドに EAS サービスのトークンを入力し、[API Host] フィールドに EAS サービスのパブリックエンドポイントを入力します。

   3. [Add] をクリックします。[Model ID] フィールドにモデル名を入力します。vLLM デプロイの場合、/v1/models エンドポイントに GET リクエストを送信して名前を取得します。この例では Qwen3-8B を使用します。名前は大文字と小文字が区別されることに注意してください。

   4. [API Key] 入力ボックスの横にある [Check] をクリックして、接続性を確認します。

3. モデルのテスト

   チャットインターフェイスに戻り、上部でモデルを選択して、会話を開始します。