Platform For AI:PAI-EAS での大規模言語モデルのデプロイ

cURL

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }'

ここで：

• <EAS_ENDPOINT> と <EAS_TOKEN> を、ご利用のサービスのエンドポイントとトークンに置き換えます。

• <model_name> をモデル名に置き換えます。vLLM/SGLang の場合、<EAS_ENDPOINT>/v1/models API エンドポイントを呼び出してモデル名を取得します。

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

OpenAI SDK

サービスと対話するには、公式の Python SDK を使用することを推奨します。OpenAI SDK がインストールされていることを確認してください：pip install openai

from openai import OpenAI

# 1. クライアントを設定します
# <EAS_TOKEN> をデプロイしたサービスのトークンに置き換えます。
openai_api_key = "<EAS_TOKEN>"
# <EAS_ENDPOINT> をデプロイしたサービスのエンドポイントに置き換えます。
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. モデル名を取得します。
# BladeLLM の場合、model = "" と設定します。BladeLLM は model パラメーターを使用せず、client.models.list() による取得をサポートしていません。
# このパラメーターは、OpenAI SDK の要件を満たすために空の文字列に設定されます。
models = client.models.list()
model = models.data[0].id
print(model)

# 3. チャットリクエストを送信します。
# ストリーミング (stream=True) と非ストリーミング (stream=False) の出力がサポートされています。
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Python requests ライブラリ

OpenAI SDK を使用したくない場合は、requests ライブラリを使用できます。

import json
import requests

# <EAS_ENDPOINT> をデプロイしたサービスのエンドポイントに置き換えます。
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# <EAS_TOKEN> をデプロイしたサービスのトークンに置き換えます。
EAS_TOKEN = "<EAS_TOKEN>"
# <model_name> をモデル名に置き換えます。モデル名は <EAS_ENDPOINT>/v1/models API エンドポイントを呼び出すことで取得できます。
# (BladeLLM の場合、この API はサポートされていません。"model" フィールドを省略するか、"" に設定できます。)
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # 以下のコードは、Server-Sent Events (SSE) 形式のストリーミング応答を処理します。
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. OpenAI-API-compatible モデルプロバイダーのインストール

   ページの右上隅にあるプロフィール画像をクリックし、[設定] を選択します。左側のナビゲーションウィンドウで、[モデルプロバイダー] をクリックします。[モデルリスト] に OpenAI-API-compatible がない場合は、下のリストから見つけて [インストール] をクリックします。

2. モデルの追加

   OpenAI-API-compatible カードの右下隅にある [モデルを追加] をクリックし、次のパラメーターを設定します。

   • モデルタイプ：LLM を選択します。

   • モデル名：vLLM デプロイの場合、/v1/models API エンドポイントに GET リクエストを送信してモデル名を取得します。この例では、Qwen3-8B と入力します。

   • API キー：PAI-EAS サービスのトークンを入力します。

   • API エンドポイント URL：PAI-EAS サービスのパブリックエンドポイントを入力します。注：URL は /v1 で終わる必要があります。

3. サービスのテスト

   1. Dify のメインページで [空のアプリを作成] をクリックし、Chatflow タイプを選択し、アプリケーション名などの情報を入力して、[作成] をクリックします。

   2. LLM ノードをクリックし、追加したモデルを選択します。ノードを設定するには、OpenAI-API-compatible カテゴリから Qwen3-8B CHAT を選択します。SYSTEM プロンプトに、ロールの説明を入力し、コンテキスト変数 sys.query を参照します。USER エリアに、sys.query と sys.files 変数を追加します。Max Tokens (デフォルトは 512)、Presence Penalty、Thought Mode などのモデルパラメーターは必要に応じて調整できます。

   3. 右上隅の [プレビュー] をクリックし、質問を入力します。

      ボットは ワークフロー を通じて質問を処理し、返信を返します。会話エリアの上部には Deeply thought と処理時間が表示されます。

Chatbox

1. Chatbox にアクセスして、ご利用のデバイス用のクライアントをダウンロードしてインストールするか、[Web アプリを起動] をクリックして Web 版を使用します。この例では、M3 チップを搭載した Mac を使用します。

2. モデルプロバイダーの追加。[設定] をクリックし、モデルプロバイダーを追加し、pai などの名前を入力して、API モードとして OpenAI API Compatible を選択します。

3. pai モデルプロバイダーを選択し、次のパラメーターを設定します。

   • API キー：PAI-EAS サービスのトークンを入力します。

   • API ホスト：PAI-EAS サービスのパブリックエンドポイントを入力します。注：URL は /v1 で終わる必要があります。

   • API パス：空のままにします。

   • モデル：[取得] をクリックしてモデルを追加します。推論エンジンが BladeLLM で、API 取得をサポートしていない場合は、[新規] をクリックしてモデル名を手動で入力します。

4. 会話のテスト。[新規チャット] をクリックし、テキスト入力ボックスの右下隅でモデルサービスを選択します。

   会話インターフェイスの上部には、You are a helpful assistant. などのシステムプロンプトが表示されます。テキスト入力ボックスに「あなたは誰ですか？」などの質問を入力して送信します。アシスタントの返信エリアの上部に、折りたたみ可能な Deeply thought エリアと処理時間が表示され、その後にモデルの返信が続きます。

Cherry Studio

1. クライアントのインストール

   Cherry Studio にアクセスしてクライアントをダウンロードし、インストールします。

   https://github.com/CherryHQ/cherry-studio/releases からもダウンロードできます。

2. モデルサービスの設定

   1. 左下隅の設定アイコンをクリックします。[モデルサービス] セクションで、[追加] をクリックします。[プロバイダー名] に、PAI などのカスタム名を入力し、プロバイダータイプを OpenAI に設定します。[OK] をクリックします。

   2. [API キー] フィールドに、PAI-EAS サービスのトークンを入力します。[API アドレス] フィールドに、PAI-EAS サービスのパブリックエンドポイントを入力します。

   3. [追加] をクリックします。[モデル ID] フィールドに、モデル名を入力します。vLLM デプロイの場合、/v1/models API エンドポイントに GET リクエストを送信してモデル名を取得します。この例では、Qwen3-8B と入力します。名前は大文字と小文字が区別されることに注意してください。[API アドレス] を入力するときは、/v1 サフィックスを含めないでください。URL が # で終わる場合、クライアントは自動的に /v1/chat/completions パスを使用します。設定が完了すると、[モデル] エリアは利用可能なモデル (Qwen3-8B など) を自動的に識別して一覧表示します。

   4. [API キー] 入力ボックスの横にある [テスト] をクリックして、接続性を確認します。

3. モデルのクイックテスト

   ダイアログボックスに戻り、上部でモデルを選択して会話を開始します。

   たとえば、「あなたは誰ですか？」と入力してメッセージを送信します。Qwen3-8B モデルが自己紹介で応答し、モデルが準備完了であることを確認します。