Platform For AI:EAS モデルオンラインサービスクイックスタート

前提条件

Alibaba Cloud メインアカウントを使用して PAI をアクティブ化し、ワークスペースを作成します。 PAI コンソールにログインし、左上隅でリージョンを選択してから、ワンクリック承認と製品のアクティブ化を完了します。

課金

このトピックでは、パブリックリソースを使用してモデルサービスを作成します。 課金方法は従量課金です。 課金ルールの詳細については、「EAS 課金」をご参照ください。

準備

モデルサービスをデプロイするには、通常、モデルファイルやコードファイル（Web インターフェースなど）を準備する必要があります。 公式プラットフォームイメージがデプロイ要件を満たしていない場合は、独自のイメージをビルドする必要があります。

# モデルのダウンロード
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen3-0.6B')

from flask import Flask

app = Flask(__name__)

@app.route('/hello/model')
def hello_world():
    # ここでモデルを呼び出して結果を取得できます。
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

サービスデプロイ

1. PAI コンソールにログインします。 ページ上部でリージョンを選択します。 次に、目的のワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックします。

2. [サービスのデプロイ] をクリックします。 [カスタムモデルデプロイ] セクションで、[カスタムデプロイ] をクリックします。

3. デプロイパラメータを構成します。 主要なパラメータを次のように構成し、その他のパラメータについてはデフォルト値を保持します。

   • [デプロイ方法]: [イメージベースのデプロイ] を選択します。

   • [イメージ構成]: [Alibaba Cloud イメージ] リストで、vllm:0.8.5.post1-mows0.2.1 を選択します。

   • [直接マウント]: このトピックでは、モデルファイルを oss://examplebucket/models/Qwen/Qwen3-0___6B パスにある OSS に保存します。 したがって、OSS を選択し、次のように構成します。

     • [URI]: モデルが配置されている OSS パス。 これを oss://examplebucket/models/ に設定します。

     • [マウントパス]: ファイルがマウントされるサービスインスタンス内の宛先パス（例: /mnt/data/）。

   • [コマンド]: 公式イメージには、関連付けられたデフォルトの起動コマンドがあります。 必要に応じて変更できます。 この例では、vllm serve /mnt/data/Qwen/Qwen3-0___6B に変更します。

   • [リソースタイプ]: [パブリックリソース] を選択します。 [リソース仕様] で、ecs.gn7i-c16g1.4xlarge を選択します。 他のリソースタイプを使用する場合は、「リソース構成」をご参照ください。

4. [デプロイ] をクリックします。 サービスのデプロイには約 5 分かかります。 [サービスステータス] が [実行中] に変わると、サービスは正常にデプロイされます。

オンラインデバッグ

サービスがデプロイされた後、オンラインデバッグ機能を使用して、サービスが正しく実行されているかどうかをテストできます。 特定のモデルサービスに基づいて、リクエストメソッド、リクエストパス、リクエスト本文を構成できます。

このトピックでデプロイされたサービスのオンラインデバッグ方法は次のとおりです。

1. [推論サービス] タブで、宛先サービスをクリックして、サービス概要ページに移動します。 [オンラインデバッグ] タブに切り替えます。

2. デバッグページの [オンラインデバッグ] > [リクエストパラメータ] セクションで、リクエストパラメータを設定し、[リクエストの送信] をクリックします。 リクエストパラメータは次のとおりです。

   • チャットインターフェース: 既存の URL に /v1/chat/completions を追加します。

   • ヘッダー: リクエストヘッダーを追加します。 キーを Content-Type に設定し、値を application/json に設定します。

     

   • 本文:

     {
       "model": "/mnt/data/Qwen/Qwen3-0___6B",
       "messages": [
         {
           "role": "user",
           "content": "Hello!"
         }
       ],
       "max_tokens": 1024
     }

3. 応答は次の図に示されています。

   

サービス呼び出し

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/****/v1/chat/completions
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}' 

import requests

# 実際のエンドポイントに置き換えます。
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/***/v1/chat/completions'
# ヘッダーの場合、Authorization の値を実際のトークンに設定します。
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# 特定のモデルで必要なデータ形式に基づいて、サービスリクエストを構築します。
data = {
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}
# リクエストを送信します。
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

サービスの停止または削除

このトピックでは、パブリックリソースを使用して従量課金制の EAS サービスを作成します。 サービスが不要になったら、サービスを停止または削除して、追加料金が発生しないようにしてください。

参考資料

• LLM サービスの効率を向上させるには、「LLM インテリジェントルーターを使用して推論効率を向上させる」をご参照ください。

• EAS 機能の詳細については、「EAS の概要」をご参照ください。