Platform For AI:PAI での Qwen3 モデルのデプロイ、ファインチューニング、評価

モデルのデプロイ

この例では、SGLang を使用して Qwen3-235B-A22B モデルをデプロイします。

1. モデルギャラリーページに移動します。

   1. PAI コンソールにログインし、左上隅でリージョンを選択します。リージョンを切り替えて、利用可能なコンピューティングリソースを検索します。

   2. 左側メニューで ワークスペース一覧 を選択し、対象のワークスペース名をクリックして開きます。

   3. 左側メニューで、クイックスタート > [Model Gallery] を選択します。

2. モデルギャラリーページの右側にあるモデルリストで、[Qwen3-235B-A22B] モデルカードをクリックしてモデル詳細ページを開きます。

3. 右上隅の デプロイメント をクリックします。以下のパラメータを設定し、その他はデフォルト設定のままにして、モデルを EAS 推論サービスプラットフォームにデプロイします。

   • デプロイメント方式 ： 推論エンジン を SGLang に、デプロイテンプレート を Single-Node に設定します。

   • リソース情報 ： リソースタイプ でパブリックリソースを選択します。システムが適切なインスタンスタイプを推奨します。各モデルの最小構成については、「付録：コンピューティングリソースとトークン上限」をご参照ください。

     重要

     利用可能なインスタンスタイプがない場合、そのリージョンのパブリックリソースは在庫切れです。以下のオプションをご検討ください：

     • リージョンの切り替え。中国 (ウランチャブ) では、より多くの Lingjun プリエンプティブルリソース (ml.gu7ef.8xlarge-gu100、ml.gu7xf.8xlarge-gu108、ml.gu8xf.8xlarge-gu108、ml.gu8tf.8.40xlarge) を提供しています。プリエンプティブルリソースは回収される可能性があるため、入札額は慎重に設定してください。

     • EAS リソースグループの使用。EAS 専用リソースのサブスクリプションページに移動して、EAS 専用リソースを購入します。

オンラインデバッグ

サービスの詳細 ページの下部で、オンラインデバッグをクリックします。以下の図は一例です。

API の呼び出し

1. サービスエンドポイントとトークンを取得します。

   1. [Model Gallery] > タスク管理 > タスクのデプロイメント で、デプロイしたサービスのサービス名をクリックして、サービス詳細ページを開きます。

   2. エンドポイント情報の表示 をクリックして、インターネットエンドポイントとトークンを取得します。

      

2. SGLang でデプロイされたサービスの /v1/chat/completions チャット API への呼び出し例。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, obtained from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### API 設定 #####
   # <EAS_ENDPOINT> をサービスエンドポイントに、<EAS_TOKEN> をサービス トークンに置き換えます。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, could you please introduce yourself"}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   <EAS_ENDPOINT> をサービスエンドポイントに、<EAS_TOKEN> をサービス トークンに置き換えます。

呼び出し方法はデプロイ方法によって異なります。その他の呼び出し方法については、「デプロイされた LLM サービスの API の呼び出し」をご参照ください。

サードパーティとの統合

Chatbox、Dify、または Cherry Studio に接続するには、「サードパーティクライアントとの統合」をご参照ください。

トークン上限の変更

Qwen3 モデルは、標準で 32,768 トークンをサポートします。RoPE スケーリングによってこれを 131,072 まで拡張できますが、パフォーマンスがわずかに低下する可能性があります。サービス設定 JSON の containers.script フィールドを変更します：

• vLLM：

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang：

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

ツール呼び出しの解析

vLLM と SGLang は、モデルによって生成されたツール呼び出しのコンテンツを構造化されたメッセージにパースできます。サービス設定 JSON の containers.script フィールドを変更します:

• vLLM：

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang：

  python -m sglang.launch_server ... --tool-call-parser qwen25

思考モードの制御

Qwen3 はデフォルトで思考モードを使用します。ハードスイッチは思考を完全に無効にし、ソフトスイッチは、モデルが思考するかどうかの指示に従うようにします。

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

思考コンテンツの解析

think コンテンツを個別に出力するには、サービス設定 JSON の containers.script フィールドを変更します：

• vLLM：

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang：

  python -m sglang.launch_server ... --reasoning-parser qwen3

Q： PAI にデプロイされたモデルサービスは、複数のリクエストにまたがってコンテキストを保持するセッションをサポートしていますか？

いいえ。PAI にデプロイされたモデルサービスの API はステートレスです。各呼び出しは完全に独立しており、サーバーはリクエスト間でコンテキストやセッション状態を保持しません。

マルチターン対話を実装するには、クライアントが会話履歴を保存し、各リクエストに添付する必要があります。リクエストの例については、「マルチターン対話の実装方法」をご参照ください。