Platform For AI:クイックスタート：Qwen3 モデルのデプロイ、ファインチューニング、評価

モデルのデプロイ

この例では、SGLang を使用して Qwen3-235B-A22B モデルをデプロイします。

1. モデルギャラリーページに移動します。

   1. PAI コンソールにログインします。左上の隅でリージョンを選択します。利用可能なコンピューティングリソースを見つけるには、リージョンを切り替えてください。

   2. 左側のナビゲーションウィンドウで、Workspaces を選択し、対象のワークスペースをクリックします。

   3. 左側のナビゲーションウィンドウで、QuickStart > [Model Gallery] を選択します。

2. モデルギャラリーページで、Qwen3-235B-A22B モデルカードをクリックして、モデル詳細ページに移動します。

3. 右上の隅にある Deploy をクリックします。次のパラメーターを設定し、その他のパラメーターはデフォルト値のままにします。

   • Deployment Method：Inference Engine を SGLang に、Deployment Template を Single-Node に設定します。

   • Resource Information：Resource Type で、パブリックリソースを選択します。 システムによって、適切なインスタンスタイプが推奨されます。 最小限必要な構成については、「付録: 必要なコンピューティングリソースとサポートされるトークン数」をご参照ください。

     重要

     利用可能なリソース仕様がない場合、現在のリージョンのパブリックリソースの在庫が不足しています。次のオプションをお試しください：

     • リージョンを切り替える。中国 (ウランチャブ) は、ml.gu7ef.8xlarge-gu100、ml.gu7xf.8xlarge-gu108、ml.gu8xf.8xlarge-gu108、ml.gu8tf.8.40xlarge などの Lingjun プリエンプティブルリソースの在庫が豊富です。プリエンプティブルリソースは回収される可能性があります。入札は慎重に行ってください。

     • EAS リソースグループを使用する。EAS 専用リソースサブスクリプションに移動して、専用 EAS リソースを購入します。

オンラインデバッグ

Service details ページで、下部にあるオンラインデバッグをクリックします。例：

API の呼び出し

1. サービスエンドポイントとトークンを取得します：

   1. 左側のナビゲーションウィンドウで、[Model Gallery] > Job Management > Deployment Jobs を選択し、サービス名をクリックしてサービス詳細ページを開きます。

   2. View Call Information をクリックして、インターネットエンドポイントとトークンを見つけます。

      

2. 次の例では、SGLang でデプロイされたサービスの /v1/chat/completions チャット API を呼び出します。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, obtained from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### API 設定 #####
   # <EAS_ENDPOINT> をサービスエンドポイントに、<EAS_TOKEN> をサービストークンに置き換えます。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "你好，请介绍一下你自己。"}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   <EAS_ENDPOINT> をサービスエンドポイントに、<EAS_TOKEN> をサービストークンに置き換えます。

呼び出し方法はデプロイメント方法によって異なります。その他の例については、「デプロイされた LLM サービスの API の呼び出し」をご参照ください。

サードパーティとの連携

Chatbox、Dify、または Cherry Studio に接続するには、「サードパーティクライアントとの連携」をご参照ください。

トークン制限の変更

Qwen3 モデルはネイティブで 32,768 トークンをサポートします。RoPE スケーリングにより最大 131,072 まで拡張できますが、パフォーマンスがわずかに低下する可能性があります。これを有効にするには、サービス設定 JSON の containers.script フィールドを次のように変更します：

• vLLM：

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang：

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

ツール呼び出しの解析

vLLM と SGLang は、ツール呼び出しコンテンツを構造化メッセージに解析することをサポートしています。これを有効にするには、サービス設定 JSON の containers.script フィールドを次のように変更します：

• vLLM：

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang：

  python -m sglang.launch_server ... --tool-call-parser qwen25

思考モードの制御

Qwen3 はデフォルトで思考モードを使用します。ハードスイッチを使用して思考を完全に無効にするか、ソフトスイッチを使用してモデルが思考するかどうかに関するユーザーの命令に従うようにします。

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

思考コンテンツの解析

応答の思考部分を個別に出力するには、サービス設定 JSON の containers.script フィールドを次のように変更します：

• vLLM：

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang：

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

Q：PAI でデプロイされたサービスはセッションコンテキストをサポートしていますか？

いいえ。PAI にデプロイされたモデルサービス API はステートレスです。各呼び出しは独立しており、サーバーはリクエスト間でコンテキストやセッションの状態を保持しません。

マルチターン対話を実現するには、クライアントが会話履歴を保存し、後続の API リクエストに含める必要があります。例については、「マルチターン対話の実装方法」をご参照ください。