Platform For AI:クイックスタート: Qwen3 モデルのデプロイ、ファインチューニング、評価

モデルのデプロイ

このセクションでは、SGLang を使用して Qwen3-235B-A22B モデルをデプロイする方法を示します。

1. モデルギャラリーページに移動します。

   1. PAI コンソールにログインし、左上のコーナーでリージョンを選択します。リージョンを切り替えて、十分な計算リソースがあるリージョンを見つけることができます。

   2. 左側のナビゲーションウィンドウで、[Workspace Management] をクリックし、ターゲットワークスペースの名前をクリックします。

   3. 左側のナビゲーションウィンドウで、[Getting Started] > [Model Gallery] を選択します。

2. モデルギャラリーページで、[Qwen3-235B-A22B] モデルカードをクリックして、モデルの詳細ページを開きます。

3. 右上のコーナーで、[デプロイ] をクリックします。デプロイメントメソッドを選択し、必要なリソースを指定します。これにより、モデルが PAI Elastic Algorithm Service (EAS) にデプロイされます。

   デプロイメントリソース: モデルで必要な最小構成については、「付録: 必要な計算能力とサポートされるトークン数」をご参照ください。

   • EAS リソースグループ: 専用リソースの EAS 前払いに移動して、専用の EAS リソースを購入します。

   • パブリックリソース: これはデフォルトのオプションで、推奨される仕様が含まれています。システムはリソース仕様のリストを自動的にフィルターして、モデルで利用可能なパブリックリソースのみを表示します。すべてのオプションがグレー表示されている場合、リソースは在庫切れです。別のリージョンへの切り替えを検討してください。

     重要

     プリエンプティブルリソース (ml.gu7ef.8xlarge-gu100、ml.gu7xf.8xlarge-gu108、ml.gu8xf.8xlarge-gu108、および ml.gu8tf.8.40xlarge) は、中国 (ウランチャブ) リージョンでのみ利用可能で、許可リストは必要ありません。プリエンプティブルリソースは回収される可能性があるため、それに応じて入札してください。

   

オンラインでのデバッグ

[サービス詳細] ページで、[オンラインデバッグ] をクリックします。次の図に例を示します。

API の呼び出し

1. サービスエンドポイントとトークンを取得します。

   1. [モデルギャラリー] > [タスク管理] > [デプロイメントタスク] で、デプロイされたサービスの名前をクリックしてサービス詳細ページを開きます。

   2. [呼び出しメソッドの表示] をクリックして、サービスのエンドポイントとトークンを表示します。

      

2. 次の例は、SGLang デプロイメントの /v1/chat/completions エンドポイントを呼び出す方法を示しています。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, get from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### API configuration #####
   # <EAS_ENDPOINT> をデプロイされたサービスのエンドポイントに、<EAS_TOKEN> をサービスのトークンに置き換えます。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, please introduce yourself."}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   <EAS_ENDPOINT> をサービスのエンドポイントに、<EAS_TOKEN> をサービストークンに置き換えます。

呼び出しメソッドはデプロイメントタイプによって異なります。その他の例については、「大規模言語モデルのデプロイと API の呼び出し」をご参照ください。

サードパーティアプリケーションの統合

Chatbox、Dify、または Cherry Studio に接続するには、「サードパーティクライアントの統合」をご参照ください。

トークン制限の変更

Qwen3 モデルは、ネイティブで 32,768 のトークン長をサポートしています。RoPE スケーリング技術を使用してこれを最大 131,072 トークンまで拡張できますが、これによりわずかなパフォーマンスの低下が発生する可能性があります。これを行うには、サービス構成 JSON ファイルの containers.script フィールドを次のように変更します:

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

ツール呼び出しの解析

vLLM と SGLang は、モデルのツール呼び出し出力を構造化メッセージに解析することをサポートしています。これを有効にするには、サービス構成 JSON ファイルの containers.script フィールドを次のように変更します:

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

思考モードの制御

Qwen3 はデフォルトで思考モードを使用します。この動作は、ハードスイッチ (思考を完全に無効にする) またはソフトスイッチ (モデルが思考するかどうかについてユーザーの指示に従う) で制御できます。

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

思考コンテンツの解析

思考部分を個別に出力するには、サービス構成 JSON ファイルの containers.script フィールドを次のように変更します:

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

Q: PAI にデプロイされたモデルで、複数の API 呼び出しにわたって会話のコンテキストを維持するにはどうすればよいですか？

いいえ、PAI にデプロイされたモデルサービスはステートレスです。各 API 呼び出しは独立しており、サーバーはリクエスト間でコンテキストを保持しません。

マルチターン対話を実装するには、クライアント側で会話履歴を管理する必要があります。新しい API 呼び出しごとに、messages ペイロードで会話履歴全体を渡す必要があります。例については、「マルチターン対話を実装するにはどうすればよいですか？」をご参照ください。