Platform For AI:クイックスタート：Qwen3 モデルのデプロイ、ファインチューニング、評価

モデルのデプロイ

このセクションでは、SGLang を使用して Qwen3-235B-A22B モデルをデプロイする方法を説明します。

1. Model Gallery ページに移動します。

   1. PAI コンソールにログインし、左上でリージョンを選択します。リージョンを切り替えて、十分な計算リソースがあるリージョンを見つけることができます。

   2. 左側メニューで、[Workspace Management] をクリックし、ターゲットワークスペースの名前をクリックします。

   3. 左側メニューで、[QuickStart] > [Model Gallery] を選択します。

2. Model Gallery ページで、[Qwen3-235B-A22B] モデルカードをクリックして、モデルの詳細ページを開きます。

3. 右上の [Deploy] をクリックします。以下のパラメーターを設定し、他のパラメーターはデフォルト値を使用して、モデルを Elastic Algorithm Service (EAS) にデプロイします。

   • Deployment Method：Inference Engine を SGLang に設定し、Deployment Template を Single-Node に設定します。

   • Resource Information：Resource Type をパブリックリソースに設定します。システムが自動的にインスタンスタイプを推奨します。最小構成については、「必要な計算能力とサポートされるトークン数」をご参照ください。

   • 重要

     利用可能なインスタンスタイプがない場合、そのリージョンのパブリックリソースの在庫が不足していることを意味します。以下のオプションをご検討ください。

     • リージョンの切り替え。例えば、中国 (ウランチャブ) リージョンには、ml.gu7ef.8xlarge-gu100、ml.gu7xf.8xlarge-gu108、ml.gu8xf.8xlarge-gu108、ml.gu8tf.8.40xlarge などの Lingjun プリエンプティブルリソースの在庫が豊富にあります。プリエンプティブルリソースは回収される可能性があるため、入札にはご注意ください。

     • EAS リソースグループの使用。EAS 専用リソースサブスクリプションから専用の EAS リソースを購入できます。

   

オンラインでのデバッグ

[Service Details] ページで、[Online Debugging] をクリックします。以下の図に例を示します。

API の呼び出し

1. サービスエンドポイントとトークンを取得します。

   1. [Model Gallery] > [Job Management] > [Deployment Jobs] で、デプロイされたサービスの名前をクリックしてサービス詳細ページを開きます。

   2. [View Invocation Method] をクリックして、[Internet Endpoint] とトークンを表示します。

      

2. 以下の例は、SGLang デプロイの /v1/chat/completions エンドポイントを呼び出す方法を示しています。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, get from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### API configuration #####
   # <EAS_ENDPOINT> をデプロイされたサービスのエンドポイントに、<EAS_TOKEN> をサービスのトークンに置き換えます。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, please introduce yourself."}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   <EAS_ENDPOINT> をサービスのエンドポイントに、<EAS_TOKEN> をサービストークンに置き換えてください。

呼び出し方法はデプロイタイプによって異なります。その他の例については、「大規模言語モデルのデプロイと API の呼び出し」をご参照ください。

サードパーティアプリケーションの統合

Chatbox、Dify、または Cherry Studio に接続するには、「サードパーティクライアントの統合」をご参照ください。

トークン制限の変更

Qwen3 モデルは、ネイティブで 32,768 のトークン長をサポートしています。RoPE スケーリング技術を使用してこれを最大 131,072 トークンまで拡張できますが、パフォーマンスがわずかに低下する可能性があります。これを行うには、サービス設定 JSON の containers.script フィールドを次のように変更します。

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

ツール呼び出しの解析

vLLM と SGLang は、モデルのツール呼び出し出力を構造化されたメッセージに解析できます。有効にするには、サービス設定 JSON の containers.script フィールドを次のように変更します。

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

思考モードの制御

Qwen3 はデフォルトで思考モードを使用します。この動作は、ハードスイッチ (思考を完全に無効にする) またはソフトスイッチ (モデルが思考するかどうかについてユーザーの指示に従う) で制御できます。

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

思考コンテンツの解析

思考部分を個別に出力するには、サービス設定 JSON ファイルの containers.script フィールドを次のように変更します。

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

Q：PAI にデプロイされたモデルで、複数の API 呼び出しにまたがって会話コンテキストを維持するにはどうすればよいですか？

PAI にデプロイされたモデルサービスはステートレスです。各 API 呼び出しは独立しており、サーバーはリクエスト間でコンテキストを保持しません。

マルチターン対話を実装するには、クライアント側で会話履歴を管理する必要があります。新しい API 呼び出しごとに、messages ペイロードで会話履歴全体を渡す必要があります。例については、「マルチターン対話を実装するにはどうすればよいですか？」をご参照ください。