Platform For AI:クイックスタート: Qwen3モデルのデプロイ、ファインチューニング、評価

モデルのデプロイ

このセクションでは、SGLangを使用してQwen3-235B-A22Bモデルをデプロイする例を示します。

1. Model Galleryページに移動します。

   1. PAIコンソールにログインします。左上隅で、利用可能な計算リソースがあるリージョンを選択します。

   2. 左側のナビゲーションウィンドウで、[ワークスペース一覧] を選択し、アクセスするワークスペースの名前をクリックします。

   3. 左側のナビゲーションウィンドウで、[クイックスタート] ＞ [モデルギャラリー] を選択します。

2. モデルギャラリーページで、[Qwen3-235B-A22B] モデルカードを見つけてクリックして、モデルの詳細を表示します。

3. 右上隅で、[デプロイ] をクリックします。以下のパラメーターを設定し、その他のパラメーターはデフォルト設定のままにして、モデルを PAI-EAS 推論サービスプラットフォームにデプロイします。

   • Deployment Method: Inference Engine を SGLang に、Deployment Template をシングルマシンに設定します。

   • Resource Information: Resource Type で、パブリックリソースを選択します。推奨仕様が提供されています。モデルに必要な最小構成については、「デプロイメントに必要な計算能力およびサポートされるトークン数」をご参照ください。

     重要

     利用可能なリソーススペックがない場合、そのリージョンのパブリックリソースは在庫切れです。以下のソリューションを試すことができます。

     • リージョンを切り替える。例えば、中国 (ウランチャブ) リージョンには、Lingjunプリエンプティブインスタンス (ml.gu7ef.8xlarge-gu100, ml.gu7xf.8xlarge-gu108, ml.gu8xf.8xlarge-gu108, ml.gu8tf.8.40xlarge) の大量の在庫があります。プリエンプティブインスタンスは回収される可能性があるため、入札を監視してください。

     • EASリソースグループを使用する。専用EASリソースを購入するには、EAS専用リソースのサブスクリプションにアクセスしてください。

オンラインデバッグ

次の図に示すように、[サービス詳細] ページの下部で [オンラインデバッグ] をクリックします。

API呼び出し

1. サービスエンドポイントとトークンを取得します。

   1. [モデルギャラリー] > [タスク管理] > [デプロイメント] に移動します。 デプロイされたサービスの名前をクリックすると、その詳細が表示されます。

   2. [エンドポイント情報の表示] をクリックして、インターネット エンドポイントとトークンを取得します。

      

2. 以下の例は、SGLangデプロイメントの/v1/chat/completionsチャットAPIを呼び出す方法を示しています。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<Model name, obtained from the '/v1/models' API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### API Configuration #####
   # Replace <EAS_ENDPOINT> with the service endpoint and <EAS_TOKEN> with the service token.
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, please introduce yourself."}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   <EAS_ENDPOINT>をサービスエンドポイントに、<EAS_TOKEN>をサービストークンに置き換えます。

呼び出し方法は、デプロイ方法によって異なります。API呼び出しの詳細については、「LLM API呼び出し」をご参照ください。

サードパーティアプリケーションとの統合

Chatbox、Dify、またはCherry Studioに接続するには、「サードパーティクライアントとの統合」をご参照ください。

トークン制限の変更

Qwen3モデルは、ネイティブで32,768のトークン長をサポートしています。RoPEスケーリング技術を使用することで、最大131,072のトークン長をサポートできますが、これによりパフォーマンスが低下する可能性があります。これを行うには、サービス構成JSONファイルのcontainers.scriptフィールドを次のように変更します。

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

ツール呼び出しの解析

vLLMとSGLangは、モデルによって生成されたツール呼び出しコンテンツを構造化メッセージに解析することをサポートしています。これを有効にするには、サービス構成JSONファイルのcontainers.scriptフィールドを次のように変更します。

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

思考モードの制御

Qwen3はデフォルトで思考モードを使用します。この機能は、思考を完全に無効にするハードスイッチ、またはモデルがユーザーの指示に従って思考するかどうかを制御するソフトスイッチで制御できます。

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

思考コンテンツの解析

「思考」部分を個別にに出力するには、サービス構成JSONファイルのcontainers.scriptフィールドを次のように変更します。

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

Q: PAIにデプロイされたモデルサービスは、セッション機能 (複数のリクエスト間でコンテキストを維持する機能) をサポートしていますか？

いいえ、サポートしていません。PAIにデプロイされたモデルサービスAPIはステートレスです。各呼び出しは独立しており、サーバーはリクエスト間でコンテキストやセッション状態を保持しません。

マルチターン対話を実装するには、クライアントが会話履歴を保存し、後続のモデル呼び出しリクエストに含める必要があります。リクエスト例については、「マルチターン対話を実装するにはどうすればよいですか？」をご参照ください。