Platform For AI:サービスのオンラインデバッグ

オンラインデバッグの手順

1. オンラインデバッグページへ移動します。

   1. PAI コンソール にログインします。ページ上部からリージョンを選択し、目的のワークスペースを選択して、Elastic Algorithm Service (EAS) をクリックします。

   2. Inference Service タブで、テスト対象のサービスを見つけます。その後、該当サービスの Actions 列より、 > Online Debugging をクリックします。

2. リクエストの構築と送信（重要ステップ）。モデルの種類によって、API 操作の定義（特に URL パスおよびリクエストボディのフォーマット）が異なります。リクエストパラメーターを正しく入力してください。標準的なリクエストには、以下の要素が含まれます：

   • メソッド：通常は POST または GET です。

   • URL：オンラインデバッグ機能ではベースアドレスが自動入力されます。ただし、追加する具体的な API パスを明確に指定する必要があります。誤ったパスが指定された場合、最も一般的なエラー原因は 404 Not Found です。

   • ヘッダー：Authorization トークンは通常自動入力されます。このトークンは変更しないでください。

   • ボディ：リクエストボディは API の要件を満たし、正しいフォーマットである必要があります。フォーマットの不備は、400 Bad Request や 500 Internal Server Error の主な原因となります。

使用例

本例では、vLLM を使用してデプロイされた Qwen2.5-7B-Instruct モデルサービスの会話 API をテストします。パラメーターは以下のとおりです：

• メソッド：POST

• URL：http://***********/v1/chat/completions（オンラインデバッグで自動入力された URL に、/v1/chat/completions を追加します）

• ボディ：

  {
      "model": "Qwen2.5-7B-Instruct",
      "messages": [
          {
              "role": "user",
              "content": "カナダの首都はどこですか？"
          }
      ]
  }

実行結果は以下のとおりです：

よくある質問

1. 正しい URL およびリクエストボディをどのように特定すればよいですか？

   これは、デプロイするモデルに完全に依存します。詳細については、「典型的なシナリオにおけるリクエストの構築方法」をご参照ください。

次のステップ

• パフォーマンス評価：EAS が提供する サービスのストレステスト を使用して、EAS サービスのパフォーマンスを評価できます。

• 正式な呼び出し：サービスのパフォーマンスが要件を満たした後、正式にサービスを呼び出すことができます。詳細については、「サービスの呼び出し」をご参照ください。