Alibaba Cloud Model Studio:バッチ推論

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

JSONL バッチ生成ツール

このツールを使用して、JSONL ファイルをすばやく生成できます。

(1) タスクの作成

1. バッチ推論 ページで、Create Batch をクリックします。

2. ダイアログボックスで、タスク名 および 説明 を入力し、Maximum Waiting Time (1～14 日) を設定して、JSONL ファイルをアップロードします。

   Download Sample File をクリックして、テンプレートをダウンロードできます。

   

3. 準備ができたら、OK をクリックします。

タスクの表示および管理

• 表示:

  • タスクリストページで、各タスクの [進捗状況] (処理済み/合計リクエスト数) および 状態 を確認できます。

  • タスク名または ID で検索するか、ワークスペースでフィルターを適用して、特定のタスクをすばやく見つけられます。

• 管理:

  • キャンセル: Actions 列から実行中のタスクをキャンセルできます。

  • トラブルシューティング: 失敗したタスクについては、ステータス上にカーソルを合わせるとエラーの概要が表示され、詳細情報の確認のためにエラーファイルをダウンロードできます。

結果のダウンロードおよび分析

タスクが完了すると、View Results をクリックして出力ファイルをダウンロードできます:

• 結果ファイル: 成功したすべてのリクエストおよびその 応答 結果を含みます。

• エラーファイル (該当する場合): 失敗したすべてのリクエストおよびその エラー 詳細を含みます。

両方のファイルには、入力リクエストと結果を照合するための custom_id が含まれています。

• データ概要の表示: [時間] (最大 30 日) を選択し、推論タイプ を Batches に設定すると、以下が表示されます:

  • モニタリングデータ: 選択された期間におけるすべてのモデルの概要統計 (合計呼び出し数および失敗数を含む)。

  • モデルリスト: 各モデルの詳細メトリック (合計呼び出し数、失敗率、平均呼び出し時間など)。

  

  30 日を超える推論データを表示するには、「請求書」ページに移動してください。

• モデルの詳細表示: Models で、特定のモデルの Actions をクリックし、「監視」を選択して、「Call Statistics」 (呼び出し回数および使用量など) を表示します。