Alibaba Cloud Model Studio:バッチ推論

ステップ 1：入力ファイルの準備

タスクを作成する前に、次の要件を満たす JSONL ファイルを準備します。

• 形式：UTF-8 エンコードの JSONL（1 行につき 1 つの JSON オブジェクト）。

• 規模制限：1 ファイルあたり最大 50,000 件のリクエスト、最大 500 MB。

  より大規模なデータセットは、別々のタスクに分割してください。

• 1 件あたりの制限：JSON オブジェクト 1 つあたり最大 6 MB、かつモデルのコンテキストウィンドウ内であること。

• 一貫性：すべてのリクエストは、同じモデル を使用する必要があります。

• 一意の識別子：各リクエストには一意の custom_id フィールドを含める必要があります。この識別子は、出力ファイル内のリクエストとその結果を照合するために使用されます。

各 JSON オブジェクトは、次のスキーマに従う必要があります。

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

ステップ 2：タスクの作成

1. バッチ推論 ページで、Create Batch をクリックします。

2. ダイアログボックスで、タスク名 と 説明 を入力し、Maximum Waiting Time（1～14 日）を設定して、JSONL ファイルをアップロードします。

   Download Sample File をクリックしてテンプレートをダウンロードします。

   

3. 準備ができたら、OK をクリックします。

ステップ 3：タスクのモニタリングと管理

• 表示：

  • タスクリストページで、各タスクの [進捗]（処理済み／総リクエスト数）および 状態 を確認します。

  • タスク名または ID で検索するか、ワークスペースで絞り込んで特定のタスクを検索します。

• 管理：

  • キャンセル：実行中のタスクを Actions 列からキャンセルします。

  • トラブルシューティング：失敗したタスクについては、ステータスにカーソルを合わせてエラーの概要を表示し、詳細を確認するためにエラーファイルをダウンロードします。

ステップ 4：結果のダウンロード

タスクが完了したら、View Results をクリックして出力ファイルをダウンロードします：

• 結果ファイル：すべての成功したリクエストとその response 結果を含みます。

• エラーファイル（存在する場合）：すべての失敗したリクエストとその error 詳細を含みます。

両方のファイルには、入力リクエストと結果を照合するための custom_id が含まれています。

ステップ 5：使用量統計の表示（任意）

モデルモニタリング ページで、バッチ推論の使用量統計をフィルターして表示します。

OpenAI 互換 API を使用して、バッチタスクの作成および管理を自動化します。基本的なワークフローは次のとおりです。

1. ファイルのアップロード

   POST /v1/files を呼び出してファイルをアップロードし、返されたファイル ID を記録します。

2. タスクの作成 ステップ 1 で取得したファイル ID を使用して POST /v1/batches を呼び出し、返された batch_id を記録します。

3. ステータスのポーリング batch_id を使用して GET /v1/batches/{batch_id} をポーリングします。status が completed になったら、output_file_id を記録してポーリングを停止します。

4. 結果のダウンロード output_file_id を使用して GET /v1/files/{output_file_id}/content を呼び出し、結果ファイルをダウンロードします。

• validating: システムがファイル形式（JSONL）およびリクエストの有効性を検証しています。

• in_progress: システムがリクエストを処理しています。

• completed: 結果ファイルおよびエラーファイルのダウンロード準備が完了しています。

• failed: 検証に失敗しました（形式が正しくない、またはファイルが大きすぎる）。リクエストは実行されていません。

• expired: タスクが最大待機時間を超過しました。タイムアウトを長く設定して新しいタスクを作成し、再試行してください。

• cancelled: タスクが手動でキャンセルされました。開始されていないリクエストは終了されました。

• 単価：すべての成功したリクエストの入力および出力トークンは、対応するモデルのリアルタイム推論価格の 50 % で課金されます。詳細については、「モデル一覧」をご参照ください。

• 課金範囲：

  • タスク内で正常に実行されたリクエストのみが課金対象となります。

  • ファイルの解析エラー、タスク実行の失敗、または行レベルのエラーにより失敗したリクエストは、課金されません。

  • キャンセルされたタスクについて、キャンセル前に正常に完了したリクエストは通常どおり課金されます。