Alibaba Cloud Model Studio:バッチ処理

• 利用可能なリージョン: International Edition (シンガポール)。

• 利用可能なモデル: qwen-max, qwen-plus, qwen-turbo。

ステップ 1: バッチファイルの準備

次の要件を満たす UTF-8 エンコードの .jsonl ファイルを準備します:

• フォーマット: 1 行に 1 つの JSON オブジェクトを記述し、それぞれが個別のリクエストを表します。

• サイズ制限: 1 ファイルあたり最大 50,000 リクエスト、サイズは 500 MB 以下。

  これらの制限を超えるファイルは、より小さなバッチに分割してください。

• 行制限: 各 JSON オブジェクトは最大 6 MB で、モデルのコンテキストウィンドウ内に収まる必要があります。

• 一貫性: ファイル内のすべてのリクエストは、同じ API エンドポイント (url) をターゲットとし、body.model で指定された同じモデルを使用する必要があります。

• 一意の識別子: 各リクエストには、ファイル内で一意の custom_id が必要です。これは、完了後に結果を参照するために使用できます。

リクエストの例

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

ステップ 2: バッチの作成

コンソールまたは Batch API を使用して、バッチタスクを作成および管理します。

ステップ 3: 統計の表示 (オプション)

モデル観測 ページで、バッチの使用統計をフィルターして表示します。

1. データ概要: [時間] の範囲 (最大 30 日) を選択し、[推論タイプ] を [バッチ推論] に設定します:

   • モニタリングデータ: 合計呼び出し数や合計失敗数など、時間範囲内のすべてのモデルの集計統計。

   • モデル: 合計呼び出し数、失敗率、平均呼び出し時間など、各モデルの詳細データ。

   

   30 日以上前の推論データを表示するには、請求書 ページに移動します。

2. モデルの詳細の表示: [モデル] リストで、特定のモデルの [アクション] 列にある [モニター] をクリックすると、合計呼び出し数や使用量などの [呼び出し統計] の詳細を表示できます。

• validating: バッチファイルが JSONL 仕様および API フォーマット要件に対して検証されています。

• in_progress: バッチファイルが検証され、処理中です。

• completed: バッチが完了しました。出力ファイルとエラーファイルがダウンロード可能です。

• failed: バッチファイルが検証プロセスに失敗しました。これは通常、無効な JSONL フォーマットやファイルサイズ超過などのファイルレベルのエラーが原因です。リクエストは処理されず、出力ファイルも生成されません。

• expired: バッチが作成時に設定された最大待機時間内に完了できませんでした。より長い待機時間を設定してください。

• cancelled: バッチがキャンセルされました。未処理のリクエストは終了します。