Alibaba Cloud Model Studio:バッチ処理

ステップ 1：バッチファイルの準備

次の要件を満たす UTF-8 エンコードの .jsonl ファイルを準備します。

• フォーマット：1 行に 1 つの JSON オブジェクトを記述し、それぞれが個別のリクエストを表します。

• サイズ制限：ファイルごとに最大 50,000 リクエスト、サイズは 500 MB 以下。

  これらの制限を超えるファイルは、より小さなバッチに分割してください。

• 行制限：各 JSON オブジェクトは最大 6 MB で、モデルのコンテキストウィンドウ内に収まる必要があります。

• 一貫性：ファイル内のすべてのリクエストは、同じ API エンドポイント (url) をターゲットとし、同じモデル (body.model)を使用する必要があります。

• 一意の識別子：各リクエストには、ファイル内で一意の custom_id が必要です。これは、完了後に結果を参照するために使用できます。

リクエスト例

以下のサンプルには、Qwen-Max に送信される 2 つのリクエストが含まれています：

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

ステップ 2：バッチの作成

コンソールまたはバッチ API を通じてバッチタスクを作成および管理します。

ステップ 3：データ統計の表示 (オプション)

モデル観測 ページで、バッチの使用状況統計をフィルターして表示します。

1. データ概要の表示：[時間] の範囲 (最大 30 日) を選択します。[推論タイプ] を [バッチ推論] に設定します：

   • モニタリングデータ：時間範囲内のすべてのモデルの集計統計 (総呼び出し数、総失敗数など)。

   • モデル：各モデルの詳細データ (総呼び出し数、失敗率、平均呼び出し時間など)。

   

   30 日以上前の推論データを表示するには、請求書 ページに移動してください。

2. モデル詳細の表示：[モデル] リストで、特定のモデルの [操作] 列にある [モニタリング] をクリックして、その [呼び出し統計] の詳細 (総呼び出し回数や使用量など) を表示します。

• validating：バッチファイルが JSONL 仕様および API フォーマット要件に対して検証されています。

• in_progress：バッチファイルが検証され、処理中です。

• completed：バッチが完了しました。出力ファイルとエラーファイルがダウンロード可能です。

• failed：バッチファイルが検証プロセスに失敗しました。これは通常、無効な JSONL フォーマットやファイルサイズ超過などのファイルレベルのエラーが原因です。リクエストは処理されず、出力ファイルは生成されません。

• expired：バッチが作成時に設定された最大待機時間内に完了できませんでした。より長い待機時間を設定してください。

• cancelled：バッチがキャンセルされました。未処理のリクエストは終了します。