全部產品
Search
文件中心

Alibaba Cloud Model Studio:批量推理

更新時間:Nov 18, 2026

對於無需即時回應的推理情境,批量推理能以僅為即時推理 50% 的成本,非同步處理大批量的資料請求,且提供相容 OpenAI 的 API,適合模型評測、資料標註等批量作業。

工作原理

  1. 提交任務:上傳包含多個請求的 JSONL 檔案,建立批量推理任務。
  2. 非同步處理:系統在後台佇列中處理任務,您可通過控制台或 API 查詢任務進度與狀態。
  3. 下載結果:任務完成後,系統會產生結果檔案(記錄成功的回應)與錯誤檔案(如有,記錄失敗詳情)。

適用範圍

新加坡

支援的模型:

  • 文本產生模型
    • Qwen Max:qwen3.8-max、qwen-max
    • Qwen Plus:qwen3.7-plus、qwen-plus
    • Qwen Flash:qwen-flash
  • 多模態模型

中國(北京)

支援的模型:

  • 文本產生模型
    • Qwen Max:qwen4-max、qwen3.8-max、qwen3.7-max、qwen-max、qwen-max-latest
    • Qwen Plus:qwen3.7-plus、qwen3.6-plus、qwen3.5-plus、qwen-plus、qwen-plus-latest
    • Qwen Flash:qwen3.8-flash、qwen3.7-flash、qwen3.6-flash、qwen3.5-flash、qwen-flash
  • 多模態模型
    • 圖像與影片理解:qwen4-max、qwen3.8-max、qwen3.8-flash、qwen3.7-plus、qwen3.6-plus、qwen3.7-flash、qwen3.6-flash、qwen3.5-plus、qwen3.5-flash、qwen3-vl-plus、qwen-vl-max-latest、qwen-vl-plus-latest
    • 文字提取:qwen-vl-ocr
    • 全模態:qwen3.5-omni-plus、qwen3.5-omni-flash
  • 文本向量模型: text-embedding-v4

重要

  • 在 Batch 情境下,qwen3.8-max、qwen3.8-flash、qwen3.7-max、qwen3.7-plus、qwen3.6-plus、qwen3.7-flash、qwen3.6-flash、qwen3.5-plus、qwen3.5-flash、qwen3.5-omni-flash 與 qwen3.5-omni-plus 單次請求支援的最大上下文 Token 數為 256K。qwen3.5-omni-plus 與 qwen3.5-omni-flash 不支援語音輸出。
  • 部分模型支援思考模式,開啟後會產生思考 tokens,導致成本增加。
  • qwen3.8、qwen3.7、qwen3.6 與 qwen3.5 系列模型預設開啟思考模式。使用混合思考模型時,建議顯式設定 enable_thinking 參數(true 開啟/false 關閉)。
  • 在 JSONL 請求體中,enable_thinking 是 body 的頂層參數,須與 model 同級傳入,不能放在 extra_body 中。
  • 批量推理結果檔案不包含 reasoning_content 欄位。即使設定了 enable_thinking=true,結果檔案中的 choices[0].message 也僅包含 content 與 role 欄位。如需取得思考過程內容,請使用即時 API 呼叫(串流或非串流皆可,只需設定 enable_thinking=true)。更多資訊請參見深度思考。

使用批量推理

步驟一:準備輸入檔案

建立任務前,請準備一個符合以下規範的 JSONL 檔案:

  • 格式:UTF-8 編碼的 JSONL(每行一個獨立的 JSON 對象)。

  • 規模限制:單檔案最多 50,000 個請求,且不超過 500 MB。

    資料量超出此限制時,請拆分為多個任務分別提交。

  • 單行限制:每個 JSON 對象必須 ≤ 1 MB,且不得超過模型的上下文長度。

  • 一致性要求:同一檔案內的所有請求必須使用相同模型。

  • 唯一標識:每個請求必須包含一個在檔案內唯一的 custom_id 欄位,用於匹配結果。custom_id 最多支援 256 個字元,超過此限制將導致任務校驗失敗。如需傳遞更長的標識資訊,可在建立任務時使用 metadata 的自訂欄位。詳情請參見使用 metadata 回傳自訂標識。

  • 媒體檔案地址:多模態請求 body 中通過 image_url、video_url 等欄位引用的媒體檔案,必須使用公網可存取的 URL。不支援本地檔案路徑(如 file:///home/user/test.mp4)與內網地址;使用此類地址建立的任務雖可提交成功,但永遠不會被處理完成,請先將檔案上傳至公網可存取的儲存空間,再引用其 URL。

每個 JSON 對象須遵循以下欄位規範:

欄位

類型

是否必填

說明

custom_id

string

是

請求的唯一識別碼

method

string

是

HTTP 方法,僅支援 POST

url

string

是

請求端點。文本產生與多模態模型填寫 /v1/chat/completions,文本向量模型填寫 /v1/embeddings

body

object

是

請求體,格式與指定 url 對應的 API(/v1/chat/completions 或 /v1/embeddings)一致

樣本檔案

可下載樣本檔案 test_model.jsonl,內容為:

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-max","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}
Batch 推理 JSONL 檔案產生工具

批量推理需要構造一個每行均為獨立請求的 JSONL 檔案。以下 Python 指令碼可直接執行,產生符合格式的 JSONL 檔案。

使用方式

  1. 將以下程式碼儲存為 generate_batch_jsonl.py
  2. 修改指令碼中 TASKS 列表內的請求內容
  3. 執行 python generate_batch_jsonl.py
  4. 產生的 batch_input.jsonl 檔案可直接用於 Batch 推理任務
文本產生模型 JSONL 產生指令碼
#!/usr/bin/env python3
"""
Batch 推理 JSONL 文件生成工具

支持的地域与模型请参见上方“适用范围”。

文件大小限制:单行 ≤6MB,总文件 ≤500MB,建议 ≤10000 行

使用方式:
  1. 修改下方 TASKS 列表
  2. 运行: python generate_batch_jsonl.py
  3. 输出: batch_input.jsonl
"""
import json

# ═══════════════════════════════════════════════════════
# 配置区:修改以下内容来生成您需要的 JSONL
# ═══════════════════════════════════════════════════════

MODEL = "qwen-max"          # 选择模型(参见上方“适用范围”)
ENABLE_THINKING = False     # 是否开启思考模式(仅部分模型支持)
THINKING_BUDGET = 50        # 思考 token 预算(思考模式下生效)

# 任务列表:每个 dict 代表一条用户消息
TASKS = [
    {"role": "user", "content": "你好!请介绍一下自己。"},
    {"role": "user", "content": "What is 2+2?"},
    {"role": "user", "content": "请用Python写一个快速排序算法"},
]

# ═══════════════════════════════════════════════════════
# 以下为生成逻辑,一般无需修改
# ═══════════════════════════════════════════════════════

def build_request(custom_id: str, model: str, messages: list,
                  enable_thinking: bool = False, thinking_budget: int = 50) -> dict:
    """构造单条 Batch 请求"""
    body = {"model": model, "messages": messages}
    if enable_thinking:
        body["enable_thinking"] = True
        body["thinking_budget"] = thinking_budget
        body["stream"] = True  # 思考模式需开启 stream
    return {
        "custom_id": custom_id,
        "method": "POST",
        "url": "/v1/chat/completions",
        "body": body
    }

def main():
    output_file = "batch_input.jsonl"
    with open(output_file, "w", encoding="utf-8") as f:
        for i, task in enumerate(TASKS, 1):
            messages = [
                {"role": "system", "content": "You are a helpful assistant."},
                task
            ]
            req = build_request(
                custom_id=f"request-{i}",
                model=MODEL,
                messages=messages,
                enable_thinking=ENABLE_THINKING,
                thinking_budget=THINKING_BUDGET
            )
            f.write(json.dumps(req, ensure_ascii=False) + "\n")
    print(f"已生成 {output_file},共 {len(TASKS)} 条请求")

if __name__ == "__main__":
    main()
多模態模型請求格式

多模態模型的 content 欄位為陣列格式,包含媒體對象與文本提問。每行請求中的媒體 URL 必須為同一類型(圖片、影片或音訊)。將上方指令碼中的 TASKS 替換為以下格式即可:

# 多模态模型配置示例

# 多模态任务:content 为数组格式
TASKS = [
    {"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": "https://example.com/image1.jpg"}},
        {"type": "image_url", "image_url": {"url": "https://example.com/image2.jpg"}},
        {"type": "text", "text": "这些图描绘了什么内容?"}
    ]},
]

# {"type": "input_audio", "input_audio": {"data": "https://example.com/audio.wav", "format": "wav"}}
# {"type": "video_url", "video_url": "https://example.com/video.mp4"}

# 注意:
# - 其他多模态模型包含 system 角色,thinking_budget 设置为 50
# - 思考模式需额外设置 ENABLE_THINKING = True
文本向量模型請求格式

文本向量模型使用 /v1/embeddings API,請求格式與文本產生模型不同。可使用以下獨立指令碼產生:

#!/usr/bin/env python3
"""文本向量模型 Batch JSONL 生成(使用 /v1/embeddings 接口)"""
import json

MODEL = "text-embedding-v3"  # 向量模型,可选型号参见上方“适用范围”

TEXTS = [
    "衣服的质量杠杠的,很漂亮,不枉我等了这么久啊,喜欢,以后还来这里买。",
    "风急天高猿啸哀",
    "The quick brown fox jumps over the lazy dog",
]

output_file = "batch_embedding.jsonl"
with open(output_file, "w", encoding="utf-8") as f:
    for i, text in enumerate(TEXTS, 1):
        req = {
            "custom_id": f"emb-{i}",
            "method": "POST",
            "url": "/v1/embeddings",
            "body": {"model": MODEL, "input": text, "encoding_format": "float"}
        }
        f.write(json.dumps(req, ensure_ascii=False) + "\n")
print(f"已生成 {output_file},共 {len(TEXTS)} 条请求")

在批量推理中配置思考模式

部分模型(如 qwen3.7-plus、qwen3.7-max 及 qwen3.6、qwen3.5 系列)預設開啟思考模式,會產生額外的思考 Token。如需在批量推理中配置思考模式,請在 JSONL 檔案每行請求的 body 中設定 enable_thinking 參數,與 model 同級放置。可選參數 thinking_budget 用於限制思考 Token 數量上限。

重要enable_thinking 和 thinking_budget 必須直接放在 body 的最外層(與 model 同級)。請勿將其放入 extra_body 中——extra_body 是 OpenAI Python SDK 用於透傳非標準參數的機制,僅在即時推理的 SDK 呼叫中有效,不適用於批量推理的 JSONL 檔案。

樣本:關閉思考模式

{"custom_id":"request-1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":false,"messages":[{"role":"user","content":"你好"}]}}

樣本:開啟思考模式並限制思考 Token 預算

{"custom_id":"request-2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen3.5-plus","enable_thinking":true,"thinking_budget":50,"messages":[{"role":"user","content":"请分析以下问题"}]}}

步驟二:建立批量推理任務

  1. 在 **批量推理** 頁面,單擊 建立批次。

  2. 在彈出的對話框中:填寫 任務名稱 與 任務描述,設定 最長等待時間(1–14 天),並上傳 JSONL 檔案。

    可單擊 下載樣本檔案 獲取模板。

  3. 填寫完成後,單擊 確認。

步驟三:監控和管理任務

  • 查看:

    • 在任務頁面,查看任務的 進度(已處理請求數/總請求數)與 狀態。
    • 按任務名稱或 ID 搜尋,或按工作空間篩選,快速定位目標任務。
  • 管理:

    • 取消:「執行中」狀態的任務可在 操作 欄取消。

步驟四:下載結果

重要任務完成 30 天後將自動刪除,請及時下載結果。

任務完成後,單擊 查看結果 下載產出檔案:

  • 結果檔案:記錄所有成功請求及其 response 結果。
  • 錯誤檔案(如有):記錄所有失敗請求及其 error 詳情。

兩個檔案均包含 custom_id 欄位,用於匹配原始輸入資料、關聯結果或定位錯誤。

步驟五:查看用量統計(可選)

在 監控 頁面,篩選並查看批量推理的用量統計。

  • 查看資料總覽:選擇時間(最長 30 天),將 推理類型 設為 批量推理,即可查看:

    • 監控資料:該時間段內所有模型的匯總統計,如總呼叫次數、總失敗次數等。
    • 模型:各模型的詳細資料,如總呼叫次數、失敗率、平均呼叫時長等。

    如需查看 30 天以上的推理資料,請前往 帳單 頁面查詢。

  • 查看模型詳情:在 模型 列表中,單擊目標模型 操作 欄的 監控,查看 呼叫統計 詳情(如呼叫次數、呼叫量等)。image

重要

  • 批量推理的呼叫資料以 任務結束時間 為準進行統計。對於執行中的任務,任務完成前無法查詢其呼叫資訊。
  • 監控資料存在 1~2 小時延遲。

使用 metadata 回傳自訂標識

custom_id 最多支援 256 個字元。如需在結果檔案中回傳更長的標識資訊,可使用 metadata 的自訂欄位。

metadata 欄位

metadata 是建立 Batch 任務時的可選參數,支援以下欄位:

  • ds_name:任務名稱,設定後將顯示在控制台的 任務名稱 欄。
  • ds_description:任務描述,設定後將顯示在控制台的 任務描述 欄。
  • 自訂欄位:除上述官方欄位外,metadata 還支援任意自訂欄位,且自訂欄位的值 不受 256 個字元限制。查詢任務詳情時,所有自訂欄位都會完整回傳。

程式碼範例

以下範例展示如何通過 metadata 的自訂欄位回傳超過 256 個字元的標識資訊:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

batch = client.batches.create(
    input_file_id="file-batch-xxxxxxxxxxxxxxxxxxxx",
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "ds_name": "my_batch_task",
        "ds_description": "批量推理任务描述",
        "my_custom_field": "此字段的值可以超过256个字符,用于回传更长的标识信息..."
    }
)
print(batch)

任務建立後,可呼叫任務詳情查詢 API(GET /v1/batches/{batch_id})取得完整的 metadata 資訊,包括所有自訂欄位及其完整內容。

API 參考

在生產環境中,使用相容 OpenAI 的 API 自動化建立和管理 Batch 任務。核心流程如下:

重要批量推理僅支援 OpenAI 相容格式的 API 呼叫。使用 OpenAI Python SDK 時,需將 base_url 設定為 https://dashscope.aliyuncs.com/compatible-mode/v1。DashScope Python SDK(dashscope 包)不提供批量推理介面,無法通過 dashscope.BatchInference、dashscope.Batches 等方式提交批量推理任務。

範例:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
batch = client.batches.create(
    input_file_id=file_id,
    endpoint="/v1/chat/completions",
    completion_window="24h",
)
  1. 上傳檔案

    呼叫 POST /v1/files 上傳檔案,並記錄返回的檔案 ID。

  2. 建立任務 傳入檔案 ID,呼叫 POST /v1/batches 建立任務,並記錄返回的 batch_id。

  3. 輪詢狀態 使用 batch_id 輪詢 GET /v1/batches/{batch_id}。當 status 變為 completed 時,記錄 output_file_id 並停止輪詢。

  4. 下載結果 使用 output_file_id 呼叫 GET /v1/files/{output_file_id}/content,下載結果檔案。

完整的 Batch API 定義與程式碼範例,請參見 OpenAI 相容 Batch(檔案輸入)。

任務生命週期

狀態

說明

validating(驗證中)

系統正在校驗檔案格式(JSONL 規範)及每行請求的 API 格式合法性。

in_progress(執行中)

檔案已通過驗證,系統已開始逐行處理推理請求。

finalizing(執行中)

所有請求均已處理完畢,結果正在分別寫入結果檔案與錯誤檔案。在控制台任務列表中,此階段與 in_progress 共用 執行中 狀態標籤,無獨立的顯示文案。

completed(已完成)

結果檔案與錯誤檔案已寫入完成,可供下載。

failed

任務在 validating 階段失敗,通常由檔案級錯誤(如 JSONL 格式無效或檔案過大)導致。此狀態下不會執行任何推理請求,也不會產生結果檔案。

expired

任務的執行時間超過建立時設定的最長等待時間,被系統終止。建立新任務時,建議設定更長的等待時間。

cancelled

使用者取消任務,尚未開始處理的請求將被終止。

計費說明

  • 計費單價:所有成功請求的輸入與輸出 Token 單價,均為對應模型即時推理價格的 50%。詳情請參見 模型列表。

  • 計費範圍:
    • 僅對任務中成功執行的請求計費。
    • 檔案解析失敗、任務執行失敗或行級錯誤請求均 不產生費用。
    • 對於被取消的任務,取消前已成功完成的請求仍正常計費。

說明

  • 批量推理為獨立計費項目,支援 AI 通用型節省計劃,但不支援 預付費(節省計劃)、新使用者免費額度 等優惠,以及 上下文快取 等功能。
  • 部分模型(如 qwen3.7-plus、qwen3.7-max 及 qwen3.6、qwen3.5 系列)預設開啟思考模式,會產生額外的思考 Token,並按輸出 Token 價格計費,導致成本增加。建議根據任務複雜度設定 enable_thinking 參數以控制成本。詳情請參見 深度思考。

常見問題

  1. 使用批量推理需要額外購買或開通嗎?

    不需要。開通阿里雲 Model Studio 後即可使用,費用按 後付費模式 從帳戶餘額中扣除。

  2. 任務提交後為什麼立即失敗(狀態變為 failed)?

    這通常由檔案級錯誤導致,任務並未執行任何推理請求。請按以下順序排查:

    • 檔案格式:是否為嚴格的 JSONL 格式,每行一個完整的 JSON 對象?
    • 檔案規模:檔案大小、行數等是否超出限制?詳情請參見 準備輸入檔案。
    • 模型一致性:檢查檔案中所有請求的 body.model 欄位是否完全一致,且所用模型為目前地區支援的模型。
  3. 任務處理需要多長時間?

    處理時長主要取決於當時的系統負載。系統繁忙時任務可能需要排隊,但無論成功或失敗,結果都會在設定的最長等待時間內返回。

錯誤碼

如果呼叫失敗並返回錯誤訊息,請參見 錯誤碼 進行排查。