Agent 工具調用蒸餾模板從角色畫像出發,經任務合成、需求模糊化、工具校正、軌跡推演與評分擇優,批量構建多輪工具調用的 SFT 資料集,適合讓小模型學會多輪工具調用與任務分解。
模板概述
Agent 工具調用蒸餾模板適用於讓小模型學會多輪工具調用與任務分解的情境。從角色畫像出發合成多步任務,類比使用者提出模糊需求、校正工具定義,再讓教師模型多次推演完整的工具調用軌跡,最後按評分細則挑出最優解,產出可用於訓練 Agent 能力的 SFT 資料集。
該模板僅支援一段式建立:蒸餾資料構建,不包含學生模型訓練階段。蒸餾完成後,您需要自行使用產出的 SFT 資料集訓練學生模型。
Agent 工具調用蒸餾模板的流水線包含以下步驟:
步驟 | 名稱 | 說明 |
1 | 任務合成 | 以角色畫像為線索合成需要多步操作與工具協作才能完成的任務。 |
2 | 需求模糊化 | 將清晰的任務改寫為真實使用者常見的含糊表述,訓練模型主動澄清與追問。 |
3 | 工具校正 | 檢查任務所需的工具定義是否完整可用,剔除工具描述缺失或矛盾的任務。 |
4 | 軌跡推演 | 教師模型扮演助手實際解題,同時類比工具返回與使用者追問,每個任務推演多遍以便後續擇優。 |
5 | 評分細則擇優 | 按評分細則給每條軌跡打分,從多次推演裡挑出最優的幾條作為訓練目標。 |
6 | 構建 SFT 資料集 | 把入選軌跡整理成多輪對話格式的 SFT 訓練資料集。 |
操作步驟
登入PAI控制台,在左側導覽列選擇模型应用> 模型蒸馏(ModelDistill)。
單擊新建任务,跳轉到蒸馏模板頁簽,或者直接進入蒸馏模板頁簽。
選擇Agent工具調用蒸餾,單擊使用模板,進入新建蒸馏任务頁面。如下配置關鍵參數,其他保持預設。
進行基础配置:
任务名称:系統已自動填滿。
输出路径:指定一個有許可權訪問的OSS路徑,如
oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/agent-distill/。說明請確保為每個蒸餾任務建立獨立的輸出目錄,避免檔案被覆蓋。OSS Bucket需與PAI服務在同一地區。
單擊下一步,進入蒸馏数据构建:
教师模型:教师模型来源選擇Token服務,並下拉選擇一個工具調用能力強的模型如
qwen3.8-max。数据集:選擇一個有許可權訪問的OSS目錄或檔案。可直接下載樣本使用。
蒸馏配置:已提供了預設配置,根據實際需要修改。
agent.max_steps:每個任務的最大互動輪次,預設 20。
agent.repeat_times:每個任務推演的次數,預設 2。推演次數越多,產出資料品質越高,但成本也越高。
更多Agent工具調用蒸餾模板的專有配置參數(如三角色溫度、評分細則等),請參見本節下方的配置說明。
计算资源:资源类型選擇通用计算,资源来源選擇公共资源,在任务资源中選擇合適的资源规格,如
ecs.c6.large。
單擊创建,然後在彈出的計費提醒中單擊确定,頁面將自動跳轉至任務詳情的基礎配置頁面,可在此跟蹤任務狀態。
說明Agent工具調用蒸餾模板僅支援一段式(蒸餾資料構建),不支援學生模型訓練階段。
配置說明
以下說明 Agent 工具調用蒸餾模板的關鍵配置參數。基礎配置和資源配置與通用蒸餾一致,此處僅列出本模板特有的參數差異。
基礎配置
基礎配置包含任務名稱和輸出路徑兩項。輸出路徑為任務全部產物的輸出根目錄,蒸餾資料集也寫在該目錄下,無需再單獨指定資料集輸出路徑。
蒸餾資料構建
教師模型
Agent 工具調用蒸餾模板只需配置一個教師模型,該模型同時承擔解題、類比工具、類比使用者與評分四種角色。建議選擇工具調用能力強、支援長內容相關的模型。教師模型來源僅支援 PAI Token 服務。
資料集
選擇輸入目錄或檔案,資料格式要求如下:
格式:JSONL,含角色畫像的種子檔案。
任務與工具調用軌跡由管線自動合成,無需手動編寫。
樣本資料:
{"id": "agent_001", "background": "A college student studying marine biology is planning a field trip to a coastal research station and needs to compare equipment rental prices, weather windows and permit requirements."}
{"id": "agent_002", "background": "A small business owner wants to organize a local concert on a tight budget and needs help finding venues, contacting artists and planning the promotion."}
{"id": "agent_003", "background": "A developer is preparing to migrate a service to another cloud region and needs to inventory dependencies, estimate the downtime window and draft a rollback plan."}蒸餾配置
蒸餾配置以 YAML 格式提供,預置了演算法團隊的推薦預設值,可按需調整。下表列出部分建議關注的參數及其說明。
配置段 | 說明 |
dataset |
|
backend |
|
generation |
|
sft |
|
agent |
|
pipeline |
|