Agent 工具调用蒸馏 - 人工智能平台 PAI

Agent 工具调用蒸馏模板从角色画像出发，经任务合成、需求模糊化、工具校验、轨迹推演与评分择优，批量构建多轮工具调用的 SFT 数据集，适合让小模型学会多轮工具调用与任务分解。

模板概述

Agent 工具调用蒸馏模板适用于让小模型学会多轮工具调用与任务分解的场景。从角色画像出发合成多步任务，模拟用户提出模糊需求、校验工具定义，再让教师模型多次推演完整的工具调用轨迹，最后按评分细则挑出最优解，产出可用于训练 Agent 能力的 SFT 数据集。

重要

该模板仅支持一段式创建：蒸馏数据构建，不包含学生模型训练阶段。蒸馏完成后，您需要自行使用产出的 SFT 数据集训练学生模型。

Agent 工具调用蒸馏模板的流水线包含以下步骤：

步骤	名称	说明
1	任务合成	以角色画像为线索合成需要多步操作与工具协作才能完成的任务。
2	需求模糊化	将清晰的任务改写为真实用户常见的含糊表述，训练模型主动澄清与追问。
3	工具校验	检查任务所需的工具定义是否完整可用，剔除工具描述缺失或矛盾的任务。
4	轨迹推演	教师模型扮演助手实际解题，同时模拟工具返回与用户追问，每个任务推演多遍以便后续择优。
5	评分细则择优	按评分细则给每条轨迹打分，从多次推演里挑出最优的几条作为训练目标。
6	构建 SFT 数据集	把入选轨迹整理成多轮对话格式的 SFT 训练数据集。

操作步骤

登录PAI控制台，在左侧导航栏选择模型应用> 模型蒸馏（ModelDistill）。
单击新建任务，跳转到蒸馏模板页签，或者直接进入蒸馏模板页签。
选择Agent工具调用蒸馏，单击使用模板，进入新建蒸馏任务页面。如下配置关键参数，其他保持默认。
进行基础配置：
- 任务名称：系统已自动填充。
- 输出路径：指定一个有权限访问的OSS路径，如oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/agent-distill/。
  说明
  请确保为每个蒸馏任务创建独立的输出目录，避免文件被覆盖。OSS Bucket需与PAI服务在同一地域。
单击下一步，进入蒸馏数据构建：
- 教师模型：教师模型来源选择Token服务，并下拉选择一个工具调用能力强的模型如qwen3.8-max。
- 数据集：选择一个有权限访问的OSS目录或文件。可直接下载示例使用。
- 蒸馏配置：已提供了默认配置，根据实际需要修改。
  - agent.max_steps：每个任务的最大交互轮次，默认 20。
  - agent.repeat_times：每个任务推演的次数，默认 2。推演次数越多，产出数据质量越高，但成本也越高。
  - 更多Agent工具调用蒸馏模板的专有配置参数（如三角色温度、评分细则等），请参见本节下方的配置说明。
- 计算资源：资源类型选择通用计算，资源来源选择公共资源，在任务资源中选择合适的资源规格，如ecs.c6.large。
单击创建，然后在弹出的计费提醒中单击确定，页面将自动跳转至任务详情的基础配置页面，可在此跟踪任务状态。
说明
Agent工具调用蒸馏模板仅支持一段式（蒸馏数据构建），不支持学生模型训练阶段。

配置说明

以下说明 Agent 工具调用蒸馏模板的关键配置参数。基础配置和资源配置与通用蒸馏一致，此处仅列出本模板特有的参数差异。

基础配置

基础配置包含任务名称和输出路径两项。输出路径为任务全部产物的输出根目录，蒸馏数据集也写在该目录下，无需再单独指定数据集输出路径。

蒸馏数据构建

教师模型

Agent 工具调用蒸馏模板只需配置一个教师模型，该模型同时承担解题、模拟工具、模拟用户与评分四种角色。建议选择工具调用能力强、支持长上下文的模型。教师模型来源仅支持 PAI Token 服务。

数据集

选择输入目录或文件，数据格式要求如下：

格式：JSONL，含角色画像的种子文件。
任务与工具调用轨迹由管线自动合成，无需手动编写。

示例数据：

{"id": "agent_001", "background": "A college student studying marine biology is planning a field trip to a coastal research station and needs to compare equipment rental prices, weather windows and permit requirements."}
{"id": "agent_002", "background": "A small business owner wants to organize a local concert on a tight budget and needs help finding venues, contacting artists and planning the promotion."}
{"id": "agent_003", "background": "A developer is preparing to migrate a service to another cloud region and needs to inventory dependencies, estimate the downtime window and draft a rollback plan."}

蒸馏配置

蒸馏配置以 YAML 格式提供，预置了算法团队的推荐默认值，可按需调整。下表列出部分建议关注的参数及其说明。

配置段	说明
dataset	`output_path`（默认 `distillation_dataset.jsonl`）：Agent 轨迹以 .jsonl 原样交付、不压平成单轮问答。可改成其他相对路径的 .jsonl 文件。
backend	`timeout`（默认 `1200.0`）：单次请求等待上限（秒）。需覆盖写满 `max_tokens`（16384）的回答，实测 38~58 token/s 时需 400 秒以上。 `max_retries`（默认 `3`）：单次请求的网络级重试次数。
generation	`system_prompt`（默认 "You are a helpful assistant that follows instructions precisely and uses XML tags for structured output."）：教师模型生成轨迹时的系统提示词，要求模型精确遵循指令并使用 XML 标签进行结构化输出。 `temperature`（默认 `0.7`）：控制生成多样性。0.7 在多样性与稳定性之间取平衡。 `max_tokens`（默认 `16384`）：单次生成的最大 token 数。多轮工具调用轨迹较长，需预留充足空间。
sft	`skip_empty`（默认 `true`）：跳过空样本。 `min_length`（默认 `10`）：过滤过短样本。 `max_length`（默认 `131072`）：多轮工具调用轨迹很长，上限比文本蒸馏高一档。
agent	`max_steps`（默认 `20`）：单条轨迹最多几步工具调用。 `repeat_times`（默认 `2`）：每个任务推演几遍以便择优。 `max_tool_calls`（默认 `20`）：单轮最多调用几次工具。 `use_rubrics`（默认 `true`）：是否启用评分细则择优。
pipeline	`agent_trajectory`：解题温度 0.7（需多样性），模拟工具与模拟用户温度 0.5（需稳定）。 `agent_rubrics`：temperature 0.0（评分需可复现），`solution_top_k` 默认 3（每个任务保留得分最高的前几条轨迹）。各阶段 max_workers 为并发线程数，遇到 429 限流时可下调。