O modelo de destilação de chamadas de ferramenta do Agent cria conjuntos de dados SFT para chamadas de ferramenta em múltiplos turnos em larga escala. Com base em personas, o processo sintetiza tarefas de várias etapas, varia os requisitos, valida as definições das ferramentas, gera trajetórias de chamadas e seleciona as melhores por meio de rubricas de pontuação. Isso produz dados de treinamento que ensinam modelos menores a decompor tarefas e executar chamadas de ferramenta em múltiplos turnos.
Visão geral do modelo
Este modelo ensina modelos menores a decompor tarefas e a executar chamadas de ferramenta em múltiplos turnos. O pipeline utiliza personas para sintetizar tarefas de várias etapas, simular solicitações vagas de usuários e validar as definições das ferramentas. Em seguida, o modelo professor gera trajetórias completas de chamadas de ferramenta diversas vezes e seleciona as melhores com base em rubricas de pontuação. Isso produz um conjunto de dados SFT para treinar as capacidades do Agent.
Este modelo oferece suporte apenas à criação em estágio único: construção de dados de destilação. Ele não inclui a etapa de treinamento do modelo aluno. Após a conclusão da destilação, treine você mesmo o modelo aluno com o conjunto de dados SFT gerado.
O pipeline de destilação de chamadas de ferramenta do Agent consiste nas seguintes etapas:
|
Etapa |
Nome |
Descrição |
|
1 |
Síntese de tarefas |
Sintetiza tarefas que exigem operações em múltiplas etapas e colaboração entre ferramentas, com base em personas. |
|
2 |
Fuzzing de requisitos |
Reescreve tarefas claras em expressões vagas típicas de usuários reais, para treinar o modelo a esclarecer dúvidas e fazer perguntas de acompanhamento de forma proativa. |
|
3 |
Validação de ferramentas |
Verifica se as definições de ferramentas necessárias para cada tarefa estão completas e utilizáveis. Descarta tarefas com descrições de ferramentas ausentes ou contraditórias. |
|
4 |
Geração de trajetórias |
O modelo professor atua como assistente e resolve cada tarefa, simulando respostas de ferramentas e interações do usuário. O modelo executa cada tarefa várias vezes para seleção posterior. |
|
5 |
Seleção por rubrica |
Avalia cada trajetória com base em rubricas e seleciona as de melhor desempenho entre as múltiplas execuções como alvos de treinamento. |
|
6 |
Construção do conjunto de dados SFT |
Reúne as trajetórias selecionadas em um conjunto de dados de treinamento SFT de conversas em múltiplos turnos. |
Procedimento
Acesse o PAI console. No painel de navegação à esquerda, escolha Model Application > Model Distillation (ModelDistill).
Clique em Create task e acesse a aba Distillation Template ou navegue diretamente para a aba Distillation Template.
Selecione Agent Tool Call Distillation, clique em Use Template e acesse a página Create Distillation Task. Configure os principais parâmetros descritos abaixo e mantenha os valores padrão para as outras configurações.
-
Configure a Basic Configuration:
Task name: Preenchido automaticamente pelo sistema.
-
Output Path: especifique um caminho do OSS ao qual você tenha permissão de acesso, como
oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/agent-distill/.NotaPara cada tarefa de destilação, crie um diretório de saída exclusivo e evite a sobrescrita de arquivos. O bucket do OSS deve estar na mesma região do PAI service.
-
Clique em Next e acesse Build distillation data:
Teacher model: Defina Teacher Model Source como Token Service e selecione um modelo com alta capacidade de chamadas de ferramenta na lista suspensa, como
qwen3.8-max.Dataset: Selecione um diretório ou arquivo do OSS ao qual você tenha permissão de acesso. Baixe e utilize os dados de amostra.
-
Distillation Configuration: Os valores padrão já vêm preenchidos. Modifique-os conforme necessário.
agent.max_steps: Número máximo de turnos de interação por tarefa. Padrão: 20.
agent.repeat_times: Número de iterações de execução por tarefa. Padrão: 2. Mais execuções produzem dados de maior qualidade, mas aumentam os custos.
Para mais parâmetros específicos do modelo (como temperaturas de função e rubricas), consulte a seção Configuration abaixo.
Compute Resource: Defina Resource Type como General Computing, defina Source como Public Resources e selecione um Instance Type apropriado em Job Resource, como
ecs.c6.large.
-
Clique em Create e, em seguida, clique em OK na caixa de diálogo de confirmação de faturamento. A página redireciona para a página de configuração básica dos detalhes da tarefa, onde você pode acompanhar o status da tarefa.
NotaO modelo de destilação de chamadas de ferramenta do Agent oferece suporte apenas ao modo de estágio único (construção de dados de destilação). Não há suporte para treinamento do modelo aluno.
Configuração
Esta seção descreve os principais parâmetros de configuração específicos do modelo de destilação de chamadas de ferramenta do Agent. As configurações básicas e de recursos seguem o mesmo padrão da destilação geral. Listamos aqui apenas as diferenças nos parâmetros exclusivos deste modelo.
Configuração básica
A configuração básica inclui o nome da tarefa e o caminho de saída. O caminho de saída atua como diretório raiz para todos os artefatos da tarefa, incluindo o conjunto de dados de destilação. Não é necessário especificar um caminho de saída separado para o conjunto de dados.
Construção de dados de destilação
Modelo professor
O modelo de destilação de chamadas de ferramenta do Agent exige apenas um modelo professor, o qual desempenha quatro funções: resolução de problemas, simulação de ferramentas, simulação de usuários e pontuação. Selecione um modelo com alta capacidade de chamadas de ferramenta e suporte a contextos longos. O source do modelo professor oferece suporte apenas ao PAI Token Service.
Conjunto de dados
Selecione um diretório ou arquivo de entrada. Os requisitos de formato de dados são os seguintes:
Formato: Arquivo semente JSONL contendo personas de funções.
O pipeline sintetiza automaticamente as tarefas e as trajetórias de chamadas de ferramenta. Nenhuma criação manual é necessária.
Dados de amostra:
{"id": "agent_001", "background": "A college student studying marine biology is planning a field trip to a coastal research station and needs to compare equipment rental prices, weather windows and permit requirements."}
{"id": "agent_002", "background": "A small business owner wants to organize a local concert on a tight budget and needs help finding venues, contacting artists and planning the promotion."}
{"id": "agent_003", "background": "A developer is preparing to migrate a service to another cloud region and needs to inventory dependencies, estimate the downtime window and draft a rollback plan."}Configuração de destilação
A configuração de destilação é fornecida em formato YAML com os padrões recomendados pela equipe de algoritmos. Ajuste os parâmetros conforme a sua necessidade. A tabela a seguir lista os principais parâmetros e suas respectivas descrições.
Seção | Descrição |
dataset |
|
backend |
|
generation |
|
sft |
|
agent |
|
pipeline |
|