O Model Gallery oferece um ponto de entrada para destilação de modelos. A partir de um cartão de modelo, crie uma tarefa de destilação de uso geral para transferir conhecimento de um modelo professor grande para um modelo aluno menor e reduzir os custos de inferência.
Visão geral
O recurso de destilação do Model Gallery é baseado no framework de código aberto PAI-EasyDistill. Ele usa destilação black-box para executar o pipeline completo — da geração de dados ao treinamento do modelo aluno — sem necessidade de codificação.
O Model Gallery oferece suporte apenas a tarefas de destilação geral. Para modelos específicos por cenário (raciocínio em cadeia de pensamento, multimodal, chamada de ferramentas Agent e outros), acesse Model Distillation (ModelDistill).
É possível visualize e gerencie as tarefas de destilação criadas no Model Gallery em um dos seguintes locais:
Model Gallery > Job Management > Distillation task
Model Distillation (ModelDistill) > Task List
As tarefas criadas a partir da página Model Distillation (ModelDistill) aparecem apenas na lista de tarefas de destilação, não no gerenciamento de tarefas do Model Gallery.
Criar uma tarefa de destilação
Faça login no PAI console. No painel de navegação à esquerda, escolha QuickStart > Model Gallery.
Na página do Model Gallery, selecione Distill no filtro Supported Operations. Todos os modelos professor com suporte à destilação são exibidos.
Clique no cartão do modelo desejado para acessar a página de detalhes do modelo. No canto superior direito, clique em Distill para acessar a página de criação da tarefa.
Para o procedimento completo e as descrições dos parâmetros, consulte General distillation.