人工智能平台 PAI：大语言模型数据增强与模型蒸馏解决方案

使用流程

完整开发流程如下：

1. 准备指令数据

   按照数据格式要求和数据准备策略准备训练数据集。

2. （可选）使用指令增广模型进行指令增广

   在PAI-Model Gallery中使用预置的指令增广模型（Qwen2-1.5B-Instruct-Exp或Qwen2-7B-Instruct-Exp），根据数据集中的指令语义信息自动扩写更多相似指令。指令增广有助于提升蒸馏训练的泛化性。

3. （可选）使用指令优化模型进行指令优化

   您可以在PAI-Model Gallery中使用预置的指令优化模型（Qwen2-1.5B-Instruct-Refine或Qwen2-7B-Instruct-Refine），将已准备好的数据集中的指令（以及增广的指令）进行优化精炼。指令优化有助于提升大语言模型的语言生成能力。

4. 部署教师大语言模型生成对应回复

   您可以在PAI-Model Gallery中使用预置的教师大语言模型（千问2-72B-Instruct）对训练数据集中的指令生成回复，从而将对应教师大模型的知识进行蒸馏。

5. 蒸馏训练较小的学生模型

   您可以在PAI-Model Gallery中使用生成完成的指令-回复数据集，蒸馏训练对应较小的学生模型，用于实际的应用场景。

前提条件

开始前，请确认已完成以下准备工作：

• 已开通PAI（DLC、EAS）后付费，并创建默认工作空间，详情请参见开通PAI并创建默认工作空间。

• 已创建OSS存储空间（Bucket），用于存储训练数据和训练获得的模型文件。关于如何创建存储空间，详情请参见控制台快速入门。

部署教师大语言模型生成对应回复

部署模型服务

指令优化完成后，按以下步骤部署教师大语言模型生成回复。

1. 进入Model Gallery页面。

   1. 登录PAI控制台。

   2. 在顶部左上角根据实际情况选择地域。

   3. 在左侧导航栏选择工作空间列表，单击指定工作空间名称，进入对应工作空间内。

   4. 在左侧导航栏选择快速开始 > Model Gallery。

2. 在Model Gallery页面右侧的模型列表中，搜索千问2-72B-Instruct，并在相应卡片中单击部署。

3. 在部署配置面板中，系统已默认配置了模型服务信息和资源部署信息，您也可以根据需要进行修改。参数配置完成后单击部署按钮。

4. 在计费提醒对话框中，单击确定。

   系统自动跳转到部署任务页面，当状态为运行中时，表示服务部署成功。

调用模型服务

服务部署成功后，您可以使用API进行模型推理。具体使用方法参考LLM大语言模型部署。以下提供一个示例，展示如何通过客户端发起Request调用：

1. 获取服务访问地址和Token。

   1. 在服务详情页面，单击基本信息区域的查看调用信息。

   2. 在调用信息对话框中，查询服务访问地址和Token，并保存到本地。

2. 在终端中，创建并执行如下Python代码文件来调用服务。

   import argparse
   import json
   import requests
   from typing import List
   
   
   def post_http_request(prompt: str,
                         system_prompt: str,
                         host: str,
                         authorization: str,
                         max_new_tokens: int,
                         temperature: float,
                         top_k: int,
                         top_p: float) -> requests.Response:
       headers = {
           "User-Agent": "Test Client",
           "Authorization": f"{authorization}"
       }
       pload = {
           "prompt": prompt,
           "system_prompt": system_prompt,
           "top_k": top_k,
           "top_p": top_p,
           "temperature": temperature,
           "max_new_tokens": max_new_tokens,
           "do_sample": True,
       }
       response = requests.post(host, headers=headers, json=pload)
       return response
   
   
   def get_response(response: requests.Response) -> List[str]:
       data = json.loads(response.content)
       output = data["response"]
       return output
   
   
   if __name__ == "__main__":
       parser = argparse.ArgumentParser()
       parser.add_argument("--top-k", type=int, default=50)
       parser.add_argument("--top-p", type=float, default=0.95)
       parser.add_argument("--max-new-tokens", type=int, default=2048)
       parser.add_argument("--temperature", type=float, default=0.5)
       parser.add_argument("--prompt", type=str)
       parser.add_argument("--system_prompt", type=str)
   
       args = parser.parse_args()
       prompt = args.prompt
       system_prompt = args.system_prompt
       top_k = args.top_k
       top_p = args.top_p
       temperature = args.temperature
       max_new_tokens = args.max_new_tokens
   
       host = "EAS HOST"
       authorization = "EAS TOKEN"
   
       print(f" --- input: {prompt}\n", flush=True)
       response = post_http_request(
           prompt, system_prompt,
           host, authorization,
           max_new_tokens, temperature, top_k, top_p)
       output = get_response(response)
       print(f" --- output: {output}\n", flush=True)
   

   其中：

   • host：配置为已获取的服务访问地址。

   • authorization：配置为已获取的服务Token。

批量实现教师模型的指令标注

以下代码示范了如何读取自定义JSON格式数据集，批量调用上述模型接口进行教师模型标注。您需要在终端中，创建并执行如下Python代码文件来批量调用模型服务。

import json 
from tqdm import tqdm
import requests
from typing import List

input_file_path = "input.json"  # 输入文件名

with open(input_file_path) as fp:
    data = json.load(fp)

pbar = tqdm(total=len(data))
new_data = []

for d in data:
    system_prompt = "You are a helpful assistant."
    prompt = d["instruction"]
    print(prompt)
    top_k = 50
    top_p = 0.95
    temperature = 0.5
    max_new_tokens = 2048

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    temp = {
        "instruction": prompt,
        "output": output
    }
    new_data.append(temp)
    pbar.update(1)
pbar.close()

output_file_path = "output.json" # 输出文件名
with open(output_file_path, 'w') as f:
    json.dump(new_data, f, ensure_ascii=False)

其中：

• host：配置为已获取的服务访问地址。

• authorization：配置为已获取的服务Token。

• file_path：请替换为数据集文件所在的本地路径。

• post_http_request和get_response函数的定义与其在调用模型服务脚本中对应的函数定义保持一致。

蒸馏训练较小的学生模型

训练模型

教师模型回复生成完毕后，按以下步骤在 PAI-Model Gallery 中训练学生模型，无需编写代码（以 Qwen2-7B-Instruct 为例）：

1. 进入Model Gallery页面。

   1. 登录PAI控制台。

   2. 在顶部左上角根据实际情况选择地域。

   3. 在左侧导航栏选择工作空间列表，单击指定工作空间名称，进入对应工作空间内。

   4. 在左侧导航栏选择快速开始 > Model Gallery。

2. 在Model Gallery页面右侧的模型列表中，搜索并单击千问2-7B-Instruct模型卡片，进入模型详情页面。

3. 在模型详情页面，单击右上角的微调训练。

4. 在微调训练配置面板中，配置以下关键参数，其他参数取默认配置。

   参数		描述	默认值
   数据集配置	训练数据集	在下拉列表中选择OSS文件或目录，并按照以下步骤选择数据集文件所在的OSS存储路径： 单击，并选择已创建的OSS存储空间。 单击上传文件，并按控制台操作指引，将从上述步骤获得的数据集文件上传到OSS目录中。 单击确定。	无
   训练输出配置	model	单击，选择已创建的OSS存储目录。	无
   	tensorboard	单击，选择已创建的OSS存储目录。	无
   计算资源配置	任务资源	选择资源规格，系统会自动推荐适合的资源规格。	无
   超参数配置	learning_rate	模型训练的学习率，Float类型。	5e-5
   	num_train_epochs	训练轮次，INT类型。	1
   	per_device_train_batch_size	每张GPU卡在一次训练迭代的数据量，INT类型。	1
   	seq_length	文本序列长度，INT类型。	128
   	lora_dim	LoRA维度，INT类型。当lora_dim>0时，使用LoRA/QLoRA轻量化训练。	32
   	lora_alpha	LoRA权重，INT类型。当lora_dim>0时，使用LoRA/QLoRA轻量化训练，该参数生效。	32
   	load_in_4bit	模型是否以4比特加载，bool类型。取值如下： true false 当lora_dim>0、load_in_4bit为true且load_in_8bit为false时，使用4比特QLoRA轻量化训练。	true
   	load_in_8bit	模型是否以8比特加载，bool类型。取值如下： true false 当lora_dim>0、load_in_4bit为false且load_in_8bit为true时，使用8比特QLoRA轻量化训练。	false
   	gradient_accumulation_steps	梯度累积步数，INT类型。	8
   	apply_chat_template	算法是否结合训练数据与默认的Chat Template来优化模型输出，bool类型。取值如下： true false 以Qwen2系列模型为例，格式为： 问题：<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n 答案：<|im_start|>assistant\n + output + <|im_end|>\n	true
   	system_prompt	模型训练使用的系统提示语，String类型。	You are a helpful assistant

5. 参数配置完成后，单击训练。

6. 在计费提醒对话框中，单击确定。

   系统将自动跳转到训练任务页面。

部署模型服务

训练完成后，按以下步骤将模型部署为 EAS 在线服务。

1. 在训练任务页面右侧，单击部署。

2. 在部署配置面板中，系统已默认配置了模型服务信息和资源部署信息，您也可以根据需要进行修改。参数配置完成后单击部署按钮。

3. 在计费提醒对话框中，单击确定。

   系统自动跳转到部署任务页面，当状态为运行中时，表示服务部署成功。

调用模型服务

服务部署成功后，您可以使用API进行模型推理。具体使用方法参考LLM大语言模型部署。

相关文档

• EAS 产品详细介绍，请参见EAS概述。

• PAI-Model Gallery 支持更多场景的部署与微调，包括 Llama-3、Qwen1.5、Stable Diffusion V1.5 等模型。详情请参见Model Gallery使用案例汇总。