Platform For AI：大語言模型資料增強與模型蒸餾解決方案

使用流程

完整開發流程如下：

1. 準備指令資料

   按照資料格式要求和資料準備策略準備訓練資料集。

2. （可選）使用指令增廣模型進行指令增廣

   在PAI-Model Gallery中使用預置的指令增廣模型（Qwen2-1.5B-Instruct-Exp或Qwen2-7B-Instruct-Exp），根據資料集中的指令語義資訊自動擴寫更多相似指令。指令增廣有助於提升蒸餾訓練的泛化性。

3. （可選）使用指令最佳化模型進行指令最佳化

   您可以在PAI-Model Gallery中使用預置的指令最佳化模型（Qwen2-1.5B-Instruct-Refine或Qwen2-7B-Instruct-Refine），將已準備好的資料集中的指令（以及增廣的指令）進行最佳化精鍊。指令最佳化有助於提升大語言模型的語言產生能力。

4. 部署教師大語言模型產生對應回複

   您可以在PAI-Model Gallery中使用預置的教師大語言模型（千問2-72B-Instruct）對訓練資料集中的指令產生回複，從而將對應教師大模型的知識進行蒸餾。

5. 蒸餾訓練較小的學生模型

   您可以在PAI-Model Gallery中使用產生完成的指令-回複資料集，蒸餾訓練對應較小的學生模型，用於實際的應用情境。

前提條件

開始前，請確認已完成以下準備工作：

• 已開通PAI（DLC、EAS）後付費，並建立預設工作空間，詳情請參見開通PAI並建立預設工作空間。

• 已建立OSS儲存空間（Bucket），用於儲存訓練資料和訓練獲得的模型檔案。關於如何建立儲存空間，詳情請參見控制台快速入門。

部署教師大語言模型產生對應回複

部署模型服務

指令最佳化完成後，按以下步驟部署教師大語言模型產生回複。

1. 進入Model Gallery頁面。

   1. 登入PAI控制台。

   2. 在頂部左上方根據實際情況選擇地區。

   3. 在左側導覽列選擇工作空间列表，單擊指定工作空間名稱，進入對應工作空間內。

   4. 在左側導覽列選擇快速开始 > Model Gallery。

2. 在Model Gallery頁面右側的模型列表中，搜尋千問2-72B-Instruct，並在相應卡片中單擊部署。

3. 在部署配置面板中，系統已預設配置了模型服务信息和资源部署信息，您也可以根據需要進行修改。參數配置完成後單擊部署按鈕。

4. 在计费提醒對話方塊中，單擊确定。

   系統自動跳轉到部署任务頁面，當状态為运行中時，表示服務部署成功。

調用模型服務

服務部署成功後，您可以使用API進行模型推理。具體使用方法參考LLM大語言模型部署。以下提供一個樣本，展示如何通過用戶端發起Request調用：

1. 擷取服務訪問地址和Token。

   1. 在服务详情頁面，單擊基本信息地區的查看调用信息。

   2. 在调用信息對話方塊中，查詢服務訪問地址和Token，並儲存到本地。

2. 在終端中，建立並執行如下Python代碼檔案來調用服務。

   import argparse
   import json
   import requests
   from typing import List
   
   
   def post_http_request(prompt: str,
                         system_prompt: str,
                         host: str,
                         authorization: str,
                         max_new_tokens: int,
                         temperature: float,
                         top_k: int,
                         top_p: float) -> requests.Response:
       headers = {
           "User-Agent": "Test Client",
           "Authorization": f"{authorization}"
       }
       pload = {
           "prompt": prompt,
           "system_prompt": system_prompt,
           "top_k": top_k,
           "top_p": top_p,
           "temperature": temperature,
           "max_new_tokens": max_new_tokens,
           "do_sample": True,
       }
       response = requests.post(host, headers=headers, json=pload)
       return response
   
   
   def get_response(response: requests.Response) -> List[str]:
       data = json.loads(response.content)
       output = data["response"]
       return output
   
   
   if __name__ == "__main__":
       parser = argparse.ArgumentParser()
       parser.add_argument("--top-k", type=int, default=50)
       parser.add_argument("--top-p", type=float, default=0.95)
       parser.add_argument("--max-new-tokens", type=int, default=2048)
       parser.add_argument("--temperature", type=float, default=0.5)
       parser.add_argument("--prompt", type=str)
       parser.add_argument("--system_prompt", type=str)
   
       args = parser.parse_args()
       prompt = args.prompt
       system_prompt = args.system_prompt
       top_k = args.top_k
       top_p = args.top_p
       temperature = args.temperature
       max_new_tokens = args.max_new_tokens
   
       host = "EAS HOST"
       authorization = "EAS TOKEN"
   
       print(f" --- input: {prompt}\n", flush=True)
       response = post_http_request(
           prompt, system_prompt,
           host, authorization,
           max_new_tokens, temperature, top_k, top_p)
       output = get_response(response)
       print(f" --- output: {output}\n", flush=True)
   

   其中：

   • host：配置為已擷取的服務訪問地址。

   • authorization：配置為已擷取的服務Token。

批量實現教師模型的指令標註

以下代碼示範了如何讀取自訂JSON格式資料集，批量調用上述模型介面進行教師模型標註。您需要在終端中，建立並執行如下Python代碼檔案來批量調用模型服務。

import json 
from tqdm import tqdm
import requests
from typing import List

input_file_path = "input.json"  # 輸入檔案名稱

with open(input_file_path) as fp:
    data = json.load(fp)

pbar = tqdm(total=len(data))
new_data = []

for d in data:
    system_prompt = "You are a helpful assistant."
    prompt = d["instruction"]
    print(prompt)
    top_k = 50
    top_p = 0.95
    temperature = 0.5
    max_new_tokens = 2048

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    temp = {
        "instruction": prompt,
        "output": output
    }
    new_data.append(temp)
    pbar.update(1)
pbar.close()

output_file_path = "output.json" # 輸出檔案名
with open(output_file_path, 'w') as f:
    json.dump(new_data, f, ensure_ascii=False)

其中：

• host：配置為已擷取的服務訪問地址。

• authorization：配置為已擷取的服務Token。

• file_path：請替換為資料集檔案所在的本地路徑。

• post_http_request和get_response函數的定義與其在調用模型服務指令碼中對應的函數定義保持一致。

蒸餾訓練較小的學生模型

訓練模型

教師模型回複產生完畢後，按以下步驟在 PAI-Model Gallery 中訓練學生模型，無需編寫代碼（以 Qwen2-7B-Instruct 為例）：

1. 進入Model Gallery頁面。

   1. 登入PAI控制台。

   2. 在頂部左上方根據實際情況選擇地區。

   3. 在左側導覽列選擇工作空间列表，單擊指定工作空間名稱，進入對應工作空間內。

   4. 在左側導覽列選擇快速开始 > Model Gallery。

2. 在Model Gallery頁面右側的模型列表中，搜尋並單擊千問2-7B-Instruct模型卡片，進入模型詳情頁面。

3. 在模型詳情頁面，單擊右上方的微调训练。

4. 在微调训练配置面板中，配置以下關鍵參數，其他參數取預設配置。

   參數		描述	預設值
   数据集配置	训练数据集	在下拉式清單中選擇OSS文件或目录，並按照以下步驟選擇資料集檔案所在的OSS儲存路徑： 單擊，並選擇已建立的OSS儲存空間。 單擊上传文件，並按控制台操作指引，將從上述步驟獲得的資料集檔案上傳到OSS目錄中。 單擊确定。	無
   训练输出配置	model	單擊，選擇已建立的OSS儲存目錄。	無
   	tensorboard	單擊，選擇已建立的OSS儲存目錄。	無
   计算资源配置	任务资源	選擇資源規格，系統會自動推薦適合的資源規格。	無
   超参数配置	learning_rate	模型訓練的學習率，Float類型。	5e-5
   	num_train_epochs	訓練輪次，INT類型。	1
   	per_device_train_batch_size	每張GPU卡在一次訓練迭代的資料量，INT類型。	1
   	seq_length	文本序列長度，INT類型。	128
   	lora_dim	LoRA維度，INT類型。當lora_dim>0時，使用LoRA/QLoRA輕量化訓練。	32
   	lora_alpha	LoRA權重，INT類型。當lora_dim>0時，使用LoRA/QLoRA輕量化訓練，該參數生效。	32
   	load_in_4bit	模型是否以4位元載入，bool類型。取值如下： true false 當lora_dim>0、load_in_4bit為true且load_in_8bit為false時，使用4位元QLoRA輕量化訓練。	true
   	load_in_8bit	模型是否以8位元載入，bool類型。取值如下： true false 當lora_dim>0、load_in_4bit為false且load_in_8bit為true時，使用8位元QLoRA輕量化訓練。	false
   	gradient_accumulation_steps	梯度累積步數，INT類型。	8
   	apply_chat_template	演算法是否結合訓練資料與預設的Chat Template來最佳化模型輸出，bool類型。取值如下： true false 以Qwen2系列模型為例，格式為： 問題：<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n 答案：<|im_start|>assistant\n + output + <|im_end|>\n	true
   	system_prompt	模型訓練使用的系統提示，String類型。	You are a helpful assistant

5. 參數配置完成後，單擊训练。

6. 在计费提醒對話方塊中，單擊确定。

   系統將自動跳轉到訓練任務頁面。

部署模型服務

訓練完成後，按以下步驟將模型部署為 EAS 線上服務。

1. 在訓練任務頁面右側，單擊部署。

2. 在部署配置面板中，系統已預設配置了模型服务信息和资源部署信息，您也可以根據需要進行修改。參數配置完成後單擊部署按鈕。

3. 在计费提醒對話方塊中，單擊确定。

   系統自動跳轉到部署任务頁面，當状态為运行中時，表示服務部署成功。

調用模型服務

服務部署成功後，您可以使用API進行模型推理。具體使用方法參考LLM大語言模型部署。

相關文檔

• EAS 產品詳細介紹，請參見EAS概述。

• PAI-Model Gallery 支援更多情境的部署與微調，包括 Llama-3、Qwen1.5、Stable Diffusion V1.5 等模型。詳情請參見Model Gallery使用案例匯總。