Platform For AI：Qwen2.5-Coder模型的訓練、評測、壓縮與部署

模型簡介

Qwen2.5-Coder 是一系列以編程為核心的模型，最高支援128K tokens的上下文長度，併兼容92種程式設計語言。該系列模型在多項代碼相關任務中表現出色，包括多語言代碼產生、代碼補全和代碼修複。在Qwen2.5-Coder的基礎上，經過指令微調的變體 Qwen2.5-Coder-Instruct 進一步提升了各項任務的效能。

主要特性包括：

• 多語言編程能力：Qwen2.5-Coder-Instruct 在覆蓋40多種語言的McEval基準測試中表現出卓越的效能，即使是小眾程式設計語言也不例外。

• 代碼推理能力：該模型在CRUXEval基準測試上表現出色，展示了強大的代碼推理能力。

• 數學能力：作為編碼的基礎學科，數學是該模型同樣擅長的領域，凸顯了其在STEM領域的強大綜合能力。

• 基礎能力：Qwen2.5-Coder-Instruct 繼承了基本模型Qwen2.5強大的通用能力，確保了其在廣泛任務中的穩定性和適用性。

環境要求

模型部署和調用

from openai import OpenAI
# 1. 配置用戶端
# <EAS_TOKEN>需替換為部署服務的Token
openai_api_key = "<EAS_TOKEN>"
# <EAS_ENDPOINT>需替換為部署服務的訪問地址
openai_api_base = "<EAS_ENDPOINT>/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
# 2. 擷取模型名稱
# 對於BladeLLM， 設定model = ""。 因為BladeLLM不需要model入參，也不支援使用client.models.list()方式擷取模型名稱。設定Null 字元串以相容OpenAI SDK的強制參數要求
models = client.models.list()
model = models.data[0].id
print(model)
# 3. 發起對話請求
# 支援流式（stream=True）和非流式（stream=False）輸出
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)
if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

模型微調訓練

Model Gallery為千問2.5-Coder-32B-Instruct模型配置了SFT和DPO兩種微調演算法，開箱即用，無需額外配置。

[
  {
    "instruction": "Create a function to calculate the sum of a sequence of integers.",
    "output": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum"
  },
  {
    "instruction": "Generate a Python code for crawling a website for a specific type of data.",
    "output": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))"
  }
]

[
  {
    "prompt": "Create a function to calculate the sum of a sequence of integers.",
    "chosen": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum",
    "rejected": "[x*x for x in [1, 2, 3, 5, 8, 13]]"
  },
  {
    "prompt": "Generate a Python code for crawling a website for a specific type of data.",
    "chosen": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))",
    "rejected": "def remove_duplicates(string): \n    result = \"\" \n    prev = '' \n\n    for char in string:\n        if char != prev: \n            result += char\n            prev = char\n    return result\n\nresult = remove_duplicates(\"AAABBCCCD\")\nprint(result)"
  }
]

1. 在Model Gallery頁面右側的模型列表中，單擊通義千問2.5-Coder-32B-Instruct模型卡片，進入模型詳情頁面。

2. 在模型詳情頁單擊右上方训练。關鍵配置如下：

   • 資料集配置：準備好資料後，上傳到OSS Bucket中，或通過指定資料集對象選擇NAS/CPFS上的資料。也可使用PAI預置的公用資料集，直接提交任務測試演算法。

   • 計算資源配置：演算法需要使用80 GB顯存及以上的GPU資源，請確保選擇使用的資源配額內有充足的計算資源。其他規模的模型所需資源規格，請參見環境要求。

   • 超參數配置：支援的超參如下，可按需調整，或使用預設值。

     超參數配置

     超參數	類型	預設值	是否必須	描述
     training_strategy	string	sft	是	訓練演算法，可以為SFT或DPO。
     learning_rate	float	5e-5	是	學習率，用於控制模型權重，調整幅度。
     num_train_epochs	int	1	是	訓練資料集被重複使用的次數。
     per_device_train_batch_size	int	1	是	每個GPU在一次訓練迭代中處理的樣本數量。較大的批次大小可以提高效率，也會增加顯存的需求。
     seq_length	int	128	是	序列長度，指模型在一次訓練中處理的輸入資料的長度。
     lora_dim	int	32	否	LoRA維度，當lora_dim>0時，使用LoRA/QLoRA輕量化訓練。
     lora_alpha	int	32	否	LoRA權重，當lora_dim>0時，使用LoRA/QLoRA輕量化訓練，該參數生效。
     dpo_beta	float	0.1	否	模型在訓練過程中對偏好資訊的依賴程度。
     load_in_4bit	bool	false	否	模型是否以4 bit載入。 當lora_dim>0、load_in_4bit為true且load_in_8bit為false時，使用4 bit QLoRA輕量化訓練。
     load_in_8bit	bool	false	否	模型是否以8 bit載入。 當lora_dim>0、load_in_4bit為false且load_in_8bit為true時，使用8 bit QLoRA輕量化訓練。
     gradient_accumulation_steps	int	8	否	梯度累積步驟數。
     apply_chat_template	bool	true	否	演算法是否為訓練資料加上模型預設的chat template，以Qwen2系列模型為例，格式為： 問題：<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n 答案：<|im_start|>assistant\n + output + <|im_end|>\n
     system_prompt	string	You are a helpful assistant	否	模型訓練使用的系統提示。

3. 單擊训练，Model Gallery自動跳轉到任務詳情頁面，開始訓練，您可以查看訓練任務狀態和日誌。

訓練好的模型會自動註冊到AI資產-模型管理中，您可以查看或部署對應的模型，詳情請參見註冊及管理模型。

模型評測

PAI為千問2.5-Coder-32B-Instruct模型提供了內建的評測演算法，可評估原始模型和微調後模型的效能，詳情請參見模型評測、大模型評測最佳實務。

模型壓縮

訓練後，您可以在部署前對模型進行量化（壓縮），以減少其儲存空間佔用和計算資源消耗，詳情請參見模型壓縮。

相關參考

• Qwen2.5-Coder模型介紹

• 快速開始（QuickStart）計費說明