繼續預訓練在現有大模型基礎上補充領域資料，可提升模型在特定情境的效能。本方案使用 Pai-Megatron-Patch 工具包，以 Qwen2-72B 為例，覆蓋 MMAP 資料準備到 PAI-QuickStart 訓練的完整流程。
準備繼續預訓練資料
本方案使用Pai-Megatron-Patch工具包。該工具包基於 Megatron 架構，支援訓練大語言模型（LLM）和視覺語言模型（VLM），內建多種 GPU 加速技術。
Pai-Megatron-Patch 使用 MMAP 格式預訓練資料。MMAP 資料經預先 tokenize 處理，讀取速度更快，資料量越大優勢越明顯。您可以通過其資料轉換教程，將未經處理資料轉化為MMAP格式，同時在PAI-Designer中也預置了“文本資料轉mmap格式”組件。不管是通過資料轉換教程還是通過Designer組件，在使用時，PAI-QuickStart限制MMAP格式資料檔案名為dataset.bin和dataset.idx。為方便試用，PAI提供了已經處理好的小規模資料，您可直接下載使用：
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.bin
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.idx
mv wudao_llama3bpe_content_document.bin dataset.bin
mv wudao_llama3bpe_content_document.idx dataset.idx使用PAI-QuickStart進行模型繼續預訓練
資料準備完成後，按以下步驟在 PAI-QuickStart 中啟動 Qwen2-72B 的繼續預訓練。
進入Model Gallery頁面。
登入PAI控制台。
在頂部左上方根據實際情況選擇地區。
在左側導覽列選擇工作空间列表，單擊指定工作空間名稱，進入對應工作空間。
在左側導覽列選擇快速开始 > Model Gallery。
在Model Gallery頁面右側的模型列表中，單擊通義千問2-72B-預訓練（Megatron-CPT版）模型卡片，進入模型詳情頁面。
在模型详情頁單擊右上方訓練。關鍵配置如下：
訓練輸出配置：僅支援NAS資料集（建立資料集）作為輸出Channel。在輸出檔案夾中，checkpoint子檔案夾儲存訓練過程中儲存的各個Megatron Checkpoint。
計算資源配置：Qwen2-72B模型繼續預訓練消耗的計算資源為4機32*A100/A800/H100/H800（80G）或以上規格。
超參數配置：訓練演算法支援的超參資訊如下，您可以根據使用的資料，計算資源等調整超參，或是使用演算法預設配置的超參。
超參數
預設值
類型
含義
job_name
qwen2-72b-cpt
string
指定模型訓練任務類型，不需要修改。
batch_size
1
int
每張GPU卡在一次訓練迭代的資料量。
global_batch_size
32
int
全部GPU卡在一次訓練迭代的資料量，計算方式為batch_size*GPU卡數。
learning_rate
5e-5
float
模型訓練的學習率。
min_learning_rate
5e-6
float
模型訓練的最小學習率。
sequence_length
1024
int
文本序列長度。
pad_length
128
int
文本序列填充長度。
save_interval
1000
int
每次儲存Checkpoint的訓練迭代次數。
train_tokens
1638400
int
訓練任務總消耗的token數，其中，每個迭代消耗的token數為global_batch_size*sequence_length。
warmup_tokens
163840
int
訓練任務warmup階段總消耗的token數。
單擊訓練，提交訓練作業。PAI-QuickStart 自動跳轉到模型訓練頁面，您可以查看訓練狀態和日誌。
（可選）將模型Checkpoint轉換為HuggingFace格式
Qwen2-72B模型預訓練格式為Megatron Dense Checkpoint。如果需要將此格式的Checkpoint轉換為 Huggingface模型，請參見Megatron-Core模型格式轉換。