PAI-QuickStart で Qwen2 モデルの継続事前学習を実行し、特定のドメインやタスクに対するモデルのパフォーマンスを向上させます。
継続事前学習用のデータ準備
継続事前学習では、Pai-Megatron-Patch ツールキットを使用します。このツールキットは、Megatron フレームワークを用いた大規模言語モデル (LLM) および視覚言語モデル (VLM) のトレーニングを簡素化します。Megatron-LM の高速化技術を適用して、一般的な大規模言語モデルをトレーニングし、GPU のコンピューティング能力を最大限に活用します。
Pai-Megatron-Patch は、MMAP フォーマットの事前学習データを使用します。この事前トークン化フォーマットは、特に大規模なデータセットの場合、データ読み込み時間を短縮します。生データを MMAP フォーマットに変換するには、データ変換チュートリアルに従うか、PAI-Designer の組み込みコンポーネント「Convert text data to mmap format」を使用します。データ変換チュートリアルまたは PAI-Designer のどちらを使用する場合でも、PAI-QuickStart では dataset.bin および dataset.idx という名前の MMAP データファイルが必要です。トライアル利用のために、PAI は小規模な前処理済みのサンプルデータセットを提供しています：
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.bin
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.idx
mv wudao_llama3bpe_content_document.bin dataset.bin
mv wudao_llama3bpe_content_document.idx dataset.idxPAI-QuickStart を使用した継続事前学習
データを準備した後、PAI-QuickStart でモデルの継続事前学習を実行します。以下の手順では、Qwen2-72B モデルを例として使用します。
モデルギャラリーページに移動します。
PAI コンソールにログインします。
左上のコーナーで、リージョンを選択します。
左側のナビゲーションウィンドウで、Workspaces を選択し、ワークスペース名をクリックします。
左側のナビゲーションウィンドウで、QuickStart > [モデルギャラリー] を選択します。
モデルギャラリーページで、Qwen2-72B-Pre-trained (Megatron Edition) を見つけてクリックします。
Model Detailsページで、右上の [トレーニング] をクリックします。次の主要な設定を構成します：
トレーニング出力：出力を NAS データセットに設定します。詳細については、「データセットの作成」をご参照ください。Megatron チェックポイントは、出力フォルダ内の
checkpointサブフォルダに保存されます。計算リソース：Qwen2-72B には、4 つのノードにまたがる少なくとも 32 基の A100/A800/H100/H800 (80 GB) GPU が必要です。
ハイパーパラメーター：ご利用のデータセットと計算リソースに基づいてハイパーパラメーターを調整するか、デフォルト値を使用します。
パラメーター
デフォルト
タイプ
説明
job_name
qwen2-72b-cpt
string
トレーニングタスクのタイプを指定します。変更しないでください。
batch_size
1
int
1 反復あたりに 1 つの GPU で処理されるデータサンプルの数。
global_batch_size
32
int
1 反復あたりにすべての GPU で処理される合計データサンプル数。
batch_size* GPU 数として計算されます。learning_rate
5e-5
float
学習率。
min_learning_rate
5e-6
float
最小学習率。
sequence_length
1024
int
テキストシーケンス長。
pad_length
128
int
テキストシーケンスのパディング長。
save_interval
1000
int
チェックポイント間のトレーニング反復数。
train_tokens
1638400
int
トレーニング用の合計トークン数。反復ごとに消費されるトークン数 =
global_batch_size*sequence_length。warmup_tokens
163840
int
ウォームアップフェーズ用の合計トークン数。
[トレーニング] をクリックします。PAI-QuickStart はトレーニングページにリダイレクトし、トレーニングを開始します。このページでトレーニングタスクのステータスとログを表示できます。
(任意) モデルチェックポイントの Hugging Face フォーマットへの変換
Qwen2-72B の事前学習では、Megatron Dense Checkpoint フォーマットが出力されます。このフォーマットを Hugging Face フォーマットに変換するには、「Megatron-Core モデルフォーマット変換」をご参照ください。