Platform For AI:Pre-training lanjutan untuk LLM

Siapkan data untuk pre-training lanjutan

Pre-training lanjutan menggunakan toolkit Pai-Megatron-Patch, yang menerapkan teknik akselerasi Megatron-LM untuk melatih LLM dan vision language models (VLMs).

Pai-Megatron-Patch memerlukan data pre-training dalam format MMAP, yaitu format yang telah di-tokenisasi sebelumnya sehingga mengurangi waktu pemuatan dataset besar. Konversikan data mentah ke format MMAP dengan menggunakan tutorial konversi data atau komponen "Convert text data to mmap format" di PAI-Designer. Nama file output harus dataset.bin dan dataset.idx. PAI menyediakan dataset contoh untuk uji coba:

wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.bin
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.idx
mv wudao_llama3bpe_content_document.bin dataset.bin
mv wudao_llama3bpe_content_document.idx dataset.idx

Gunakan PAI-QuickStart untuk pre-training lanjutan

Setelah menyiapkan data, jalankan pre-training lanjutan di PAI-QuickStart. Prosedur ini menggunakan Qwen2-72B sebagai contoh.

1. Buka halaman Model Gallery.

   1. Masuk ke Konsol PAI.

   2. Di pojok kiri atas, pilih Wilayah.

   3. Di panel navigasi sebelah kiri, pilih Workspaces, lalu klik nama ruang kerja.

   4. Di panel navigasi sebelah kiri, pilih QuickStart > Model Gallery.

2. Di halaman Model Gallery, klik Qwen2-72B-Base (Megatron-CPT).

3. Di halaman Model Details, klik Train. Konfigurasikan pengaturan berikut:

   • Training output: Tetapkan output ke dataset NAS (Create dataset). Checkpoint Megatron disimpan di subfolder checkpoint dalam direktori output.

   • Compute resources: Minimal 32 GPU A100/A800/H100/H800 (80 GB) yang tersebar di empat node.

   • Hyperparameters: Sesuaikan berdasarkan dataset dan sumber daya komputasi Anda, atau gunakan nilai default.

     Parameter	Default	Type	Description
     job_name	qwen2-72b-cpt	string	Jenis task pelatihan. Jangan ubah.
     batch_size	1	int	Jumlah sampel data yang diproses per GPU per iterasi.
     global_batch_size	32	int	Total sampel dari seluruh GPU per iterasi. Sama dengan batch_size * jumlah GPU.
     learning_rate	5e-5	float	Tingkat pembelajaran.
     min_learning_rate	5e-6	float	Tingkat pembelajaran minimum.
     sequence_length	1024	int	Panjang urutan teks.
     pad_length	128	int	Panjang padding untuk urutan teks.
     save_interval	1000	int	Jumlah iterasi pelatihan antar checkpoint.
     train_tokens	1638400	int	Total token untuk pelatihan. Token yang dikonsumsi per iterasi = global_batch_size * sequence_length.
     warmup_tokens	163840	int	Total token untuk fase warmup.

4. Klik Train. PAI-QuickStart akan memulai pelatihan dan menampilkan status serta log task.

(Opsional) Konversi checkpoint model ke format Hugging Face

Output pre-training Qwen2-72B menggunakan format Megatron Dense Checkpoint. Konversikan ke format Hugging Face dengan menggunakan konversi format model Megatron-Core.