Pai-Megatron-Patch menggabungkan berbagai teknik optimasi untuk mempercepat pelatihan model Transformer berbasis PyTorch, sehingga menghasilkan kinerja pelatihan yang optimal. Topik ini menjelaskan cara kerja Pai-Megatron-Patch dan penggunaannya.
Informasi latar belakang
Pai-Megatron-Patch adalah toolkit yang dikembangkan oleh tim algoritma Platform for AI (PAI) Alibaba Cloud. Toolkit ini merupakan alat pendamping untuk solusi best-practice Large Language Models (LLMs) pada Layanan Komputasi AI Lingjun PAI, yang membantu pengembang memulai penggunaan PAI-Lingjun dan menyelesaikan alur kerja end-to-end untuk LLM, termasuk pelatihan terdistribusi yang efisien, fine-tuning instruksi terawasi (Supervised Instruction Fine-tuning), serta inferensi offline dan validasi. Proyek ini menyediakan alur kerja berbasis Megatron-LM untuk pelatihan dan validasi offline LLM open-source utama, sehingga Anda dapat segera memulai pelatihan LLM.
Cara kerja
Pai-Megatron-Patch memperluas Megatron-LM dengan menerapkan patch alih-alih langsung memodifikasi kode sumbernya. Pendekatan non-invasif ini memungkinkan Anda membangun alur kerja pelatihan LLM yang independen dan menyediakan fungsionalitas tambahan tanpa mengubah pustaka inti Megatron-LM. Hal ini menjamin kompatibilitas dengan pembaruan upstream di masa depan, sehingga praktik terbaik yang telah Anda tetapkan tidak terpengaruh.
Pai-Megatron-Patch mencakup pustaka model, tokenizer, alat konversi model, fitur pembelajaran penguatan (reinforcement learning), serta kemampuan generasi teks offline. Toolkit ini juga menyediakan berbagai contoh dan alat untuk membantu Anda segera menerapkan pelatihan dan inferensi LLM.
Pustaka model mencakup LLM populer seperti Baichuan, Bloom, ChatGLM, Falcon, Galactica, GLM, Llama, Qwen, dan StarCoder. Patch ini juga mendukung konversi dua arah antara bobot model Hugging Face dan bobot model Megatron-LM, sehingga Anda dapat memuat bobot Hugging Face dalam lingkungan Megatron-LM untuk pre-training atau fine-tuning. Sebaliknya, Anda juga dapat mengonversi bobot model Megatron-LM ke format Hugging Face untuk evaluasi dan inferensi dalam ekosistemnya.
Untuk pembelajaran penguatan (reinforcement learning), Pai-Megatron-Patch menyediakan alur kerja seperti pelatihan PPO. Anda dapat menggunakan model SFT dan RM untuk pelatihan. Alat dan contoh yang disertakan menyediakan toolkit lengkap untuk pelatihan dan evaluasi LLM.
Prosedur
Ikuti alur kerja berikut untuk memulai penggunaan Pai-Megatron-Patch: