Topik ini menjelaskan cara menginstal gambar Pai-Megatron-Patch di DLC atau DSW untuk mempercepat pelatihan model.
Batasan
-
Pai-Megatron-Patch memerlukan instans yang dipercepat GPU.
-
Versi driver GPU harus 460.32 atau lebih baru.
Prosedur
Instal gambar Pai-Megatron-Patch di DLC
Deep Learning Containers (DLC) adalah platform pelatihan pembelajaran mendalam cloud-native yang mendukung gambar kustom, pelatihan terdistribusi, dan berbagai framework.
DLC memungkinkan Anda memuat gambar kustom untuk menerapkan Pai-Megatron-Patch. Setelah instalasi, Anda dapat menjalankan pelatihan terdistribusi skala besar pada server multi-GPU.
Lakukan langkah-langkah berikut:
-
Masuk ke PAI console.
-
Di panel kiri, klik Workspace List. Pada halaman Workspace List, klik ruang kerja tertentu.
-
Di panel kiri, pilih Model Development and Training > Deep Learning Containers (DLC), lalu klik Create Job.
-
Konfigurasikan parameter berikut. Untuk parameter lainnya, lihat Create a training job.
-
Environment Information: Atur Node Image ke Image Address, lalu masukkan alamat berikut:
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm -
Resource Information:
-
Atur Framework ke PyTorch.
-
Job Resource: Klik
di kolom Resource Specification, lalu pilih tipe dan spesifikasi node yang dipercepat GPU.
-
-
Klik OK.
Instal gambar Pai-Megatron-Patch di DSW
Data Science Workshop (DSW) adalah lingkungan pengembangan pembelajaran mendalam berbasis cloud yang mengintegrasikan JupyterLab dan mendukung plug-in kustom tanpa konfigurasi O&M.
DSW juga mendukung gambar kustom. Setelah instalasi, Anda dapat melakukan debug program percepatan pelatihan Pai-Megatron-Patch.
Lakukan langkah-langkah berikut:
-
Masuk ke PAI console.
-
Di panel kiri, klik Workspace List. Pada halaman Workspace List, klik ruang kerja tertentu.
-
Di panel kiri, pilih Model Development and Training > Data Science Workshop (DSW), lalu klik Create Instance.
-
Konfigurasikan parameter berikut. Untuk parameter lainnya, lihat Create a DSW instance.
-
Resource Quota: Pilih Public Resources (Pay-as-you-go).
-
Resource Specification: Klik
lalu pilih spesifikasi instans yang dipercepat GPU. -
Image: Masukkan alamat berikut:
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm
-
-
Klik OK untuk membuat instans DSW.
Penggunaan setelah instalasi
Setelah instalasi, temukan contoh dalam folder examples di Pai-Megatron-Patch.