Sebelum menggunakan Pai-Megatron-Patch untuk mempercepat pelatihan model, Anda harus menginstal gambar Pai-Megatron-Patch. Topik ini menjelaskan batasan dan prosedur instalasinya.
Batasan
-
Gambar Pai-Megatron-Patch hanya dapat diinstal pada instans GPU.
-
Versi driver GPU harus 460.32 atau lebih baru.
Prosedur
Instal di DLC
Deep Learning Containers (DLC) adalah platform pembelajaran mendalam cloud-native yang menyediakan lingkungan fleksibel, stabil, dan berkinerja tinggi untuk pelatihan pembelajaran mesin. DLC mendukung berbagai framework algoritma, framework kustom, serta pekerjaan pelatihan terdistribusi skala sangat besar.
DLC mendukung gambar kustom, yang menyederhanakan penerapan Pai-Megatron-Patch. Anda hanya perlu menyediakan alamat gambarnya, dan DLC akan secara otomatis menginstal gambar tersebut. Setelah instalasi selesai, Anda dapat menjalankan pekerjaan pelatihan terdistribusi skala sangat besar di beberapa node dan GPU.
Lakukan langkah-langkah berikut:
-
Masuk ke Konsol PAI.
-
Pada panel navigasi di sebelah kiri, klik Workspaces. Pada halaman Workspaces, klik nama ruang kerja yang ingin Anda gunakan.
-
Pada panel navigasi di sebelah kiri, pilih Model Training > Deep Learning Containers (DLC), lalu klik Create Task.
-
Konfigurasikan parameter utama berikut dan pengaturan lainnya sesuai kebutuhan. Untuk informasi selengkapnya, lihat Create a training job.
-
Pada bagian Environment Information, atur Node Image ke Image URL dan masukkan alamat berikut: pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm
-
Pada bagian Resource Information, konfigurasikan parameter berikut:
-
Untuk Framework, pilih PyTorch.
-
Untuk Task Resources, klik ikon
pada kolom Instance Type, pilih node GPU, lalu tentukan tipe instans tertentu sesuai kebutuhan Anda.
-
-
-
Klik OK.
Instal di DSW
Data Science Workshop (DSW) adalah lingkungan pengembangan pembelajaran mendalam berbasis cloud untuk pengembang algoritma. Lingkungan ini mengintegrasikan JupyterLab, mendukung plugin kustom, serta memungkinkan Anda menulis dan men-debug kode.
DSW juga mendukung pemuatan gambar kustom. Anda dapat memberikan alamat gambar ke DSW agar Pai-Megatron-Patch diinstal secara otomatis. Setelah instalasi selesai, Anda dapat menggunakan Pai-Megatron-Patch di DSW untuk men-debug dan mempercepat program pelatihan.
Langkah-langkah instalasinya sebagai berikut.
-
Masuk ke Konsol PAI.
-
Pada panel navigasi di sebelah kiri, klik Workspaces. Pada halaman Workspaces, klik nama ruang kerja yang ingin Anda buka.
-
Pada panel navigasi di sebelah kiri, pilih Model Training > Data Science Workshop (DSW), lalu klik Create Instance.
-
Konfigurasikan parameter utama sebagai berikut. Atur parameter lainnya sesuai kebutuhan. Untuk informasi selengkapnya tentang parameter tersebut, lihat Create a DSW instance.
-
Resource Quota: Pilih Public Resource Group (Pay-as-you-go).
-
Instance Type: Klik
dan pilih tipe instans GPU sesuai kasus penggunaan Anda. -
Images: Pada bidang Image Address, masukkan URL berikut:
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm.
-
-
Klik OK untuk membuat instans DSW.
Pasca-instalasi
Setelah menginstal gambar Pai-Megatron-Patch, lihat dan gunakan contoh-contoh yang tersedia di folder examples pada Pai-Megatron-Patch.