Fine-tune model DeepSeek-R1 Distill dengan LoRA SFT melalui PAI-Platform for AI-Alibaba Cloud

DeepSeek-R1 adalah model yang dikembangkan oleh DeepSeek yang unggul dalam tugas matematika, pemrograman, dan penalaran. Topik ini menggunakan model distill DeepSeek-R1-Distill-Qwen-7B sebagai contoh untuk menjelaskan cara melakukan fine-tuning pada model dalam seri ini.

Model yang didukung

Model Gallery mendukung LoRA supervised fine-tuning (SFT) untuk enam model distill. Tabel berikut mencantumkan konfigurasi sumber daya komputasi minimum yang direkomendasikan saat Anda menggunakan hiperparameter default dan dataset yang disediakan.

Distill Model	Base Model	Metode Pelatihan yang Didukung	Konfigurasi Minimum
DeepSeek-R1-Distill-Qwen-1.5B	Qwen2.5-Math-1.5B	LoRA supervised fine-tuning	1 × A10 (memori video 24 GB)
DeepSeek-R1-Distill-Qwen-7B	Qwen2.5-Math-7B		1 × A10 (memori video 24 GB)
DeepSeek-R1-Distill-Llama-8B	Llama-3.1-8B		1 × A10 (memori video 24 GB)
DeepSeek-R1-Distill-Qwen-14B	Qwen2.5-14B		1 × GU8IS (memori video 48 GB)
DeepSeek-R1-Distill-Qwen-32B	Qwen2.5-32B		2 × GU8IS (memori video 48 GB)
DeepSeek-R1-Distill-Llama-70B	Llama-3.3-70B-Instruct		8 × GU100 (memori video 80 GB)

Panduan Cepat Mulai

Buka halaman Model Gallery.
1. Masuk ke PAI console. Di panel navigasi sebelah kiri, pilih Workspace yang dituju.
2. Di panel navigasi kiri, pilih QuickStart > Model Gallery.
Di halaman Model Gallery, cari dan klik kartu model DeepSeek-R1-Distill-Qwen-7B untuk membuka halaman detail model. Halaman ini menyediakan informasi tentang pelatihan dan penerapan model, termasuk format data yang diperlukan untuk SFT dan metode pemanggilan model.

Klik Train di pojok kanan atas. Konfigurasikan parameter utama berikut:

Dataset configuration: Contoh ini menggunakan dataset default. Anda juga dapat menyiapkan dataset kustom sesuai persyaratan format di halaman detail model dan mengunggahnya ke bucket Object Storage Service (OSS).
Model output path: Pilih path OSS untuk menyimpan model hasil fine-tuning.
Computing Resources: Untuk Source, pilih public resource. Untuk Instance type, pilih ecs.gn7i-c16g1.4xlarge.

Hyperparameters: Tabel berikut menjelaskan hiperparameter yang didukung untuk LoRA supervised fine-tuning. Anda dapat menyesuaikannya sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Panduan fine-tuning untuk model bahasa besar.

Hyperparameters

Parameter	Type	Default (untuk model 7B)	Description
learning_rate	float	5e-6	Tingkat pembelajaran, yang mengontrol besarnya penyesuaian bobot model.
num_train_epochs	int	6	Jumlah kali set data pelatihan diiterasi.
per_device_train_batch_size	int	2	Jumlah sampel yang diproses oleh setiap GPU dalam satu iterasi pelatihan. Ukuran batch yang lebih besar dapat meningkatkan efisiensi tetapi juga meningkatkan kebutuhan memori video.
gradient_accumulation_steps	int	2	Jumlah langkah akumulasi gradien.
max_length	int	1024	Panjang token maksimum dari data masukan yang diproses model dalam satu iterasi pelatihan.
lora_rank	int	8	Dimensi LoRA.
lora_alpha	int	16	Faktor penskalaan LoRA.
lora_dropout	float	0	Laju dropout untuk pelatihan LoRA. Ini membantu mencegah overfitting dengan secara acak menghilangkan neuron selama pelatihan.
lorap_lr_ratio	float	16	Rasio tingkat pembelajaran LoRA+ (λ = ηB/ηA), di mana ηA dan ηB masing-masing adalah tingkat pembelajaran untuk matriks adapter A dan B. Dibandingkan dengan LoRA, LoRA+ menggunakan tingkat pembelajaran berbeda untuk matriks adapter A dan B guna mencapai kinerja lebih baik dan fine-tuning lebih cepat tanpa meningkatkan kebutuhan komputasi. Atur `lorap_lr_ratio` ke 0 untuk menggunakan LoRA standar alih-alih LoRA+.

Klik Train. PAI secara otomatis mengalihkan Anda ke halaman pekerjaan pelatihan tempat Anda dapat memantau status pekerjaan dan melihat log.
Saat pekerjaan pelatihan berhasil, sistem secara otomatis mendaftarkan model hasil fine-tuning di AI Asset Management - Models. Anda kemudian dapat melihat atau menerapkan model tersebut. Untuk detailnya, lihat Daftarkan dan kelola model.
Setelah pelatihan selesai, klik Deploy di pojok kanan atas untuk menerapkan model hasil fine-tuning sebagai layanan EAS. Metode pemanggilannya sama dengan model distill aslinya. Untuk informasi lebih lanjut, lihat halaman detail model atau Terapkan model DeepSeek-V3 dan DeepSeek-R1.

Tagihan

Pelatihan model di Model Gallery menggunakan DLC. DLC ditagih berdasarkan durasi pekerjaan pelatihan. Untuk informasi lebih lanjut, lihat Tagihan untuk DLC.

FAQ

T: Bagaimana cara mengatasi pekerjaan pelatihan yang gagal?

Atur max_length yang sesuai dalam konfigurasi pelatihan. Algoritma pelatihan akan membuang data yang melebihi max_length dan mencatat tindakan tersebut di log tugas:
Jika terlalu banyak data dibuang, set data pelatihan atau validasi bisa menjadi kosong, sehingga menyebabkan pekerjaan pelatihan gagal:
Log error failed to compose dlc job specs, resource limiting triggered, you are trying to use more GPU resources than the threshold menunjukkan bahwa pekerjaan telah memicu batas sumber daya. Secara default, maksimal 2 GPU dapat berjalan secara bersamaan untuk pekerjaan pelatihan. Tunggu hingga pekerjaan yang sedang berjalan selesai sebelum memulai yang baru, atau ajukan tiket untuk meminta peningkatan kuota.
Log error the specified vswitch vsw-**** cannot create the required resource ecs.gn7i-c32g1.8xlarge, zone not match menunjukkan bahwa tipe instans yang ditentukan kehabisan stok di zona ketersediaan tempat VSwitch berada. Anda dapat mencoba solusi berikut: 1. Jangan tentukan VSwitch. DLC akan secara otomatis memilih VSwitch di zona ketersediaan dengan stok yang cukup. 2. Ganti ke tipe instans lain.

T: Apakah saya dapat mengunduh model setelah pelatihan?

Ya. Saat membuat pekerjaan pelatihan, Anda dapat mengatur path output model ke direktori OSS. Setelah pekerjaan selesai, Anda dapat mengunduh model dari path OSS yang ditentukan.

T: Apa yang harus saya lakukan jika kinerja model buruk?

Pertimbangkan solusi berikut:

Gunakan model dengan kinerja dasar yang lebih baik, seperti model dari seri DeepSeek atau Qwen3 dengan jumlah parameter yang lebih tinggi.
Perbaiki prompt Anda.
Tingkatkan nilai max_tokens.
Pecah tugas kompleks menjadi sub-tugas yang lebih kecil agar dapat ditangani model secara terpisah.

Platform For AI:Fine-tune model distill DeepSeek-R1