Distilasi umum - Platform For AI - Alibaba Cloud Documentation Center

Distilasi tiga langkah klasik: konfigurasi dasar → pembuatan data distilasi → pelatihan model siswa. Pilih model guru dan siswa serta dataset apa pun, lalu sesuaikan parameter distilasi dan pelatihan agar sesuai dengan sebagian besar skenario tujuan umum.

Ikhtisar templat

Templat distilasi umum merupakan templat dasar di ModelDistill yang menerapkan distilasi black-box—augmentasi data generatif diikuti oleh pelatihan SFT.

Berbeda dengan templat skenario-spesifik, distilasi umum mengikuti pipeline tiga langkah standar tanpa orkestrasi operator preset untuk jenis tugas tertentu, sehingga Anda memiliki kendali penuh atas setiap tahapnya. Templat skenario-spesifik telah mencakup jenis tugas umum seperti distilasi instruksi, distilasi rantai-pikiran (chain-of-thought), distilasi multimodal, dan distilasi pemanggilan tool Agent. Pertama-tama, evaluasi apakah templat skenario-spesifik sesuai dengan tugas Anda; gunakan distilasi umum jika tidak ada yang cocok.

Distilasi umum mengikuti pipeline tiga tahap tetap. Setiap tahap dapat dikonfigurasi dalam wizard pembuatan, sedangkan data distilasi dan artefak pelatihan disimpan secara terpisah untuk digunakan kembali.

Konfigurasi dasar: Tentukan nama tugas, nama model output, dan path-nya.
Pembuatan data distilasi: Panggil model guru untuk menghasilkan tanggapan berkualitas tinggi dari data sumber dan buat dataset SFT distilasi.
Pelatihan model siswa: Fine-tune model siswa pada data distilasi dan hasilkan model distilasi yang siap dideploy.

Mulai cepat

Langkah-langkah berikut menggunakan dataset publik PAI dan konfigurasi default untuk menunjukkan tugas distilasi umum yang lengkap.

Login ke bagian Model Application > Model Distillation (ModelDistill) di Konsol PAI.
Klik Create task untuk menuju tab Distillation Template, atau langsung menuju tab Distillation Template.
Pilih General Distillation, klik Use Template, lalu menuju halaman Create Distillation Task. Konfigurasikan parameter utama yang dijelaskan di bawah ini dan pertahankan nilai default untuk pengaturan lainnya.
Lengkapi Basic Configuration:
- Task name dan Model Name: telah diisi sistem.
- Model output path: tentukan path OSS yang dapat Anda akses, misalnya oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/model-distill/model.
  Catatan
  Buat direktori output terpisah untuk setiap tugas distilasi guna mencegah file model saling menimpa. Bucket OSS harus berada di Wilayah yang sama dengan layanan PAI.
Klik Next untuk menuju langkah Build distillation data:
- Teacher model: Teacher Model Source — pilih Token Service dan pilih model dari daftar drop-down, misalnya qwen3.8-max.
- Dataset: pilih Public Dataset dan pilih Chinese-medical-dialogue-data dari daftar drop-down. Anda juga dapat memilih Custom Dataset untuk menggunakan data Anda sendiri.
- Confirm distillation data: tentukan path OSS yang dapat Anda akses sebagai Distillation output path, misalnya oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/model-distill/dist-data.
- Compute Resource: atur Resource Type menjadi General Computing dan Source menjadi Public Resources. Lalu pilih Instance Type yang sesuai di Job Resource.
Klik Next untuk menuju langkah Student model training:
- Student Model: pilih Public Model dan pilih model yang lebih kecil dari daftar drop-down, misalnya Qwen3-4B.
- Training Mode: pilih LoRA.
- Compute Resource: atur Resource Type menjadi General Computing dan Source menjadi Public Resources. Lalu pilih Instance Type yang sesuai di Job Resource.
Klik OK, lalu klik OK pada prompt penagihan. Halaman akan dialihkan ke halaman detail tugas tempat Anda dapat melacak status tugas. Perkiraan durasi adalah 20–40 menit untuk dataset kecil (100–1.000 entri).

Referensi konfigurasi

Pembuatan data distilasi

Teacher model: mendukung sumber berikut:
- PAI Token Service.
- Layanan PAI-EAS: hanya layanan EAS yang dideploy dari model Model Gallery — baik secara langsung maupun setelah fine-tuning — yang didukung.
Dataset: mendukung dataset distilasi publik maupun dataset kustom. Data harus dalam format JSON dan menyertakan bidang instruction (kolom pertanyaan). Bidang output (kolom output) tidak wajib.
```
[
    {
        "instruction": "What is the capital of France?"
    },
    {
        "instruction": "Explain what artificial intelligence is."
    }
]
```
Confirm distillation data: pilih cara sistem menangani data distilasi yang dihasilkan setelah pembuatan data selesai.
- Auto-confirm (direkomendasikan): sistem secara otomatis memvalidasi dan menyetujui data, lalu memulai pelatihan model siswa. Cocok untuk dataset publik atau ketika Anda yakin terhadap kualitas data.
- Manually confirm: memerlukan tinjauan manual terhadap kualitas data sebelum pelatihan dimulai. Cocok untuk persyaratan kualitas data tinggi atau saat pertama kali menggunakan dataset kustom. Prosedurnya sebagai berikut:
  1. Setelah pembuatan data distilasi selesai, status tugas berubah menjadi Waiting for distillation data confirmation.
  2. Klik Confirm distillation data di kolom Actions. Kotak dialog konfirmasi akan muncul.
  3. Di kotak dialog, klik Click to view untuk melihat detail dataset distilasi.
    - Jika kualitas data sesuai harapan, klik Confirm untuk melanjutkan pelatihan model siswa.
    - Jika data tidak sesuai harapan, klik Cancel untuk menghentikan tugas pada tahap saat ini.

Pelatihan model siswa

Model siswa dapat berupa model publik Model Gallery atau model kustom (saat ini terbatas pada LLM yang telah difine-tune di Model Gallery). Pastikan model siswa memiliki jumlah parameter lebih sedikit daripada model guru.

Training mode

Pilih metode SFT untuk model siswa.

LoRA (direkomendasikan): metode fine-tuning parameter efisien yang mempertahankan performa baik sekaligus secara signifikan mengurangi kebutuhan memori GPU.
QLoRA: varian terkuantisasi dari LoRA yang lebih jauh mengurangi penggunaan memori GPU. Cocok untuk pelatihan di lingkungan dengan sumber daya lebih terbatas.
Full-parameter fine-tuning: memperbarui semua parameter model. Secara teori menghasilkan hasil terbaik, tetapi memerlukan sumber daya komputasi dan waktu yang besar dengan biaya tinggi.

Validation set

Pilih dataset validasi yang digunakan untuk mengevaluasi performa model selama pelatihan.

Don't configure: tidak dilakukan validasi selama pelatihan. Cocok untuk eksperimen cepat atau dataset kecil.
Auto-split distillation data (direkomendasikan): sistem secara otomatis membagi dataset distilasi yang dihasilkan menjadi set pelatihan dan validasi. Rasio set validasi default adalah 5%.
Add validation dataset: tentukan dataset OSS independen sebagai set validasi. Cocok jika Anda memiliki dataset validasi standar.

Hyperparameter

Hiperparameter ini mengontrol proses pelatihan SFT untuk model siswa.

Parameter	Description	Tuning tips
`learning_rate`	Tingkat pembelajaran. Mengontrol ukuran langkah pembaruan parameter model. Default: 5e-5.	• Jika loss pelatihan menurun lambat, coba tingkatkan learning rate. • Jika loss berfluktuasi tajam atau gagal konvergen, kurangi learning rate.
`num_train_epochs`	Jumlah epoch pelatihan — berapa kali seluruh dataset diulang selama pelatihan. Default: 1.	• Untuk dataset besar, biasanya cukup 1–3 epoch. • Terlalu banyak epoch dapat menyebabkan overfitting.
`per_device_train_batch_size`	Jumlah sampel yang diproses per perangkat GPU dalam satu langkah pelatihan. Default: 1.	• Tingkatkan nilai ini jika memori GPU memungkinkan untuk mempercepat pelatihan dan berpotensi menstabilkan proses. • Jika mengalami error kehabisan memori (OOM), kurangi nilai ini terlebih dahulu.
`seq_length`	Panjang maksimum urutan (dalam token) yang dimasukkan ke model siswa. Default: 128.	• Atur berdasarkan karakteristik data dan kasus penggunaan Anda. Teks yang lebih panjang memerlukan `seq_length` yang lebih besar. • Meningkatkan nilai ini secara signifikan meningkatkan konsumsi memori GPU.

Praktik terbaik

Optimasi biaya

Jenis sumber daya:
- Pengujian dan tugas kecil: gunakan sumber daya publik untuk akses on-demand dengan skema bayar sesuai penggunaan.
- Produksi dan tugas prioritas tinggi: gunakan kuota sumber daya untuk sumber daya stabil dan biaya yang dapat diprediksi.
- Tugas sensitif biaya dan toleran gangguan: coba gunakan sumber daya preemptible untuk komputasi berbiaya lebih rendah, meskipun berisiko tugas terganggu.
Mulai dengan dataset kecil: sebelum menjalankan distilasi skala besar, jalankan pipeline lengkap pada subset kecil (100–1.000 entri) untuk memverifikasi konfigurasi Anda. Ini mencegah pemborosan sumber daya komputasi akibat konfigurasi salah.
Optimalkan dataset Anda: dataset seed yang lebih kecil namun berkualitas tinggi mengurangi biaya inferensi model guru dan waktu pelatihan model siswa.
Gunakan pelatihan QLoRA: QLoRA melatih model terkuantisasi, yang secara signifikan menurunkan kebutuhan memori GPU dan memungkinkan Anda menggunakan GPU spesifikasi lebih rendah (dan lebih murah).
Tetapkan timeout yang wajar: konfigurasikan waktu proses maksimum untuk mencegah tugas berjalan tanpa henti akibat masalah tak terduga dan menimbulkan biaya berlebih.

Tuning performa

Kualitas dataset adalah faktor kunci: model guru menetapkan batas atas kualitas distilasi, tetapi dataset distilasi menetapkan batas bawahnya. Pastikan dataset sumber mencakup skenario bisnis Anda, memiliki instruksi yang jelas, dan berisi konten yang beragam.
Tuning hiperparameter:
- Jika loss model siswa tidak menurun atau divergen, kurangi learning rate (learning_rate) terlebih dahulu.
- Jika mengalami error OOM, kurangi batch size (per_device_train_batch_size) atau panjang urutan (seq_length) terlebih dahulu.
Pantau pemanfaatan GPU: periksa pemanfaatan GPU di pemantauan tugas. Pemanfaatan rendah berarti GPU Anda tidak digunakan secara optimal. Coba tingkatkan per_device_train_batch_size untuk meningkatkan throughput.

Evaluasi

Setelah distilasi selesai, evaluasi model siswa.

Deploy model: di halaman detail tugas, klik Deploy di pojok kanan atas untuk mendeploy model siswa hasil distilasi sebagai layanan inferensi online.
Evaluasi komparatif: gunakan fitur evaluasi model PAI untuk membandingkan metrik performa model guru dan siswa (seperti akurasi dan BLEU) pada set data evaluasi yang sama dan mengukur kesenjangan performa secara kuantitatif.
Validasi produksi: sebelum rilis penuh, lakukan uji canary dengan persentase trafik kecil. Bandingkan kecepatan inferensi, penggunaan sumber daya, dan metrik bisnis antara model hasil distilasi dan model asli dalam skenario bisnis nyata.