Platform For AI:Model Distillation (ModelDistill)

Cara kerja

ModelDistill menggunakan black-box distillation, yaitu bentuk generative data augmentation: model guru menghasilkan data berlabel berkualitas tinggi, lalu data tersebut digunakan untuk melakukan fine-tuning pada model siswa melalui supervised fine-tuning (SFT).

Alur kerja terdiri dari dua tahap:

1. Generasi data distilasi: pilih set data sumber, perluas melalui sintesis data (seperti ekspansi dan penyempurnaan instruksi), lalu gunakan model guru untuk menghasilkan data distilasi berkualitas tinggi. Model guru dapat berasal dari PAI Token Service atau PAI-EAS.

2. Pelatihan model siswa: latih model siswa pada set data distilasi melalui SFT. Tiga metode pelatihan didukung: LoRA, QLoRA, dan full-parameter fine-tuning.

Kasus penggunaan

Kapan menggunakan model distillation:

• Penerapan di edge: kompresi model besar menjadi model ringan untuk lingkungan dengan sumber daya terbatas seperti perangkat mobile dan IoT.

• Pengurangan biaya: ganti model inferensi mahal dengan model hasil distilasi yang lebih kecil ketika biaya inferensi produksi terlalu tinggi.

• Optimasi latensi: untuk aplikasi yang sensitif terhadap latensi, kurangi latensi inferensi dan konsumsi GPU sambil mempertahankan akurasi.

• Transfer pengetahuan domain: transfer pengetahuan spesifik domain (misalnya keahlian medis atau hukum) dari model besar ke model yang lebih kecil dan hemat biaya untuk tugas tertentu.

Kapan model distillation mungkin tidak cocok:

• Diperlukan kesetiaan performa 100%: distilasi selalu melibatkan sedikit penurunan performa. Jika penurunan apa pun tidak dapat diterima, distilasi bukan pendekatan yang tepat.

• Tugas yang sangat sederhana: untuk tugas langsung seperti klasifikasi atau pencocokan teks, melakukan fine-tuning langsung pada model kecil mungkin lebih hemat biaya daripada distilasi.

• Tidak ada data seed berkualitas tinggi: kualitas distilasi sangat bergantung pada data seed. Jika data seed tidak merepresentasikan skenario bisnis Anda dengan baik, hasilnya mungkin buruk.

Jenis templat

ModelDistill menyediakan dua jenis templat: General dan Scenario-Based.

• General Distillation Template: mengikuti pipeline standar tiga langkah (konfigurasi dasar → generasi data distilasi → pelatihan model siswa) dengan fleksibilitas parameter penuh. Lihat General distillation.

• Scenario-Based Distillation Templates: pipeline dan parameter algoritma yang telah dikonfigurasi sebelumnya dan dioptimalkan untuk skenario tertentu seperti reasoning Rantai-pikiran (chain-of-thought), tugas multimodal, dan Pemanggilan alat (tool calling) oleh Agen. Pilih skenario untuk menggunakan kembali konfigurasi praktik terbaik dan cepat menghasilkan data pelatihan SFT / DPO / multimodal.

  Catatan

  Beberapa templat hanya mendukung generasi data distilasi. Templat lain mendukung baik generasi data maupun pelatihan model siswa, dengan pelatihan sebagai langkah opsional—Anda dapat menjalankan hanya generasi data.

  Templat	Kasus penggunaan	Deskripsi
  Instruction distillation	Kemampuan mengikuti instruksi	Mentransfer kemampuan model guru dalam mengikuti instruksi ke model siswa. Untuk detailnya, lihat Instruction distillation.
  Chain-of-thought reasoning distillation	Kemampuan reasoning CoT	Mentransfer kemampuan model guru dalam reasoning Rantai-pikiran (chain-of-thought) ke model siswa. Untuk detailnya, lihat Chain-of-thought reasoning distillation.
  Agent tool-call distillation	Pemanggilan tool/fungsi	Mentransfer kemampuan model guru dalam pemanggilan tool dan fungsi ke model siswa. Untuk detailnya, lihat Agent tool call distillation.
  Text-to-video distillation	Generasi teks-ke-video	Mentransfer kemampuan model guru dalam generasi teks-ke-video ke model siswa. Untuk detailnya, lihat Text-to-video distillation.
  Coding Agent distillation	Kemampuan Coding Agent	Coding Agent memodifikasi kode dalam sandbox remote dan menjalankan ulang verifikasi pengujian untuk menghasilkan set data SFT berkualitas tinggi. Model siswa belajar menemukan masalah, memodifikasi kode, dan memverifikasi hasil dalam codebase nyata. Untuk detailnya, lihat Coding Agent Distillation.

Pemilihan templat

Pertama, evaluasi apakah templat skenario-spesifik sesuai dengan kasus penggunaan Anda. Jika ya, gunakan templat tersebut. Jika tidak ada yang sesuai, gunakan templat serbaguna untuk konfigurasi kustom.

Bagaimana cara memilih model guru dan model siswa?

• Model guru: pilih model besar yang telah divalidasi dalam skenario bisnis Anda dan berperforma baik. Secara umum, model yang lebih besar memiliki lebih banyak pengetahuan dan meningkatkan batas atas kualitas distilasi.

• Model siswa: pilih model yang lebih kecil dari family model yang sama dengan guru. Misalnya, distil dari Qwen-30B ke Qwen-8B. Hal ini memastikan kompatibilitas arsitektur dan memaksimalkan efisiensi transfer pengetahuan.

Berapa lama waktu yang dibutuhkan untuk menyelesaikan tugas distilasi?

Durasi tergantung pada ukuran set data, skala model, metode pelatihan, dan sumber daya komputasi. Untuk set data kecil (ribuan entri) dan model berukuran menengah (7B–14B), tugas biasanya selesai dalam hitungan puluhan menit hingga beberapa jam.

Apakah saya dapat melanjutkan tugas yang terganggu karena timeout?

Tidak. Jika tugas terganggu karena mencapai maximum runtime, tugas tersebut gagal dan tidak dapat dilanjutkan. Tinjau log tugas untuk menentukan apakah masalahnya adalah sumber daya tidak mencukupi (eksekusi lambat) atau pengaturan timeout terlalu singkat. Kemudian, tingkatkan maximum runtime atau gunakan sumber daya spesifikasi lebih tinggi dan kirim ulang tugas.

Tugas gagal dengan error CUDA out of memory. Apa yang harus saya lakukan?

Ini adalah error kehabisan memori GPU. Ikuti langkah-langkah berikut untuk mengatasinya:

1. Kurangi batch size: di konfigurasi Student model training, temukan Hyperparameter dan bagi dua nilai per_device_train_batch_size (misalnya, dari 2 menjadi 1), lalu coba lagi.

2. Ganti metode pelatihan: jika mengurangi batch size tidak membantu, kembali ke halaman konfigurasi dan ganti metode pelatihan dari LoRA atau full-parameter fine-tuning ke QLoRA. QLoRA secara signifikan mengurangi penggunaan Memori GPU.

3. Tingkatkan spesifikasi GPU: jika kedua cara di atas tidak berhasil, skala model dan data memerlukan perangkat keras lebih besar. Di Compute Resource, pilih instans GPU dengan Memori GPU lebih besar.