Alibaba Cloud Model Studio:Lakukan fine-tuning model di konsol

# Satu baris data pelatihan (dalam format JSON) memiliki struktur khas berikut saat diperluas:
{"messages": [
  {"role": "system", "content": "Input sistem 1"}, 
  {"role": "user", "content": "Input pengguna 1"}, 
  {"role": "assistant", "content": "Output model yang diharapkan 1"}, 
  {"role": "user", "content": "Input pengguna 2"}, 
  {"role": "assistant", "content": "Output model yang diharapkan 2"}
  ...
]}

 {"role": "assistant", "content": "Output model yang diharapkan 1", "loss_weight": 1.0}, 
 {"role": "assistant", "content": "Output model yang diharapkan 2", "loss_weight": 0.5}

Untuk persyaratan volume data setiap metode pelatihan, lihat Persyaratan ukuran set data.

Alibaba Cloud Model Studio merekomendasikan menggunakan fine-tuning model dalam urutan berikut: CPT (opsional) → SFT → DPO:

1. Pertama, kumpulkan volume besar (minimal 10 juta token) data domain-spesifik tanpa label dan jalankan CPT untuk mengubah model menjadi ahli di industri atau domain Anda.

2. Sebelum meluncurkan aplikasi Anda, kumpulkan cukup (1.000+) contoh positif untuk skenario atau bisnis spesifik Anda—pasangan input dan output model yang diharapkan—dan jalankan SFT.

3. Setelah aplikasi Anda diluncurkan atau memasuki operasi uji coba, kumpulkan cukup (100+) umpan balik pengguna (seperti suka, tidak suka, atau umpan balik langsung) atau kasus buruk. Konversi data ini menjadi set data pelatihan DPO dan jalankan DPO.

Pemilihan model

Jika ini pertama kalinya Anda melakukan fine-tuning model, pilih model resmi.

Jika Anda melatih ulang model karena performa buruk, pilih My Models > model yang ingin Anda latih ulang.

Setelah memilih model, beberapa model menampilkan opsi Training Modality (seperti generasi teks atau pemahaman visual). Pilih modalitas yang sesuai dengan skenario bisnis Anda. Jika didukung, opsi Thinking Mode (seperti Instruct atau Thinking) juga muncul. Pilih sesuai kebutuhan.

Pelatihan parameter penuh vs. pelatihan efisien

• Pelatihan parameter penuh memperbarui semua parameter model selama pembelajaran.

• Pelatihan efisien menggunakan Low-Rank Adaptation (LoRA), yang menguraikan matriks bobot dan hanya memperbarui komponen peringkat rendahnya.

Karena biaya kedua metode ini sama, Alibaba Cloud Model Studio merekomendasikan menggunakan pelatihan parameter penuh jika model Anda mendukungnya, karena memberikan hasil lebih baik dan efektivitas biaya lebih tinggi dibandingkan pelatihan efisien.

Pengantar strategi penjadwalan tingkat pembelajaran

“Jadwal tingkat pembelajaran” adalah pengaturan pertama di bawah Konfigurasi Hiperparameter > Perluas Konfigurasi. Ini menawarkan delapan strategi.

Untuk detailnya, lihat:

Kapan saya harus menggunakan fine-tuning model?

• Meskipun fine-tuning model generasi teks dapat mencapai hasil luar biasa dalam skenario bisnis tertentu, metode ini memiliki keterbatasan berikut:

  • Memakan waktu: Ini mencakup pembuatan set data CPT skala besar (minimal 50 juta token), pembuatan set data SFT efektif (1.000+ entri), pengumpulan cukup banyak kasus buruk (100+) untuk membangun set data DPO efektif guna penagihan penerapan model, dan kecepatan lambat iterasi optimasi model.

  • Biaya tinggi: Model fine-tuning hanya dapat digunakan setelah diterapkan, dan penagihan penerapan model tinggi.

• Alibaba Cloud Model Studio merekomendasikan agar Anda pertama kali mencoba menggunakan Rekayasa Prompt atau Function Calling untuk menyesuaikan aplikasi Anda. Fine-tuning model biasanya merupakan "pilihan terakhir" untuk meningkatkan performa model. Hal ini karena:

  1. Dalam banyak tugas, model mungkin awalnya berperforma buruk, tetapi menerapkan teknik prompt yang tepat dapat meningkatkan hasil tanpa memerlukan fine-tuning model.

  2. Mengoptimalkan prompt dan plugin secara iteratif lebih gesit dan hemat biaya dibandingkan iterasi fine-tuning model, karena fine-tuning mungkin memerlukan pengumpulan ulang, pembersihan, dan optimasi data, pengumpulan kasus buruk, serta survei pelanggan.

  3. Bahkan jika Anda akhirnya memutuskan untuk melakukan fine-tuning model, pekerjaan awal pada rekayasa prompt dan optimasi plugin tidak akan sia-sia. Pekerjaan awal ini dapat sepenuhnya digunakan kembali saat membangun set data fine-tuning.

Apa yang harus saya lakukan jika mendapat error izin selama fine-tuning model?

Hubungi administrator platform atau ruang kerja Anda untuk memverifikasi dan memberikan izin berikut:

1. Akun Anda harus memiliki izin halaman untuk Model Fine-tuning – Operation, Model Deployment – Operation, dan Model Evaluation – Operation di ruang kerja tempat Anda menjalankan pekerjaan fine-tuning.

   Untuk detailnya, lihat: Pengelolaan izin akun. Tautan konsol: Model Studio – Account Management.

2. Ruang kerja tempat Anda menjalankan pekerjaan fine-tuning harus memiliki izin Model Training (fine-tuning) untuk model tertentu.

   Untuk detailnya, lihat: Berikan izin pemanggilan, pelatihan, dan penerapan model ke sub-ruang kerja. Tautan konsol: Model Studio – Workspace Management.

   Di halaman Model List dalam Business Space Management, pastikan kolom Model Training model target (misalnya, Qwen3-8B) menunjukkan status Authorized.

Apa yang harus saya lakukan jika hasil evaluasi buruk setelah fine-tuning?

1. Jika menggunakan evaluasi manual, verifikasi bahwa kriteria evaluasi Anda sesuai dengan bisnis atau skenario Anda.

2. Kumpulkan kasus uji dengan hasil evaluasi buruk, analisis penyebab kegagalannya, dan sesuaikan set data pelatihan Anda. Kemudian lakukan iterasi fine-tuning.

3. Buat contoh DPO dari kasus yang dievaluasi buruk dan jalankan pelatihan DPO.

Dapatkah saya mengunduh model yang telah difine-tuning di Alibaba Cloud Model Studio untuk penerapan lokal?

Model yang difine-tuning di Alibaba Cloud Model Studio tidak dapat diekspor. Model tersebut hanya dapat diuji dan dipanggil setelah diterapkan di Model Studio.

Apa yang harus saya lakukan jika fine-tuning model gagal karena data pelatihan tidak mencukupi?

Jika fine-tuning gagal karena data tidak mencukupi, coba atur ulang parameter Sequence Length (max_length).

Penjelasan

Panjang urutan menetapkan panjang token maksimum per sampel pelatihan. Dalam SFT (Supervised Fine-Tuning), sampel yang melebihi panjang ini dibuang. Jika panjang urutan terlalu besar, banyak sampel mungkin dibuang, menyisakan data tidak cukup untuk pelatihan dan menyebabkan kegagalan.

Solusi

1. Saat membuat pekerjaan pelatihan, perluas Parameter Settings dan temukan max_length (Sequence Length).

2. Kurangi panjang urutan (misalnya, menjadi 8192) agar lebih banyak sampel memenuhi persyaratan panjang dan berpartisipasi dalam pelatihan.

3. Kirim ulang pekerjaan pelatihan.

Apa yang harus saya lakukan jika model fine-tuning masih merespons dengan identitas model dasar di Playground?

Halaman Playground di konsol Model Studio tidak mendukung pengaturan prompt sistem. Akibatnya, konfigurasi identitas dari data fine-tuning Anda tidak berlaku, dan model merespons sebagai model dasar.

Untuk memverifikasi pengaturan identitas fine-tuning Anda, gunakan salah satu metode berikut:

• Metode 1: Panggil model melalui API dan sertakan parameter system dalam permintaan untuk mengirimkan prompt sistem.

• Metode 2: Gunakan halaman Model Debugging di konsol Model Studio untuk mengatur prompt sistem sebelum pengujian.