Alibaba Cloud Model Studio:Aturan unggah data fine-tuning

Menjelaskan spesifikasi format, persyaratan pengemasan, batas ukuran dan jumlah, serta kuota unggah API untuk data fine-tuning model generasi teks, membantu pengguna menyusun dan mengunggah data pelatihan SFT/DPO/CPT yang sesuai berdasarkan metode pelatihan.

Ikhtisar

Dokumen ini menjelaskan spesifikasi format, persyaratan pengemasan, batas ukuran dan jumlah, serta kuota unggah API untuk data fine-tuning model generasi teks. Cakupannya meliputi fine-tuning model generasi teks (teks/gambar/video → teks), termasuk SFT/DPO/CPT teks biasa, pemahaman gambar dan video Qwen VL, ekstraksi frame video, pemanggilan fungsi, dan pemikiran mendalam. Fine-tuning model generasi video (gambar → video) berada di luar cakupan.

Jenis set data (set pelatihan atau set evaluasi) tidak dapat diubah setelah pembuatan. Dukungan untuk masing-masing metode pelatihan dan elemen dijelaskan secara rinci dalam Matriks dukungan metode dan elemen pelatihan. Aturan penyusunan format untuk setiap kombinasi dijelaskan pada bab-bab terkait di bawah ini.

Operasi manajemen (parameter pembuatan, manajemen versi, aturan manajemen set evaluasi, pemilihan metode impor, pembersihan data, keamanan dan kepatuhan) dibahas dalam dokumen terkait; lihat Set pelatihan dan set evaluasi, Pengantar fine-tuning model, dll. Kami menyarankan mengunduh templat data untuk skenario yang sesuai pada halaman pembuatan set data dan menyiapkan data sesuai struktur templat guna menghindari kegagalan impor.

Untuk rekomendasi penyusunan set data (skala data yang direkomendasikan, diversitas dan keseimbangan, strategi augmentasi data), lihat Pengantar fine-tuning model – Tips penyusunan set data.

Matriks dukungan metode dan elemen pelatihan

Set pelatihan mendukung tiga metode pelatihan: SFT, DPO, dan CPT. Status dukungan masing-masing metode pelatihan dan elemen ditampilkan dalam tabel matriks di bawah ini. Urutan fine-tuning yang direkomendasikan adalah CPT (opsional) → SFT → DPO (opsional); ketiganya bersifat progresif, bukan saling eksklusif.

Ketersediaan wilayah:

• SFT, unggah lokal, backflow log, unggah API, dan format data multimodal didukung di semua wilayah.
• DPO, CPT, impor OSS, dan mount penyimpanan cloud hanya didukung di wilayah Beijing.

Matriks dukungan untuk metode dan elemen pelatihan adalah sebagai berikut:

Setiap metode pelatihan dalam tabel matriks ditautkan ke bagian penjelasan rincinya; untuk definisi bidang, lihat bagian berikutnya.

Untuk definisi bidang metode pelatihan SFT/DPO/CPT, lihat Pengantar fine-tuning model.

Generasi teks – Format SFT

Data pelatihan generasi teks SFT menggunakan format file jsonl, berdasarkan struktur multi-turn ChatML messages.

• Mendukung tiga role: system, user, dan assistant. Bidang content berupa string (untuk struktur array content dalam skenario multimodal, lihat bab format multimodal terkait).
• Ukuran maksimum satu file adalah 200 MB.
• Sebuah set data dapat mencampur baris dengan format berbeda — setiap record memilih formatnya sendiri secara independen, tidak perlu diseragamkan menjadi satu format.
• Format yang tersedia: ChatML standar, pemikiran mendalam, pemanggilan fungsi, dan kombinasi pemanggilan fungsi dengan pemikiran mendalam (lihat contoh pada tab di bawah).

Generasi teks SFT mendukung format sampel berikut. Struktur JSON lengkap dari setiap sampel ditampilkan pada tab yang sesuai:

{
  "messages": [
    {"role": "system", "content": "System input 1"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Expected model output 1"},
    {"role": "user", "content": "User input 2"},
    {"role": "assistant", "content": "Expected model output 2"}
  ]
}

{"role": "assistant", "content": "Expected model output", "loss_weight": "1.0"}

{
  "messages": [
    {"role": "system", "content": "System input 1"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Model output 1"},
    {"role": "user", "content": "User input 2"},
    {"role": "assistant", "content": "<think>\nExpected thinking content 2\n</think>\n\nExpected output 2"}
  ]
}

Aturan tag thinking

Konten pemikiran mendalam dibungkus dalam tag <think>\n…\n</think>\n\n, ditempatkan di dalam teks output assistant (berbagi konten assistant terakhir yang sama dengan balasan akhir). Aturan:

• Hanya boleh ditempatkan pada output assistant terakhir; output assistant antara tidak boleh menyertakan tag thinking.
• Jeda baris sebelum dan sesudah tag thinking harus dipertahankan.
• Jika sampel pelatihan dikonfigurasi agar model tidak menghasilkan tag thinking, tidak disarankan mengaktifkan kembali mode pemikiran mendalam saat memanggil model setelah pelatihan.

Format set evaluasi

Set evaluasi hanya berlaku untuk skenario generasi teks dan bersifat independen dari metode pelatihan SFT/DPO/CPT — model yang dilatih dengan DPO/CPT juga menggunakan set evaluasi generasi teks untuk evaluasi, tanpa pembedaan berdasarkan metode pelatihan.

Spesifikasi set evaluasi:

• Format file adalah xlsx; struktur kolom dapat ditemukan pada templat yang diunduh dari Konsol.
• Metode ingest: unggah lokal dan replay log; impor Object Storage Service (OSS) dan mount penyimpanan cloud tidak didukung.
• Hanya versi draft yang mendukung pengeditan daring (Prompt/Completion); versi yang telah dipublikasikan tidak dapat diedit.

Deskripsi format unggah lokal:

{"prompt": "Siapa yang melukis tubuh manusia selama masa Renaisans?", "completion": "Renaisans adalah gerakan kebangkitan seni, budaya, dan ilmu pengetahuan, di mana banyak seniman melukis tubuh manusia."}
{"prompt": "Mengapa Matahari memancarkan cahaya dan panas?", "completion": "Matahari menghasilkan energi luar biasa dari fusi inti hidrogen pada suhu dan tekanan tinggi. Reaksi fusi ini melepaskan sejumlah besar cahaya dan panas."}
{"prompt": "Mengapa langit berwarna biru?", "completion": "Ketika sinar matahari mencapai atmosfer Bumi, cahaya biru dengan panjang gelombang lebih pendek dihamburkan oleh molekul gas di atmosfer, membentuk langit biru yang kita lihat."}

Batas ingest replay log:

• Rentang log yang didukung adalah dalam 30 hari terakhir.
• Maksimal 100.000 record per impor.
• Anda harus mengotorisasi peran terkait layanan dan menentukan API Key serta kondisi filter model.
• Set pelatihan hanya tersedia untuk skenario generasi teks SFT (set evaluasi generasi teks juga didukung).

Untuk detail metode ingest replay log, lihatBackflow log.

Set evaluasi harus merupakan kumpulan data independen yang tidak tumpang tindih, digunakan untuk mengevaluasi kemampuan generalisasi model secara objektif. Untuk aturan manajemen set evaluasi, lihatSet pelatihan dan set evaluasi.

Generasi teks – Format DPO

Data pelatihan generasi teks DPO menggunakan format jsonl. Berdasarkan struktur multi-turn ChatML messages, data ini juga berisi dua output assistant kontras, chosen dan rejected, untuk pelatihan penyelarasan preferensi. Seluruh konten dalam messages digunakan sebagai input, dan DPO digunakan untuk melatih umpan balik positif/negatif model terhadap input user terakhir. Untuk aturan struktur multi-turn messages, lihat Generasi teks – Format SFT.

Untuk konten pemikiran mendalam, output assistant chosen atau rejected dapat dibungkus dengan tag thinking. Tag thinking hanya boleh ditempatkan pada baris assistant terakhir. Untuk aturannya, lihat Generasi teks – Format SFT.

Parameter loss_weight (hanya berdasarkan undangan, hanya didukung oleh Qwen3.5+) mendukung modul chosen. Rentang nilainya 0,0 hingga 1,0; semakin besar nilainya, semakin tinggi tingkat kepentingan pelatihannya. Untuk detailnya, lihat Generasi teks – Format SFT.

Batas ukuran file tunggal untuk data pelatihan DPO adalah 200 MB, konsisten dengan generasi teks SFT. Untuk definisi DPO, lihat Pengantar fine-tuning model. Untuk operasi draft dan publikasi, lihat Set pelatihan dan set evaluasi.

Lihat blok kode di bawah ini untuk contoh data pelatihan generasi teks DPO:

{
  "messages": [
    {"role": "system", "content": "System input"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Model output 1"},
    {"role": "user", "content": "User input 2"},
    {"role": "assistant", "content": "Model output 2"},
    {"role": "user", "content": "User input 3"}
  ],
  "chosen": {"role": "assistant", "content": "Preferred expected model output 3"},
  "rejected": {"role": "assistant", "content": "Rejected expected model output 3"}
}

{
  "messages": [
    {"role": "system", "content": "System input"},
    {"role": "user", "content": "User input 1"},
    {"role": "assistant", "content": "Model output 1"},
    {"role": "user", "content": "User input 2"}
  ],
  "chosen": {"role": "assistant", "content": "<think>\nExpected thinking content\n</think>\n\nExpected model output"},
  "rejected": {"role": "assistant", "content": "Rejected expected model output 2"}
}

Generasi teks – Format CPT

Data pelatihan generasi teks CPT menggunakan format teks biasa jsonl, dengan satu objek jsonl per baris, berstruktur sebagai {text}, di mana bidang text berisi konten teks biasa. Untuk aturan struktur multi-turn messages, lihat Generasi teks – Format SFT.

Batasan data pelatihan CPT:

• Minimal 50 juta token direkomendasikan, dan batas ukuran file tunggal adalah 300 MB.
• Status draft dan pewarisan data tidak didukung; setiap versi baru memerlukan pembuatan data baru dan langsung dipublikasikan.

Untuk definisi CPT, lihat Pengantar fine-tuning model. Untuk operasi manajemen versi dan pewarisan data, lihat Set pelatihan dan set evaluasi. Struktur JSON lengkap dari contoh teks biasa CPT ditampilkan dalam blok kode di bawah ini.

Strategi pewarisan data saat membuat versi baru untuk setiap metode pelatihan adalah sebagai berikut (CPT tidak mendukung mewarisi data yang ada; setiap versi baru memerlukan pembuatan data baru):

Contoh format teks biasa {text} (satu objek teks biasa jsonl per baris):

{
  "text": "Text content"
}

Format SFT – Pemahaman Visual

Data pelatihan gambar SFT digunakan untuk pemahaman multimodal Qwen VL (opsi UI Konsol adalah "Image Understanding"). Data ini menggunakan format paket zip yang berisi file data pelatihan teks data.jsonl dan file gambar. data.jsonl harus ditempatkan di direktori root paket. Setiap record pelatihan dalam data.jsonl menggunakan struktur array content, dengan item array berisi bidang gambar (image) dan bidang teks (text). Struktur direktori satu lapis direkomendasikan. Untuk aturan pengemasan, lihat Aturan pengemasan paket zip multimodal.

Contoh pelatihan gambar SFT ditampilkan pada tab di bawah ini:

{
  "messages": [
    {"role": "system", "content": [{"text": "System input 1"}]},
    {"role": "user", "content": [{"text": "User input 1"}]},
    {"role": "assistant", "content": [{"text": "Expected model output 1"}]},
    {"role": "user", "content": [{"text": "User input 2"}]},
    {"role": "assistant", "content": [{"text": "Expected model output 2"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input 1"}]},
    {"role": "user", "content": [{"text": "User input 1"}]},
    {"role": "assistant", "content": [{"text": "Model output 1"}]},
    {"role": "user", "content": [{"text": "User input 2"}]},
    {"role": "assistant", "content": [{"text": "<think>\nExpected thinking content 2\n</think>\n\nExpected output 2"}]}
  ]
}

{
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Kueri cuaca real-time untuk kota tertentu",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {"type": "string", "description": "Nama kota, misalnya: Beijing"}
          },
          "required": ["city"]
        }
      }
    }
  ],
  "messages": [
    {"role": "user", "content": [{"text": "Bantu saya cek cuaca di Beijing"}]},
    {
      "role": "assistant",
      "content": [{"text": "OK, saya akan membantu Anda mengecek cuaca di Beijing."}],
      "tool_calls": [
        {
          "id": "call_3a11c1ba883b41b6a4e0cb",
          "type": "function",
          "function": {
            "name": "get_weather",
            "arguments": "{\"city\": \"Beijing\"}"
          }
        }
      ]
    },
    {"role": "tool", "tool_call_id": "call_3a11c1ba883b41b6a4e0cb", "content": [{"text": "{\"city\": \"Beijing\", \"weather\": \"Cerah\", \"temperature\": \"25℃\"}"}]},
    {"role": "assistant", "content": [{"text": "Hari ini Beijing cerah, dengan suhu 25°C, cocok untuk keluar rumah."}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input"}]},
    {
      "role": "user",
      "content": [
        {"text": "User input 1"},
        {"image": "image_file1.jpg", "resized_width": 200, "resized_height": 200}
      ]
    },
    {"role": "assistant", "content": [{"text": "Expected model output 1"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input"}]},
    {
      "role": "user",
      "content": [
        {"text": "User input 1"},
        {"video": "video_file1.mp4", "fps": 3.0, "resized_width": 200, "resized_height": 200, "video_start": 0.0, "video_end": 3.0}
      ]
    },
    {"role": "assistant", "content": [{"text": "Expected model output 1"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "System input"}]},
    {
      "role": "user",
      "content": [
        {"text": "User input 2"},
        {"video": ["0.jpg", "1.jpg", "2.jpg", "3.jpg"], "sample_fps": 5.0, "resized_width": 200, "resized_height": 200}
      ]
    },
    {"role": "assistant", "content": [{"text": "Expected model output 2"}]}
  ]
}

Untuk definisi pemahaman multimodal, lihat Pengantar fine-tuning model.

Deskripsi bidang Tool

Mode pemanggilan fungsi menambahkan definisi tools dan mekanisme tool_calls/role:tool di atas struktur pesan multi-turn. Batasan bidang adalah sebagai berikut:

• tools: array definisi tool; setiap item berisi type:"function" dan function{name, description, parameters}; parameters berupa JSON Schema (berisi type/properties/required).
• messages: array dialog multi-turn; role mencakup user, assistant, dan tool.
• content: array konten multimodal; dapat berisi item gambar, teks, video, dan lainnya (konsisten dengan format pemahaman multimodal).
• assistant.tool_calls: array pemanggilan tool yang dihasilkan model; berisi id, type:"function", function{name, arguments}; arguments berupa string JSON.
• role:"tool": respons tool; tool_call_id harus berkorespondensi satu-satu dengan tool_calls[].id yang sesuai; content berisi hasil respons tool.

Pesan terakhir dalam dialog multi-turn biasanya merupakan balasan akhir assistant berdasarkan respons tool. Mode tool termasuk dalam skenario SFT; untuk dukungan data tool dalam skenario DPO, lihat Generasi teks – Format DPO.

Batasan bidang loss_weight:

• Parameter hanya berdasarkan undangan; rentang nilai 0,0 hingga 1,0; semakin besar nilainya, semakin tinggi kepentingan relatif baris ini selama pelatihan.
• Untuk model SFT dengan pemikiran mendalam, hanya baris assistant terakhir yang mendukung loss_weight.

Bailian tidak mendukung parameter name dan weight OpenAI; seluruh output assistant akan dilatih. Data pelatihan yang dimigrasikan dari OpenAI/Azure tidak boleh membawa bidang name/weight.

Rekomendasi diversitas dan keseimbangan data: jumlah data di setiap skenario harus relatif seimbang, dan rasio data harus sesuai dengan rasio skenario aktual. Hindari terlalu banyak satu jenis data, yang dapat menyebabkan model cenderung mempelajari fitur jenis tersebut dan memengaruhi kemampuan generalisasi.

Untuk definisi bidang ChatML dan loss_weight, lihat Pengantar fine-tuning model.

Aturan tag thinking

Konten pemikiran mendalam dibungkus dalam tag <think>\n…\n</think>\n\n dan ditempatkan di dalam teks output assistant (termasuk dalam konten assistant terakhir yang sama dengan balasan akhir). Aturan:

• Hanya boleh ditempatkan pada output assistant terakhir; output assistant antara tidak boleh menambahkan tag thinking.
• Jeda baris sebelum dan sesudah tag thinking harus dipertahankan.
• Jika sampel pelatihan mengatur agar model tidak menghasilkan tag thinking, setelah pelatihan selesai tidak disarankan mengaktifkan mode pemikiran mendalam saat melakukan pemanggilan.

Aturan pengemasan paket zip multimodal

Data pelatihan pemahaman multimodal diunggah sebagai paket zip melalui halaman Add Dataset. Pengemasan harus memenuhi batasan berikut:

• Paket zip mendukung hingga 2 GB.
• Set karakter yang diizinkan untuk nama folder dan file di dalam paket adalah huruf ASCII (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-).
• File data teks pelatihan tetap sebagai data.jsonl dan harus berada di direktori root paket zip — pastikan setelah ekstraksi, membuka file zip secara langsung menampilkan data.jsonl, tanpa pembungkus folder luar tambahan.

Nama file gambar atau video harus unik secara global di dalam paket zip, bahkan jika tersebar di folder berbeda. Di dalam data.jsonl, hanya nama file yang perlu dideklarasikan, bukan path file — contoh benar: image1.jpg; contoh salah: jpg_folder/image1.jpg.

Mount penyimpanan cloud tidak mendukung paket zip. Saat memuat set data melalui mount penyimpanan cloud, Anda harus mengunggah folder set data yang tidak terkompresi secara utuh ke Bucket OSS, dan menentukan path file data.jsonl melalui file_path MountStorage; saat mencakup beberapa file, hanya path data.jsonl yang perlu ditentukan, dan file lain dalam direktori yang sama akan dimount secara otomatis. Untuk detail mount penyimpanan cloud, lihat Fine-tune dengan API atau CLI.

Contoh penamaan dan struktur direktori ditampilkan dalam blok kode di bawah ini. Untuk operasi otorisasi mount penyimpanan cloud, lihat Fine-tune model di Konsol; untuk operasi penandaan impor Bucket OSS, lihat Set pelatihan dan set evaluasi.

# Direktori satu lapis (direkomendasikan)
Trainingdata_vl.zip
  |--- data.jsonl        # Harus di direktori root, tanpa pembungkus folder luar
  |--- image1.png
  |--- video1.mp4

# Deklarasikan nama file di dalam data.jsonl (bukan path)
# Benar: image1.jpg
# Salah: jpg_folder/image1.jpg

Buka halaman Konsol Create dataset untuk mengunggah paket zip multimodal dan menyelesaikan validasi pengemasan.

Batas ukuran dan jumlah file

Batas atas ukuran file dan jumlah unggah lokal ditentukan berdasarkan metode pelatihan dan skenario, seperti dijelaskan rinci dalam tabel spesifik skenario di bawah ini. Untuk batas penerimaan gambar, lihat Format SFT – Pemahaman Visual; untuk batas format set evaluasi, lihat Format set evaluasi; untuk batas ingest backflow log, lihat Format set evaluasi.

max_length mengambil nilai dalam rentang 500 hingga 131072 sebagai parameter konfigurasi panjang urutan pelatihan, bukan batas atas penerimaan unggah. Batas atas ukuran penerimaan untuk satu record data pelatihan tidak diberikan nilai numerik dalam dokumen sumber; merujuk pada nilai yang ditampilkan di halaman Konsol.

Batas atas ukuran file dan jumlah unggah lokal ditentukan berdasarkan metode pelatihan dan skenario. Volume data yang direkomendasikan adalah nilai minimum yang disarankan:

Kuota unggah API

Kuota untuk mengunggah file fine-tuning melalui API DashScope (dengan purpose ditandai sebagai model fine-tuning) ditampilkan dalam tabel kuota di bawah ini. Saat membuat set data di Konsol, daftar File API mendukung penggabungan dan pendaftaran hingga 10 file; file fine-tuning yang diunggah melalui API terlihat dan dapat digunakan baik di halaman fine-tuning model Konsol maupun pemanggilan API.

Batasan untuk memuat set data melalui mount penyimpanan cloud:

• Tentukan path manifes direktori root data.jsonl melalui file_path MountStorage; arsip zip tidak didukung.
• Saat memilih mount penyimpanan cloud sebagai lokasi penyimpanan, publikasi langsung diberlakukan; status draft tidak didukung.
• Sebelum melakukan mount, Anda harus mengotorisasi layanan Bailian untuk mengakses data OSS.

Penanganan overflow dan enkripsi:

• File tunggal melebihi 300 MB: unggah melalui mount penyimpanan cloud atau saluran ZIP multimodal 2 GB.
• Kuota total terlampaui: hapus file historis untuk membebaskan ruang.
• Data yang diimpor secara otomatis mengaktifkan Enkripsi sisi server OSS (SSE-OSS, AES256).

Untuk detail pemanggilan API, otentikasi, SDK, kode kesalahan, dan bidang MountStorage, lihat Fine-tune dengan API atau CLI.

Kuota untuk mengunggah file fine-tuning melalui API adalah sebagai berikut:

Perbedaan antara impor OSS dan mount penyimpanan cloud dibandingkan sebagai berikut:

Validasi unggah dan kesalahan umum

Saat mengunggah file secara lokal di halaman Add Dataset, validasi frontend menolak file yang tidak memenuhi aturan penerimaan dan menampilkan prompt. Penolakan validasi umum dan skenario kesalahan unggah ditampilkan dalam item yang dapat dilipat di bawah ini:

Pemberitahuan risiko operasi ireversibel:

• Operasi publikasi dan penghapusan keduanya ireversibel; versi yang telah dipublikasikan tidak dapat diedit lagi, dan hanya versi draft yang dapat dihapus atau diedit secara daring.
• Jenis set data (set pelatihan/set evaluasi) tidak dapat diubah atau ditukar setelah pembuatan; memilih yang salah memerlukan pembuatan set data baru dan impor ulang seluruh data.
• Mengganti jenis set data, skenario pelatihan, atau metode pelatihan akan menghapus file yang telah diunggah dan mengatur ulang lokasi penyimpanan serta metode impor.

Pemisahan set validasi otomatis secara acak mengekstraksi 10% data dari set pelatihan sebagai set validasi, mengurangi volume data pelatihan aktual. Untuk set data kecil, disarankan menggunakan set validasi independen; untuk operasi konfigurasi set validasi lihat Fine-tune model di Konsol.

Disarankan mengunduh terlebih dahulu templat data untuk skenario terkait; menyiapkan data sesuai struktur templat dapat menghindari kegagalan impor. Untuk rekomendasi pengunduhan templat data lihat Ikhtisar. Troubleshooting masalah umum dijelaskan rinci dalam item yang dapat dilipat di bawah ini. Untuk operasi pembersihan dan augmentasi data draft lihat , dan untuk domain data keamanan dan kepatuhan lihat .

Saat validasi unggah gagal, buka halaman Konsol New Dataset untuk memeriksa format file dan aturan penerimaan.