:Qwen fine-tuning

Set pelatihan SFT

Data pelatihan SFT harus dalam format ChatML (Chat Markup Language). Format ini mendukung percakapan multi-putaran dan berbagai pengaturan role.

Parameter name dan weight OpenAI tidak didukung. Semua output assistant dilatih.

# Setiap baris data pelatihan adalah objek JSON. Struktur tipikalnya sebagai berikut:
{"messages": [
  {"role": "system", "content": "Input sistem 1"}, 
  {"role": "user", "content": "Input pengguna 1"}, 
  {"role": "assistant", "content": "Output model yang diharapkan 1"}, 
  {"role": "user", "content": "Input pengguna 2"}, 
  {"role": "assistant", "content": "Output model yang diharapkan 2"}
  ...
]}

Untuk detail tentang role system, user, dan assistant, lihat Ikhtisar. Contoh set data pelatihan: SFT-ChatML_format_example.jsonl dan SFT-ChatML_format_example.xlsx. Perhatikan bahwa format XLS dan XLSX hanya mendukung percakapan satu putaran.

Dalam satu entri data pelatihan, semua baris assistant mendukung parameter "loss_weight", yang mengatur tingkat kepentingan relatif baris tersebut selama pelatihan. Nilainya harus dalam rentang 0,0 hingga 1,0. Nilai yang lebih tinggi menunjukkan kepentingan yang lebih besar.

Parameter ini tersedia untuk pratinjau undangan. Untuk menggunakan fitur ini, hubungi manajer akun Anda.

 {"role": "assistant", "content": "Output model yang diharapkan 1", "loss_weight": 1.0}, 
 {"role": "assistant", "content": "Output model yang diharapkan 2", "loss_weight": 0.5}

SFT untuk thinking

Data pelatihan mendukung percakapan multi-putaran dan berbagai pengaturan role, tetapi hanya output assistant terakhir yang dilatih.

Pertahankan karakter \n sebelum dan sesudah tag <think>.

# Setiap baris data pelatihan adalah objek JSON. Struktur tipikalnya sebagai berikut:
{"messages": [
  {"role": "system", "content": "Input sistem 1"}, 
  {"role": "user", "content": "Input pengguna 1"}, 
  {"role": "assistant", "content": "Output model 1"}, --Output assistant antara tidak boleh mengandung tag <think>.
   ...
  {"role": "user", "content": "Input pengguna 2"}, 
  {"role": "assistant", "content": "<think>\nKonten thinking yang diharapkan 2\n</think>\n\nOutput yang diharapkan 2"} --Konten thinking hanya dapat disertakan dalam output assistant terakhir. 
]}

Untuk detail tentang role system, user, dan assistant, lihat Ikhtisar. Untuk contoh set data pelatihan, lihat SFT-deep_thinking_content_example.jsonl.

Anda juga dapat mengonfigurasi model agar tidak mengeluarkan tag <think> dalam sampel pelatihan Anda. Jika Anda menggunakan metode output ini, jangan aktifkan mode thinking saat memanggil model setelah pelatihan selesai.

{"role": "assistant", "content": "Output model yang diharapkan 2"}  --Menginstruksikan model agar tidak mengaktifkan thinking.

Dalam satu entri data pelatihan, baris assistant terakhir mendukung parameter "loss_weight", yang mengatur tingkat kepentingan relatif entri data tersebut selama pelatihan. Nilainya harus dalam rentang 0,0 hingga 1,0. Nilai yang lebih tinggi menunjukkan kepentingan yang lebih besar.

Parameter ini tersedia untuk pratinjau undangan. Untuk menggunakan fitur ini, hubungi manajer akun Anda.

 {"role": "assistant", "content": "<think>\nKonten thinking yang diharapkan 2\n</think>\n\nOutput yang diharapkan 2", "loss_weight": 1.0}

SFT untuk Qwen-VL

Parameter name dan weight OpenAI tidak didukung. Semua output assistant dilatih.

Untuk detail tentang role system, user, dan assistant, lihat Ikhtisar. Kode berikut menunjukkan contoh data pelatihan dalam format ChatML:

# Setiap baris data pelatihan adalah objek JSON. Struktur tipikalnya sebagai berikut:
{"messages":[
  {"role":"user",
    "content":[
      {"text":"Input pengguna 1"},
      {"image":"image_filename_1.jpg"}]},
  {"role":"assistant",
    "content":[
      {"text":"Output model yang diharapkan 1"}]},
  {"role":"user",
    "content":[
      {"text":"Input pengguna 2"}]},
  {"role":"assistant",
    "content":[
      {"text":"Output model yang diharapkan 2"}]},
  ...
  ...
  ...
 ]}

Persyaratan untuk file ZIP:

1. File harus dalam format ZIP dan ukurannya tidak boleh melebihi 2 GB. Nama folder dan file dalam file ZIP hanya boleh berisi huruf ASCII (a-z, A-Z), angka (0-9), garis bawah (_), dan tanda hubung (-).

2. File data teks pelatihan harus diberi nama data.jsonl dan ditempatkan di Direktori root file ZIP. Pastikan file data.jsonl tidak berada di subfolder.

3. Setiap gambar tidak boleh melebihi 1024 piksel lebar atau tingginya, dan ukuran file tidak boleh melebihi 10 MB. Format yang didukung meliputi .bmp, .jpeg /.jpg, .png, .tif /.tiff, dan .webp.

4. Nama file gambar harus unik dalam file ZIP, bahkan jika berada di folder yang berbeda.

5. Struktur direktori file ZIP:

   Direktori tingkat tunggal

   File gambar dan file data.jsonl berada di direktori root file ZIP.

   Trainingdata_vl.zip
      |--- data.jsonl # Catatan: Jangan membungkus file dalam folder tingkat atas.
      |--- image1.png
      |--- image2.jpg

   Direktori multi-level

   1. File data.jsonl harus berada di direktori root file ZIP.

   2. Dalam file data.jsonl, deklarasikan hanya nama file gambar, bukan path filenya. Contoh:

      Benar: image1.jpg; Salah: jpg_folder/image1.jpg.

   3. Nama file gambar harus unik secara global dalam file ZIP.

   Trainingdata_vl.zip
       |--- data.jsonl # Catatan: Jangan membungkus file dalam folder tingkat atas.
       |--- jpg_folder
       |   └── image1.jpg
       |--- png_folder
           └── image2.png

HTTP

Untuk Windows CMD, ganti ${DASHSCOPE_API_KEY} dengan %DASHSCOPE_API_KEY%. Untuk PowerShell, gunakan $env:DASHSCOPE_API_KEY.

curl -X POST https://dashscope-intl.aliyuncs.com/compatible-mode/v1/files \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
--form 'file=@"path/to/your/sample.jsonl"' \
--form 'purpose="fine-tune"'

Respons:

{
    "id": "file-ft-e73cafa11cef43a0ab75fb8e",
    "object": "file",
    "bytes": 23149,
    "filename": "qwen-fine-tune-sample.jsonl",
    "purpose": "fine-tune",
    "status": "processed",
    "created_at": 1769138847
}

HTTP

curl 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<job_id>' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

{
    "request_id": "d100cddb-ac85-4c82-bd5c-9b5421c5e94d",
    "output":
    {
        "job_id": "ft-202511272033-8ae7",
        "job_name": "ft-202511272033-8ae7",
        "status": "RUNNING",
        "finetuned_output": "qwen3-14b-ft-202511272033-8ae7",
        "model": "qwen3-14b",
        "base_model": "qwen3-14b",
        "training_file_ids":
        [
            "9e9ffdfa-c3bf-436e-9613-6f053c66aa6e"
        ],
        "validation_file_ids":
        [],
        "hyper_parameters":
        {
            "n_epochs": 1,
            "batch_size": 16,
            "learning_rate": "1.6e-5",
            "split": 0.9,
            "warmup_ratio": 0.0,
            "eval_steps": 1,
            "save_strategy": "epoch",
            "save_total_limit": 10
        },
        "training_type": "sft",
        "create_time": "2025-11-27 20:33:15",
        "workspace_id": "llm-8v53etv3hwb8orx1",
        "user_identity": "1654290265984853",
        "modifier": "1654290265984853",
        "creator": "1654290265984853",
        "group": "llm",
        "max_output_cnt": 10
    }
}

HTTP

curl 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<job_id>/logs?offset=0&line=1000' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json' 

Gunakan offset untuk menentukan baris awal dan line untuk mengatur jumlah maksimum baris yang dikembalikan.

Contoh respons:

{
    "request_id":"1100d073-4673-47df-aed8-c35b3108e968",
    "output":{
        "total":57,
        "logs":[
            "{Log fine-tuning 1}",
            "{Log fine-tuning 2}",
            ...
            ...
            ...
        ]
    }
}