Alibaba Cloud Model Studio:Penyempurnaan Qwen

Set data pelatihan SFT

SFT menggunakan data pelatihan dalam format Chat Markup Language (ChatML), yang mendukung percakapan multi-putaran dan beberapa pengaturan role.

Parameter OpenAI name dan weight tidak didukung. Semua output assistant dilatih.

# Satu baris data pelatihan (format JSON), struktur tipikalnya sebagai berikut saat diperluas:
{"messages": [
  {"role": "system", "content": "Input sistem 1"}, 
  {"role": "user", "content": "Input pengguna 1"}, 
  {"role": "assistant", "content": "Output model yang diharapkan 1"}, 
  {"role": "user", "content": "Input pengguna 2"}, 
  {"role": "assistant", "content": "Output model yang diharapkan 2"}
  ...
]}

Untuk detail tentang role system, user, dan assistant, lihat Ikhtisar model generasi teks. Contoh set data pelatihan: SFT-ChatML_format_example.jsonl dan SFT-ChatML_format_example.xlsx. Format XLS dan XLSX hanya mendukung percakapan satu putaran.

Untuk satu entri pelatihan, semua baris assistant mendukung parameter "loss_weight", yang mengatur tingkat kepentingan relatif selama pelatihan. Nilai valid berkisar dari 0,0 hingga 1,0. Nilai yang lebih tinggi menunjukkan kepentingan yang lebih besar.

Parameter ini sedang dalam pratinjau undangan. Untuk menggunakannya, Anda dapat menghubungi account manager Anda.

 {"role": "assistant", "content": "Output model yang diharapkan 1", "loss_weight": 1.0}, 
 {"role": "assistant", "content": "Output model yang diharapkan 2", "loss_weight": 0.5}

SFT untuk model thinking

Data pelatihan mendukung percakapan multi-putaran dan beberapa pengaturan role, tetapi hanya output assistant terakhir yang dilatih.

Karakter \n sebelum dan sesudah tag think harus dipertahankan.

# Satu baris data pelatihan (format JSON), struktur tipikalnya sebagai berikut saat diperluas:
{"messages": [
  {"role": "system", "content": "Input sistem 1"}, 
  {"role": "user", "content": "Input pengguna 1"}, 
  {"role": "assistant", "content": "Output model 1"}, --Output assistant antara tidak boleh memiliki tag <think>
   ...
  {"role": "user", "content": "Input pengguna 2"}, 
  {"role": "assistant", "content": "<think>\nKonten pemikiran yang diharapkan 2\n</think>\n\nOutput yang diharapkan 2"} --Konten pemikiran hanya boleh dimasukkan dalam output assistant terakhir. 
]}

Untuk detail tentang role system, user, dan assistant, lihat Ikhtisar model generasi teks. Contoh set data pelatihan: SFT-deep_thinking_content_example.jsonl.

Anda dapat mengonfigurasi model untuk menghilangkan tag <think> dalam sampel pelatihan. Jika Anda menggunakan metode output ini, jangan aktifkan mode thinking untuk panggilan setelah model dilatih.

{"role": "assistant", "content": "Output model yang diharapkan 2"}  --Memberi tahu model untuk tidak mengaktifkan pemikiran

Baris assistant terakhir dari satu entri pelatihan mendukung parameter "loss_weight", yang mengatur tingkat kepentingan relatif selama pelatihan. Nilai valid berkisar dari 0,0 hingga 1,0. Nilai yang lebih tinggi menunjukkan kepentingan yang lebih besar.

Parameter ini sedang dalam pratinjau undangan. Untuk menggunakannya, Anda dapat menghubungi account manager Anda.

 {"role": "assistant", "content": "<think>\nKonten pemikiran yang diharapkan 2\n</think>\n\nOutput yang diharapkan 2", "loss_weight": 1.0}

SFT untuk pemahaman gambar (Qwen-VL)

Parameter OpenAI name dan weight tidak didukung. Semua output assistant dilatih.

Untuk informasi lebih lanjut tentang perbedaan antara role system, user, dan assistant, lihat Ikhtisar model generasi teks. Contoh data pelatihan dalam format ChatML:

# Satu baris data pelatihan (format JSON), struktur tipikalnya sebagai berikut saat diperluas:
{"messages":[
  {"role":"user",
    "content":[
      {"text":"Input pengguna 1"},
      {"image":"Nama file gambar 1"}]},
  {"role":"assistant",
    "content":[
      {"text":"Output model yang diharapkan 1"}]},
  {"role":"user",
    "content":[
      {"text":"Input pengguna 2"}]},
  {"role":"assistant",
    "content":[
      {"text":"Output model yang diharapkan 2"}]},
  ...
  ...
  ...
 ]}

Berikut adalah persyaratan untuk file ZIP:

1. Format: ZIP. Ukuran maksimum: 2 GB. Nama folder dan file di dalam file ZIP hanya boleh berisi huruf ASCII (a–z, A–Z), angka (0–9), garis bawah (_), dan tanda hubung (-).

2. File data teks pelatihan harus diberi nama data.jsonl dan ditempatkan di direktori root file ZIP. Pastikan bahwa file data.jsonl langsung muncul ketika Anda membuka file ZIP.

3. Satu gambar tidak boleh melebihi 1.024 piksel lebar atau tingginya. Ukuran maksimum adalah 10 MB. Format yang didukung: .bmp, .jpeg /.jpg, .png, .tif /.tiff, dan .webp.

4. Nama file gambar tidak boleh duplikat, bahkan jika file tersebut disimpan di folder berbeda.

5. Struktur direktori file ZIP:

   Direktori tingkat tunggal (direkomendasikan)

   File gambar dan file data.jsonl berada di direktori root file ZIP.

   Trainingdata_vl.zip
      |--- data.jsonl # Catatan: Jangan dibungkus dalam folder luar
      |--- image1.png
      |--- image2.jpg

   Direktori multi-level

   1. File data.jsonl harus berada di direktori root file ZIP.

   2. Dalam file data.jsonl, Anda hanya boleh mendeklarasikan nama file gambar, bukan path filenya. Contoh:

      Benar: image1.jpg. Salah: jpg_folder/image1.jpg.

   3. Nama file gambar harus unik secara global di dalam file ZIP.

   Trainingdata_vl.zip
       |--- data.jsonl # Catatan: Jangan dibungkus dalam folder luar
       |--- jpg_folder
       |   └── image1.jpg
       |--- png_folder
           └── image2.png

HTTP

Untuk Windows CMD, Anda dapat mengganti ${DASHSCOPE_API_KEY} dengan %DASHSCOPE_API_KEY%. Untuk PowerShell, Anda dapat menggantinya dengan $env:DASHSCOPE_API_KEY

curl -X POST https://dashscope-intl.aliyuncs.com/compatible-mode/v1/files \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
--form 'file=@"path/to/your/sample.jsonl"' \
--form 'purpose="fine-tune"'

Respons:

{
    "id": "file-ft-e73cafa11cef43a0ab75fb8e",
    "object": "file",
    "bytes": 23149,
    "filename": "qwen-fine-tune-sample.jsonl",
    "purpose": "fine-tune",
    "status": "processed",
    "created_at": 1769138847
}

HTTP

curl 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<job_id>' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

{
    "request_id": "d100cddb-ac85-4c82-bd5c-9b5421c5e94d",
    "output":
    {
        "job_id": "ft-202511272033-8ae7",
        "job_name": "ft-202511272033-8ae7",
        "status": "RUNNING",
        "finetuned_output": "qwen3-14b-ft-202511272033-8ae7",
        "model": "qwen3-14b",
        "base_model": "qwen3-14b",
        "training_file_ids":
        [
            "9e9ffdfa-c3bf-436e-9613-6f053c66aa6e"
        ],
        "validation_file_ids":
        [],
        "hyper_parameters":
        {
            "n_epochs": 1,
            "batch_size": 16,
            "learning_rate": "1.6e-5",
            "split": 0.9,
            "warmup_ratio": 0.0,
            "eval_steps": 1,
            "save_strategy": "epoch",
            "save_total_limit": 10
        },
        "training_type": "sft",
        "create_time": "2025-11-27 20:33:15",
        "workspace_id": "llm-8v53etv3hwb8orx1",
        "user_identity": "1654290265984853",
        "modifier": "1654290265984853",
        "creator": "1654290265984853",
        "group": "llm",
        "max_output_cnt": 10
    }
}

HTTP

curl 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<job_id>/logs?offset=0&line=1000' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json' 

Gunakan parameter offset dan line untuk mengambil rentang log tertentu. Parameter offset menentukan posisi awal dan line menentukan jumlah maksimum entri log.

Contoh respons:

{
    "request_id":"1100d073-4673-47df-aed8-c35b3108e968",
    "output":{
        "total":57,
        "logs":[
            "{Log output 1}",
            "{Log output 2}",
            ...
            ...
            ...
        ]
    }
}