Penyulingan Rantai-pikiran - Platform For AI - Alibaba Cloud Documentation Center

Templat penyulingan reasoning rantai-pikiran (CoT) menghasilkan jejak reasoning lengkap dari model guru, memberi skor berdasarkan keluasan reasoning dan tingkat kesulitan kognitif, serta menghasilkan set data SFT yang seimbang melalui pengambilan sampel berbasis bin yang mempertimbangkan tingkat kesulitan—siap untuk penyempurnaan model siswa.

Ikhtisar

Templat penyulingan CoT dirancang untuk domain yang memerlukan reasoning multi-langkah, seperti matematika, logika, dan pembuatan kode. Model guru menghasilkan jejak reasoning lengkap untuk set pertanyaan Anda. Setiap jejak kemudian diberi skor berdasarkan keluasan reasoning (RV) dan tingkat kesulitan kognitif (CD). Pengambilan sampel berbasis bin menurut tingkat kesulitan menghasilkan set data dengan distribusi kesulitan yang seimbang, sehingga mencegah dominasi pertanyaan mudah. Outputnya adalah set data SFT berbasis rantai-pikiran yang siap untuk penyempurnaan model siswa.

Catatan

Templat ini mendukung alur kerja opsional dua tahap: Tahap 1 membangun data penyulingan, dan Tahap 2 melakukan pelatihan model siswa (opsional). Anda dapat menjalankan hanya Tahap 1 atau menjalankan kedua tahap secara berurutan.

Pipeline penyulingan CoT terdiri dari langkah-langkah berikut:

Langkah	Nama	Deskripsi
1	Generate chain-of-thought	Memanggil model guru untuk menghasilkan respons dengan jejak reasoning lengkap untuk setiap pertanyaan input.
2	RV/CD scoring	Memberikan skor pada setiap jejak yang dihasilkan berdasarkan keluasan reasoning (RV), tingkat kesulitan kognitif (CD), dan kebenaran logis untuk mendukung penyaringan di tahap selanjutnya.
3	Difficulty bin mixing	Mengambil sampel berdasarkan bin tingkat kesulitan kognitif dan mencocokkan keluasan reasoning untuk menghasilkan set data yang seimbang, mencegah terlalu banyak fokus pada pertanyaan mudah.
4	Build SFT dataset	Menyaring sampel kosong dan yang terlalu besar, lalu menghasilkan set data pelatihan SFT yang distandarisasi.

Prosedur

Masuk ke Konsol PAI. Di panel navigasi sebelah kiri, pilih Model Application> Model Distillation (ModelDistill).
Klik Create task untuk membuka tab Distillation Template, atau langsung navigasi ke tab Distillation Template.
Pilih Chain-of-thought reasoning distillation dan klik Use Template untuk membuka halaman Create Distillation Task. Konfigurasikan parameter utama yang dijelaskan di bawah ini dan gunakan nilai default untuk pengaturan lainnya.
Konfigurasikan Basic Configuration:
- Task name: Diisi otomatis oleh sistem.
- Output Path: Tentukan path OSS yang memiliki izin akses, misalnya, oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/cot-distill/.
  Catatan
  Buat direktori output terpisah untuk setiap tugas penyulingan agar file tidak saling menimpa. Bucket OSS harus berada di Wilayah yang sama dengan layanan PAI.
Klik Next untuk membuka halaman Build distillation data:
- Teacher model: Untuk Teacher Model Source, pilih Token Service dan pilih model dengan kemampuan reasoning kuat, seperti qwen3.8-max.
- Dataset: Pilih direktori atau file OSS yang memiliki izin akses. Anda dapat mengunduh dan menggunakan dataset contoh.
- Distillation Configuration: Nilai default telah diisi sebelumnya. Ubah sesuai kebutuhan.
  - dataset.input_path: Jika file dataset sudah dipilih, nama file yang dikonfigurasi di sini tidak berlaku.
  - Untuk parameter spesifik templat penyulingan CoT lainnya, seperti dimensi skor RV/CD dan strategi pencampuran bin, lihat bagian Parameter konfigurasi di bawah ini.
- Compute Resource: Atur Resource Type menjadi General Computing, atur Source menjadi Public Resources, dan pilih Instance Type yang sesuai dari Job Resource, misalnya ecs.c6.large.
Klik Next: Student Model Training untuk melanjutkan konfigurasi, atau pilih Run Only Distillation Data Build untuk melewati:
- Student Model: Pilih Public Model dan pilih model yang lebih kecil dari daftar drop-down, seperti Qwen3-4B.
- Training Mode: Pilih LoRA.
- Compute Resource: Atur Resource Type menjadi General Computing, atur Source menjadi Public Resources, dan pilih Instance Type yang sesuai dari Job Resource.
Klik Create, lalu klik OK pada kotak dialog konfirmasi penagihan. Halaman akan dialihkan ke halaman detail tugas, tempat Anda dapat melacak status tugas.

Parameter konfigurasi

Bagian ini menjelaskan parameter utama yang spesifik untuk templat penyulingan CoT. Konfigurasi dasar dan konfigurasi resource sama seperti penyulingan umum. Hanya perbedaan parameter spesifik templat yang tercantum di sini.

Konfigurasi dasar

Konfigurasi dasar mencakup nama tugas dan path output. Path output merupakan direktori root untuk semua output tugas. Dataset penyulingan juga ditulis di dalam direktori ini—tidak perlu menentukan path output dataset terpisah.

Data penyulingan

Model guru

Templat penyulingan CoT hanya memerlukan satu model guru, yang menghasilkan jejak reasoning lengkap untuk setiap pertanyaan input. Pilih model dengan kemampuan reasoning kuat. Sumber model guru hanya mendukung PAI Token Service.

Dataset

Pilih direktori atau file input. Persyaratan format data sebagai berikut:

Format: JSONL, satu pertanyaan per baris.
Setiap entri harus berisi bidang instruction.
Anotasi jawaban manual tidak diperlukan. Model guru menghasilkan baik jejak reasoning maupun jawabannya.

Data contoh:

{"instruction": "Buktikan bahwa akar kuadrat dari 2 adalah bilangan irasional."}
{"instruction": "Jika 4 mesin dapat memproduksi 800 komponen dalam 5 jam, berapa banyak komponen yang dapat diproduksi oleh 6 mesin dalam 8 jam?"}

Konfigurasi penyulingan

Konfigurasi penyulingan disediakan dalam format YAML dengan nilai default yang direkomendasikan oleh tim algoritma. Anda dapat menyesuaikannya sesuai kebutuhan. Tabel berikut menjelaskan parameter utama.

Bagian konfigurasi	Deskripsi
dataset	`output_path` (default: `distillation_dataset.json`): Path output untuk artefak penyulingan. Anda dapat mengubahnya ke file .json lain dalam path relatif, atau menempatkannya dalam subdirektori (misalnya, `sft_dataset.json` atau `output/sft_dataset.json`).
backend	`timeout` (default: `1200.0`): Waktu tunggu maksimum per permintaan dalam detik. Respons yang menggunakan seluruh kuota `max_tokens` (16384) memerlukan lebih dari 400 detik pada throughput observasi 38–58 token/detik.
generation	`system_prompt` (default: "You are a helpful assistant. Think step by step and provide clear reasoning."): Prompt sistem yang digunakan saat model guru menghasilkan jejak reasoning. `temperature` (default: `0.7`): Mengontrol keragaman generasi. `max_tokens` (default: `16384`): Jumlah maksimum token per generasi.
sft	`skip_empty` (default: `true`): Melewatkan sampel kosong. `min_length` (default: `10`): Menyaring sampel yang terlalu pendek. `max_length` (default: `131072`): Menyaring sampel yang terlalu panjang.
eval	Dimensi skor (`metrics`): reasoning_verbosity, cognitive_difficulty, dan logical_correctness. Menggunakan file prompt evaluasi CoT khusus (`configs/prompts/default_cot_eval_prompts.yaml`).
pipeline	Tahap generasi rantai-pikiran (`cot_distill`): Menggunakan templat prompt generasi CoT. Tahap skor RV/CD (`cot_rvcd_score`): `max_workers` default-nya 4 (thread skor konkuren). Tahap pencampuran bin berdasarkan kesulitan (`cot_mix_by_rv_cd`): `cd_bins` default-nya [0, 3, 6, 10] (batas bin tingkat kesulitan kognitif — 4 batas menghasilkan 3 bin) `rv_target` default-nya matched (mencocokkan keluasan reasoning dengan tingkat kesulitan kognitif) `samples_per_bin` default-nya 0 (jumlah sampel maksimum per bin kesulitan; 0 berarti tanpa batas; batas output default adalah 300) `min_correctness` default-nya 1 (ambang batas minimum kebenaran logis)