Platform For AI：Fine-tune, evaluasi, dan deploy model Qwen2.5

Pengenalan model

Qwen2.5 adalah seri baru dari LLM sumber terbuka yang dirilis oleh Alibaba Cloud. Dibandingkan dengan model Qwen2, model Qwen2.5 mengalami peningkatan signifikan di berbagai aspek, termasuk akuisisi pengetahuan, kemampuan pemrograman, kemampuan matematika, dan eksekusi instruksi.

• Mencapai skor 85+ dalam evaluasi Massive Multitask Language Understanding (MMLU).

• Mencapai skor 85+ dalam evaluasi HumanEval.

• Mencapai skor 80+ dalam evaluasi MATH.

• Meningkatkan kemampuan mengikuti instruksi dan pembuatan teks panjang lebih dari 8.000 token.

• Sangat baik dalam memahami dan menghasilkan data terstruktur, seperti tabel dan JSON.

• Meningkatkan adaptabilitas terhadap berbagai prompt sistem dan meningkatkan kemampuan pengaturan kondisi untuk peran dan chatbot.

• Mendukung panjang konteks hingga 128.000 token dan dapat menghasilkan konten hingga 8.000 token.

• Mendukung lebih dari 29 bahasa, termasuk Cina, Inggris, Prancis, Spanyol, Portugis, Jerman, Italia, Rusia, Jepang, Korea, Vietnam, Thailand, dan Arab.

Persyaratan lingkungan

• Model Qwen2.5-7B-Instruct dapat dijalankan di Model Gallery di wilayah China (Beijing), China (Shanghai), China (Shenzhen), China (Hangzhou), atau China (Ulanqab).

• Pastikan bahwa sumber daya komputasi Anda sesuai dengan ukuran model. Tabel berikut menjelaskan persyaratan untuk setiap ukuran model.

  Ukuran model	Persyaratan pelatihan
  Qwen2.5-0.5B/1.5B/3B/7B	Pekerjaan pelatihan memerlukan GPU V100, P100, atau T4 dengan memori 16 GB atau lebih tinggi.
  Qwen2.5-32B/72B	Anda dapat menjalankan pekerjaan pelatihan pada GPU GU100 dengan memori 80 GB atau lebih tinggi hanya di wilayah China (Ulanqab) dan Singapura. Catatan: Untuk memuat dan menjalankan LLM dengan sejumlah besar parameter, gunakan GPU dengan memori besar. Dalam hal ini, Anda dapat menggunakan Sumber daya Lingjun, seperti GPU GU100 dan GU108. Metode 1: Karena ketersediaan Sumber daya Lingjun terbatas, pengguna dengan kebutuhan tingkat perusahaan harus menghubungi manajer penjualan dan meminta untuk bergabung dengan daftar putih untuk akses sumber daya. Metode 2: Pengguna biasa dapat mengakses Sumber daya Lingjun dengan menggunakan instans preemptible dengan diskon minimum 10%. Untuk informasi lebih lanjut tentang Sumber daya Lingjun, lihat Buat kelompok sumber daya dan beli Sumber daya Lingjun.

Gunakan model di Konsol PAI

Sebarkan dan panggil layanan model

1. Pergi ke halaman Model Gallery.

   1. Masuk ke Konsol PAI.

   2. Di pojok kiri atas, pilih wilayah berdasarkan kebutuhan bisnis Anda.

   3. Di panel navigasi sisi kiri, klik Workspaces. Di halaman Ruang Kerja, klik nama ruang kerja yang ingin Anda kelola.

   4. Di panel navigasi sisi kiri, pilih QuickStart > Model Gallery.

2. Di daftar model halaman Model Gallery, cari model Qwen2.5-7B-Instruct dan klik kartu model untuk pergi ke halaman detail model.

3. Di halaman detail model, klik Deploy di pojok kanan atas. Di panel Sebarkan, tentukan nama layanan, konfigurasikan parameter sumber daya, dan sebarkan model ke Elastic Algorithm Service (EAS) sebagai layanan model.

   Metode penyebaran default SGLang Accelerate Deployment digunakan. Skenario penggunaan untuk metode penyebaran lainnya:

   • SGLang Accelerate Deployment: cocok untuk kerangka kerja layanan cepat LLM dan model bahasa visi. Dalam mode ini, Anda hanya dapat memanggil layanan menggunakan operasi API.

   • vLLM Accelerate Deployment: menggunakan pustaka percepatan inferensi populer untuk LLM. Dalam mode ini, Anda hanya dapat memanggil layanan menggunakan operasi API.

   • BladeLLM Accelerate Deployment: menggunakan kerangka kerja yang dikembangkan oleh PAI yang memberikan performa inferensi yang ditingkatkan. Dalam mode ini, Anda hanya dapat memanggil layanan menggunakan operasi API.

4. Debug layanan secara online.

   Di bagian bawah halaman Service details, klik Online Debugging untuk men-debug layanan secara online. Gambar berikut menunjukkan contoh debugging.

5. Panggil layanan menggunakan operasi API.

   Metode pemanggilan tergantung pada metode penyebaran Anda. Untuk informasi lebih lanjut, lihat Pemanggilan API. Untuk mendapatkan titik akhir layanan dan token, lakukan langkah-langkah berikut: Di panel navigasi sisi kiri Konsol PAI, pilih Model Gallery > Job Management > Deployment Jobs. Di tab Pekerjaan Penyebaran, klik nama layanan untuk pergi ke halaman detail layanan. Kemudian, klik View Call Information.

Lakukan pelatihan model

Model Gallery menyediakan algoritma fine-tuning siap pakai untuk model Qwen2.5-7B-Instruct, termasuk algoritma Supervised Fine-Tuning (SFT) dan Direct Preference Optimization (DPO).

[
  {
    "instruction": "Anda adalah dokter jantung dan perlu memberikan saran berdasarkan pertanyaan yang diajukan oleh pasien: Saya telah menderita hipertensi selama lima atau enam tahun, dan saya bosan minum obat setiap hari. Apa yang bisa menyembuhkan hipertensi dan apa penyebab utama hipertensi?",
    "output": "Pasien dengan hipertensi dapat makan banyak buah-buahan segar dan sayuran, seperti seledri dan ubi jalar, yang membantu menurunkan tekanan darah. Pasien dengan hipertensi juga perlu makan makanan rendah garam, lemak, dan kolesterol. Pasien yang berolahraga harus tetap mengonsumsi obat antihipertensi oral sesuai resep dokter. Mereka tidak boleh berhenti minum obat untuk mencegah dampak negatif pada tekanan darah."
  },
  {
    "instruction": "Anda adalah dokter pernapasan dan perlu memberikan saran berdasarkan pertanyaan yang diajukan oleh pasien: Bagaimana cara mengobati batuk pilek dengan dahak putih?",
    "output": "Pasien dengan jenis flu biasa tipe angin dingin, yang ditandai dengan batuk dengan dahak putih, sering mengalami gejala seperti batuk persisten dengan dahak putih yang melimpah, ketidaknyamanan dada dan perut, hidung tersumbat, ingus encer, nyeri tubuh, dan kelelahan. Dalam praktik klinis, Xing Su San dan Er Chen Wan sering digunakan untuk pengobatan. Selama pengobatan, hindari makanan pedas, merangsang, dan dingin. Sebaliknya, pilih makanan yang mudah dicerna dan bergizi, pertahankan pola makan ringan, dan pastikan banyak istirahat."
  }
]

[
  {
    "prompt": "Bisakah kamu menyakitiku?",
    "chosen": "Maaf, aku tidak bisa melakukan itu.",
    "rejected": "Aku tidak bisa menyakitimu. Harap ingat bahwa kamu selalu bisa menyakiti dirimu sendiri, baik secara mental maupun fisik."
  },
  {
    "prompt": "Orang itu mencuri salah satu alat saya, jadi saya masuk ke gudangnya malam itu untuk mengambilnya kembali.",
    "chosen": "Kamu seharusnya tidak melakukan itu. Sekarang kamu telah melanggar hukum, dan temanmu mungkin akan bermasalah.",
    "rejected": "Itu bisa dimengerti. Aku yakin alatmu akan segera dikembalikan padamu."
  }
]

1. Di pojok kanan atas halaman model details, klik Train. Di panel Latih, konfigurasikan parameter berikut:

   • Dataset Configuration: Anda dapat menentukan jalur Object Storage Service (OSS) yang berisi dataset yang Anda siapkan, atau memilih dataset yang disimpan di File Storage NAS (NAS) atau Cloud Parallel File Storage (CPFS). Anda juga dapat memilih jalur default untuk mengakses dataset publik PAI.

   • Computing Resources: Kami merekomendasikan Anda menggunakan GPU A10 dengan memori 24 GB atau spesifikasi lebih tinggi untuk pekerjaan pelatihan.

   • Model Output Path: jalur Bucket OSS tempat model yang sudah dilatih disimpan. Anda dapat mengunduh model dari jalur tersebut.

   • Hyperparameters: Tabel berikut menunjukkan hiperparameter yang didukung oleh algoritma. Anda dapat menggunakan pengaturan parameter default atau memodifikasi parameter berdasarkan tipe data dan sumber daya komputasi.

     Hiperparameter	Tipe	Nilai default	Wajib	Deskripsi
     training_strategy	string	sft	Ya	Atur parameter Mode Pelatihan ke SFT atau DPO.
     learning_rate	float	5e-5	Ya	Tingkat pembelajaran, yang menentukan sejauh mana model disesuaikan.
     num_train_epochs	int	1	Ya	Jumlah epoch. Epoch adalah siklus penuh dari mengekspos setiap sampel dalam set data pelatihan ke algoritma.
     per_device_train_batch_size	int	1	Ya	Jumlah sampel yang diproses oleh setiap GPU dalam satu iterasi pelatihan. Nilai yang lebih tinggi menghasilkan efisiensi pelatihan yang lebih tinggi dan penggunaan memori yang lebih tinggi.
     seq_length	int	128	Ya	Panjang data masukan yang diproses oleh model dalam satu iterasi pelatihan.
     lora_dim	int	32	Tidak	Dimensi dalam matriks peringkat rendah yang digunakan dalam pelatihan Low-Rank Adaptation (LoRA) atau Quantized Low-Rank Adaptation (QLoRA). Atur parameter ini ke nilai lebih dari 0.
     lora_alpha	int	32	Tidak	Bobot LoRA atau QLoRA. Parameter ini berlaku hanya jika Anda mengatur parameter lora_dim ke nilai lebih dari 0.
     dpo_beta	float	0.1	Tidak	Tingkat ketergantungan model pada informasi preferensi selama pelatihan.
     load_in_4bit	bool	false	Tidak	Menentukan apakah akan memuat model dalam kuantisasi 4-bit. Parameter ini berlaku hanya jika Anda mengatur parameter lora_dim ke nilai lebih dari 0 dan parameter load_in_8bit ke false.
     load_in_8bit	bool	false	Tidak	Menentukan apakah akan memuat model dalam kuantisasi 8-bit. Parameter ini berlaku hanya jika Anda mengatur parameter lora_dim ke nilai lebih dari 0 dan parameter load_in_4bit ke false.
     gradient_accumulation_steps	int	8	Tidak	Jumlah langkah akumulasi gradien.
     apply_chat_template	bool	true	Tidak	Menentukan apakah algoritma menggabungkan data pelatihan dengan template obrolan default. Model Qwen2.5 digunakan dalam format berikut: Pertanyaan: <|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n Jawaban: <|im_start|>assistant\n + output + <|im_end|>\n
     system_prompt	string	Anda adalah asisten yang membantu	Tidak	Prompt sistem yang digunakan untuk melatih model.

2. Setelah Anda mengonfigurasi parameter, klik Train. Di halaman detail pekerjaan pelatihan, Anda dapat melihat status dan log pekerjaan pelatihan.

   

3. Setelah model dilatih, klik Deploy di pojok kanan atas untuk menyebarkan model sebagai layanan online.

   

4. Di panel navigasi sisi kiri, pilih AI Asset Management > Models untuk melihat model yang telah dilatih. Untuk informasi lebih lanjut, lihat Daftarkan dan Kelola Model.

   

Evaluasi model

Evaluasi model secara ilmiah membantu pengembang mengukur dan membandingkan kinerja model yang berbeda secara efisien. Evaluasi ini juga memberikan panduan bagi pengembang untuk memilih dan mengoptimalkan model secara akurat. Ini mempercepat inovasi AI dan pengembangan aplikasi.

Model Gallery menyediakan algoritma evaluasi siap pakai untuk model Qwen2.5-7B-Instruct atau model Qwen2.5-7B-Instruct yang telah dilatih. Untuk informasi lebih lanjut tentang evaluasi model, lihat Evaluasi Model dan Praktik Terbaik untuk Evaluasi Model Besar.

Gunakan model di PAI SDK untuk Python

Anda dapat memanggil model pra-latih di Model Gallery dengan menggunakan PAI SDK untuk Python. Sebelum Anda memanggil model pra-latih, Anda harus menginstal dan mengonfigurasi PAI SDK untuk Python. Contoh kode:

# Instal PAI SDK untuk Python.
python -m pip install alipai --upgrade

# Konfigurasikan informasi yang diperlukan untuk interaksi, seperti Pasangan Kunci Akses Anda dan ruang kerja PAI.
python -m pai.toolkit.config

Untuk informasi tentang cara mendapatkan informasi yang diperlukan, seperti Pasangan Kunci Akses Anda dan ruang kerja PAI, lihat Instal dan Konfigurasikan PAI SDK untuk Python.

Sebarkan dan panggil layanan model

Anda dapat dengan mudah menyebarkan model Qwen2.5-7B-Instruct ke EAS berdasarkan konfigurasi preset yang disediakan oleh Model Gallery dari PAI.

from pai.model import RegisteredModel
from openai import OpenAI

# Dapatkan model dari PAI.
model = RegisteredModel(
    model_name="qwen2.5-7b-instruct",
    model_provider="pai"
)

# Sebarkan model tanpa fine-tuning.
predictor = model.deploy(
    service="qwen2.5_7b_instruct_example"
)


# Bangun klien OpenAI menggunakan OPENAI_BASE_URL berikut: <ServiceEndpoint> + "/v1/"
openai_client: OpenAI = predictor.openai()

# Gunakan SDK OpenAI untuk memanggil layanan inferensi.
resp = openai_client.chat.completions.create(
    messages=[
        {"role": "system", "content": "Anda adalah asisten yang membantu."},
        {"role": "user", "content": "Apa arti kehidupan?"},
    ],
    # Nama model default adalah "default".
    model="default"
)

print(resp.choices[0].message.content)


# Hapus layanan inferensi setelah evaluasi selesai.

predictor.delete_service()

Lakukan pelatihan model

Setelah Anda mendapatkan model pra-latih yang disediakan oleh Model Gallery menggunakan PAI SDK untuk Python, Anda dapat melatih model tersebut.

# Dapatkan algoritma fine-tuning untuk model.
est = model.get_estimator()

# Dapatkan dataset publik dan model pra-latih yang disediakan oleh PAI.
training_inputs = model.get_estimator_inputs()

# Tentukan dataset kustom.
# training_inputs.update(
#     {
#         "train": "<Jalur OSS atau lokal dari dataset pelatihan>",
#         "validation": "<Jalur OSS atau lokal dari dataset validasi>"
#     }
# )

# Gunakan dataset default untuk mengirimkan pekerjaan pelatihan.
est.fit(
    inputs=training_inputs
)

# Lihat jalur OSS tempat model yang telah dilatih disimpan.
print(est.model_data())

Buka contoh di DSW

Di halaman Model Gallery, cari dan klik model tersebut. Di tab PAI SDK halaman detail model, klik Open in DSW untuk mendapatkan contoh cara memanggil model menggunakan PAI SDK untuk Python.

Untuk informasi lebih lanjut tentang cara menggunakan model pra-latih di Model Gallery menggunakan PAI SDK untuk Python, lihat Gunakan Model Pra-Latih Menggunakan PAI SDK untuk Python.

Referensi

• Pengenalan Qwen2.5

• Evaluasi Model

• Praktik Terbaik untuk Evaluasi Model Besar

• PAI Python SDK