Platform For AI:Latih, evaluasi, kompres, dan sebarkan Qwen2.5-Coder

Ikhtisar model

Qwen2.5-Coder adalah rangkaian model kuat yang berfokus pada kode, mendukung panjang konteks hingga 128K token, serta kompatibel dengan 92 bahasa pemrograman. Model ini unggul dalam berbagai tugas terkait kode, termasuk generasi kode multibahasa, penyelesaian kode, dan perbaikan kode. Varian yang telah disesuaikan dengan instruksi, Qwen2.5-Coder-Instruct, dibangun di atas model dasar untuk meningkatkan performa dalam tugas-tugas tersebut dan memberikan generalisasi yang sangat baik.

Fitur utama meliputi:

• Kemampuan pemrograman multibahasa: Qwen2.5-Coder-Instruct menunjukkan performa luar biasa pada benchmark McEval, yang mencakup lebih dari 40 bahasa, termasuk bahasa pemrograman niche.

• Kemampuan penalaran kode: Model ini mencapai hasil mengesankan pada benchmark CRUXEval, menunjukkan kemampuan penalaran kode yang kuat. Penalaran yang ditingkatkan ini juga berkorelasi dengan peningkatan performa pada tugas-tugas kompleks yang mengikuti instruksi.

• Kemampuan matematika: Sebagai disiplin dasar dalam pemrograman, matematika merupakan bidang lain di mana model ini unggul, menunjukkan kemampuan komprehensifnya di bidang STEM.

• Kemampuan umum: Qwen2.5-Coder-Instruct mewarisi kemampuan umum yang kuat dari model dasar Qwen2.5 untuk stabilitas dan penerapan luas dalam berbagai tugas.

Persyaratan lingkungan

Sebarkan dan panggil model

from openai import OpenAI
# 1. Konfigurasikan klien.
# Ganti <EAS_TOKEN> dengan Token dari panel Invocation Information.
openai_api_key = "<EAS_TOKEN>"
# Ganti <EAS_ENDPOINT> dengan Public Endpoint dari panel Invocation Information.
openai_api_base = "<EAS_ENDPOINT>/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
# 2. Dapatkan nama model.
# Untuk BladeLLM, atur model = "". BladeLLM tidak memerlukan parameter model dan tidak mendukung penggunaan client.models.list() untuk mendapatkan nama model. Atur ke string kosong agar sesuai dengan persyaratan parameter wajib SDK OpenAI.
models = client.models.list()
model = models.data[0].id
print(model)
# 3. Ajukan permintaan chat completion.
# Mendukung output streaming (stream=True) maupun non-streaming (stream=False).
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)
if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

Fine-tuning model

Model Gallery menyediakan dua algoritma fine-tuning siap pakai untuk model Qwen2.5-Coder-32B-Instruct: supervised fine-tuning (SFT) dan direct preference optimization (DPO).

[
  {
    "instruction": "Create a function to calculate the sum of a sequence of integers.",
    "output": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum"
  },
  {
    "instruction": "Generate a Python code for crawling a website for a specific type of data.",
    "output": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))"
  }
]

[
  {
    "prompt": "Create a function to calculate the sum of a sequence of integers.",
    "chosen": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum",
    "rejected": "[x*x for x in [1, 2, 3, 5, 8, 13]]"
  },
  {
    "prompt": "Generate a Python code for crawling a website for a specific type of data.",
    "chosen": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))",
    "rejected": "def remove_duplicates(string): \n    result = \"\" \n    prev = '' \n\n    for char in string:\n        if char != prev: \n            result += char\n            prev = char\n    return result\n\nresult = remove_duplicates(\"AAABBCCCD\")\nprint(result)"
  }
]

1. Di halaman Model Gallery, klik kartu model Qwen2.5-Coder-32B-Instruct untuk membuka halaman detail model.

2. Di halaman detail model, klik Train di pojok kanan atas. Konfigurasikan parameter berikut:

   • Konfigurasi dataset: Setelah menyiapkan data Anda, unggah ke bucket Object Storage Service (OSS) atau pilih dataset di NAS atau CPFS dengan menentukan objek dataset. Anda juga dapat menggunakan dataset publik yang disediakan oleh PAI untuk mengirimkan pekerjaan dan menguji algoritma.

   • Konfigurasi sumber daya komputasi: Algoritma ini memerlukan GPU dengan VRAM minimal 80 GB. Pastikan kuota sumber daya yang Anda pilih mencakup sumber daya komputasi yang mencukupi. Untuk spesifikasi sumber daya yang diperlukan oleh model dengan ukuran berbeda, lihat Persyaratan lingkungan.

   • Konfigurasi hiperparameter: Tabel berikut mencantumkan hiperparameter latih. Anda dapat menyesuaikan nilainya atau menggunakan nilai default.

     Konfigurasi hiperparameter

     Hiperparameter	Tipe	Default	Wajib	Deskripsi
     training_strategy	String	sft	Ya	Algoritma pelatihan. Nilai yang valid: SFT dan DPO.
     learning_rate	Float	5e-5	Ya	Tingkat pembelajaran, yang mengontrol besarnya penyesuaian bobot model.
     num_train_epochs	Integer	1	Ya	Jumlah epoch pelatihan.
     per_device_train_batch_size	Integer	1	Ya	Jumlah sampel yang diproses oleh setiap GPU per iterasi pelatihan. Ukuran batch yang lebih besar dapat meningkatkan efisiensi tetapi juga meningkatkan kebutuhan VRAM.
     seq_length	Integer	128	Ya	Panjang urutan maksimum (dalam token) untuk input model.
     lora_dim	Integer	32	Tidak	Dimensi LoRA. Jika lora_dim > 0, pelatihan LoRA atau QLoRA ringan digunakan.
     lora_alpha	Integer	32	Tidak	Bobot LoRA. Parameter ini aktif ketika lora_dim > 0 (pelatihan LoRA atau QLoRA digunakan).
     dpo_beta	Float	0.1	Tidak	Mengontrol ketergantungan model terhadap informasi preferensi selama pelatihan.
     load_in_4bit	Boolean	false	Tidak	Menentukan apakah model dimuat dalam presisi 4-bit. Jika lora_dim > 0, load_in_4bit diatur ke true, dan load_in_8bit diatur ke false, ini mengaktifkan pelatihan QLoRA 4-bit ringan.
     load_in_8bit	Boolean	false	Tidak	Menentukan apakah model dimuat dalam presisi 8-bit. Jika lora_dim > 0, load_in_4bit diatur ke false, dan load_in_8bit diatur ke true, ini mengaktifkan pelatihan QLoRA 8-bit ringan.
     gradient_accumulation_steps	Integer	8	Tidak	Jumlah langkah untuk akumulasi gradien.
     apply_chat_template	Boolean	true	Tidak	Menentukan apakah templat chat default model diterapkan pada data pelatihan. Untuk model seri Qwen2, formatnya sebagai berikut: Pertanyaan:<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n Jawaban: <|im_start|>assistant\n + output + <|im_end|>\n
     system_prompt	String	You are a helpful assistant	Tidak	Prompt sistem yang digunakan untuk pelatihan model.

3. Klik Train. Model Gallery secara otomatis mengarahkan Anda ke halaman detail pekerjaan, tempat Anda dapat memantau status pelatihan dan melihat log.

Model yang telah dilatih secara otomatis terdaftar di AI Asset - Model Management, tempat Anda dapat melihat atau menyebarkannya. Untuk informasi lebih lanjut, lihat Daftarkan dan Kelola Model.

Evaluasi model

PAI menyediakan algoritma evaluasi bawaan untuk model Qwen2.5-Coder-32B-Instruct. Gunakan algoritma ini untuk menilai performa model asli dan versi fine-tuning Anda. Untuk informasi lebih lanjut, lihat Evaluasi Model dan Praktik Terbaik Evaluasi Model Bahasa Besar.

Kompresi model

Setelah pelatihan, Anda dapat melakukan kuantisasi (kompresi) model sebelum penerapan untuk mengurangi kebutuhan penyimpanan dan komputasi. Untuk informasi lebih lanjut, lihat Kompresi Model.

Referensi

• Pengenalan Model Qwen2.5-Coder

• Penagihan untuk Panduan Cepat