PAI ModelEval - evaluasi dan benchmark LLM - Platform For AI

ModelEval adalah alat evaluasi model yang disediakan oleh PAI. Alat ini mengevaluasi large language model pada skenario umum atau spesifik menggunakan dataset publik terpercaya atau dataset bisnis kustom, serta mengkuantifikasi kemampuan model untuk mendukung pemilihan model, fine-tuning, dan iterasi versi.

Kasus penggunaan

Model benchmarking: Evaluasi kemampuan model pada dataset publik dan bandingkan hasilnya dengan model industri atau baseline.
Evaluasi berbasis domain: Evaluasi performa model dalam domain tertentu menggunakan dataset kustom. Bandingkan perbedaan performa antara model pretrained dan model yang telah melalui fine-tuning.
Regression testing: Bangun test set regresi untuk mengevaluasi performa model dalam skenario produksi dan tentukan apakah model memenuhi standar produksi.
Perbandingan model: Bandingkan kualitas respons dua model pada kumpulan pertanyaan yang sama melalui battle online atau offline, lalu pilih model dengan performa lebih baik.

Mulai cepat: selesaikan evaluasi pertama Anda dalam 5 menit

Bagian ini memandu Anda melalui tugas evaluasi minimal: gunakan dataset CMMLU publik untuk mengevaluasi kemampuan pemahaman dan penalaran bahasa Tiongkok dari model Qwen3-4B.

Login ke Konsol PAI. Di panel navigasi kiri, pilih Model Application > Model Evaluation (ModelEval).
Pada halaman Model Evaluation, klik Create Task.
Konfigurasikan parameter berikut:
- Basic Configuration: Gunakan Job Name dan Result Output Path yang di-generate secara otomatis.
  
  Catatan
  Jika tidak ada path penyimpanan OSS default yang dikonfigurasi untuk ruang kerja, tentukan path output secara manual.
- Evaluation Mode Configuration: Pilih Single Model Online Evaluation.
- Evaluation Object Configurations: Atur Evaluation Target ke Public Model. Pada daftar drop-down Public Model, cari dan pilih Qwen3-4B.
- Evaluation Method Configuration: Pilih Public Dataset Evaluation dan pilih CMMLU dari daftar dataset.
- Resource Configuration: Pilih Single-Node-Standard.
  - Resource Type: Pilih General Computing.
  - Source: Pilih Public Resources.
  - Job Resource: Pilih tipe instans GPU, misalnya, ecs.gn7i-c8g1.2xlarge (24 GB).
    
    Jika tipe instans ini habis stoknya, Anda dapat memilih tipe instans GPU lainnya.
Kirim tugas: Klik OK di bagian bawah halaman. Halaman akan dialihkan ke halaman detail tugas.

Setelah status tugas berubah menjadi Succeeded, buka tab Evaluation Report untuk melihat performa model Qwen3-4B pada dataset CMMLU.

Konfigurasi

Mode evaluasi

ModelEval mendukung tiga mode evaluasi berikut.

Evaluation Mode	Description
Single Model Online Evaluation	Mengevaluasi hasil inferensi satu model.
Dual-Model Arena	Menjalankan tugas inferensi online untuk membandingkan respons dua model pada pertanyaan yang sama dan memilih model dengan performa lebih baik.
Dual-Model Offline Competition	Menggunakan dataset pertanyaan-jawaban yang telah di-generate sebelumnya untuk membandingkan performa dua model pada pertanyaan yang sama dan memilih model dengan performa lebih baik.

Target evaluasi

ModelEval mendukung lima sumber target evaluasi. Pilih sumber berdasarkan lokasi deployment model atau layanan Anda.

Evaluation Target	Description	Scenario
PAI Token Service	Layanan model yang disediakan oleh PAI Token Service.	Evaluasi model yang dideploy di Token Service.
Public Model	Model dari PAI Model Gallery.	Evaluasi cepat model open-source utama.
Custom Model	Model kustom yang terdaftar di AI Asset Management > Model. Penting Pastikan model kompatibel dengan framework vLLM.	Evaluasi model hasil fine-tuning atau model kustom.
PAI-EAS Service	Layanan inferensi online PAI-EAS yang telah dideploy.	Evaluasi layanan model di lingkungan produksi.
Custom Services	Semua layanan model yang kompatibel dengan spesifikasi API OpenAI.	Evaluasi layanan model pihak ketiga atau self-hosted.

Penting

Saat target evaluasi adalah public model atau custom model, model tersebut harus kompatibel dengan arsitektur HuggingFace AutoModelForCausalLM.

Metode evaluasi

Anda dapat mengevaluasi model pada dataset kustom atau dataset publik. Dataset kustom cocok untuk evaluasi yang sesuai erat dengan skenario bisnis Anda. Dataset publik cocok untuk penilaian kemampuan umum terhadap baseline industri.

Evaluasi dataset kustom

Evaluasi dataset kustom mendukung dua metode (dapat dipilih): General NLP Metric Evaluation dan Multi-Metric Evaluation with LLM-as-a-Judge.

Penting

Dataset harus dalam format JSONL, encoding UTF-8, dengan satu objek JSON per baris. Setelah diunggah ke OSS, tentukan path-nya pada halaman konfigurasi.

	General NLP Metric Evaluation	Multi-Metric Evaluation with LLM-as-a-Judge
Scenario	Tugas dengan jawaban pasti di mana kesamaan teks dihitung. Cocok untuk translation, summarization, dan Q&A basis pengetahuan.	Tugas tanpa jawaban tunggal yang benar. Model juri memberi skor respons berdasarkan beberapa dimensi seperti relevansi dan akurasi. Cocok untuk percakapan terbuka dan pembuatan konten.
Data requirements	Harus berisi field `question` dan `answer` (jawaban referensi). `{"question": "What is the capital of China?", "answer": "Beijing"}`	Hanya field `question` yang wajib. Field `answer` (jawaban referensi) bersifat opsional. `{"question": "Describe the history of artificial intelligence"}`
Key metrics	ROUGE (ROUGE-1, ROUGE-2, ROUGE-L): Berbasis recall. Mengukur seberapa besar bagian dari jawaban referensi yang tercakup dalam output model. BLEU (BLEU-1, BLEU-2, BLEU-3, BLEU-4): Berbasis presisi. Mengukur seberapa akurat output model.	Correctness, hallucination, harmfulness, instruction following, dan relevance. Metrik kustom didukung.

Evaluasi dataset publik

Evaluasi model pada dataset publik terpercaya. ModelEval memuat setiap dataset, menjalankan prediksi model, dan menerapkan framework evaluasi spesifik untuk setiap dataset guna memberikan referensi penilaian standar industri.

Catatan

Dataset GSM8K dan HellaSwag berukuran besar. Tugas pada dataset ini memerlukan waktu lebih lama untuk diselesaikan.

Dataset	Description	Language
LiveCodeBench	Evaluasi kemampuan pemrosesan kode.	en
Math500	Evaluasi penalaran matematika (500 soal kompetisi matematika tingkat kesulitan tinggi).	en
AIME25	Evaluasi penalaran matematika (berdasarkan American Invitational Mathematics Examination 2025).	en
AIME24	Evaluasi penalaran matematika (berdasarkan American Invitational Mathematics Examination 2024).	en
CMMLU	Evaluasi pemahaman bahasa multi-disiplin dalam bahasa Tiongkok.	zh
MMLU	Evaluasi pemahaman bahasa multi-disiplin dalam bahasa Inggris.	en
C-Eval	Evaluasi komprehensif terhadap kapabilitas Tiongkok.	zh
GSM8K	Evaluasi penalaran matematika.	en
HellaSwag	Evaluasi penalaran akal sehat (benchmark lanjutan yang dikembangkan oleh Allen Institute for AI yang menguji pemahaman konteks dan logika melalui pelengkapan kalimat).	en
TruthfulQA	Evaluasi kebenaran.	en

Manage tasks

Stop: Tugas yang sedang berjalan dapat dihentikan secara manual. Operasi ini tidak dapat dibatalkan. Tugas tidak dapat dilanjutkan kembali, dan resource komputasi yang telah digunakan tidak dikembalikan.
Delete: Hapus catatan tugas. Operasi ini tidak dapat dibatalkan.

Lihat hasil evaluasi

Hasil tugas tunggal

Pada daftar tugas evaluasi, klik View Report di kolom Actions pada tugas target. Pada tab Evaluation Report, lihat skor evaluasi.

Hasil evaluasi dataset kustom

General metric evaluation: Grafik radar menampilkan skor model berdasarkan metrik ROUGE dan BLEU (total 13 metrik). Untuk definisi metrik, lihat Apendiks: Metrik evaluasi NLP umum.
Judge model evaluation: Tabel menampilkan metrik statistik skor model juri:
- Mean: Rata-rata skor model juri (tidak termasuk skor tidak valid). Rentang: 1–5. Nilai lebih tinggi menunjukkan performa model lebih baik.
- Median: Median skor model juri (tidak termasuk skor tidak valid). Nilai lebih tinggi menunjukkan performa lebih baik.
- Skewness: Kemiringan distribusi skor model juri (tidak termasuk skor tidak valid). Skewness positif menunjukkan ekor lebih panjang di sisi kanan (ujung skor tinggi). Skewness negatif menunjukkan ekor lebih panjang di sisi kiri (ujung skor rendah).
- StandardDeviation: Deviasi standar skor model juri (tidak termasuk skor tidak valid). Saat mean dan median sama, deviasi standar yang lebih kecil menunjukkan model lebih baik.
Di bagian bawah halaman ditampilkan detail evaluasi untuk setiap entri data, termasuk kolom Question, Model Response, dan Reference Answer. Anda dapat mengklik Export Report di pojok kanan atas untuk mengunduh data evaluasi.

Hasil evaluasi dataset publik

Jika tugas evaluasi menggunakan dataset publik, grafik radar menampilkan skor model berdasarkan dataset yang dipilih.

Grafik kiri menunjukkan skor model berdasarkan domain. Setiap domain mungkin berisi beberapa dataset terkait. Skor domain merupakan rata-rata skor dataset dalam domain tersebut.
Grafik kanan menunjukkan skor model pada dataset publik individual. Untuk cakupan evaluasi setiap dataset, lihat dokumentasi resmi dataset tersebut.

Di bawah grafik radar, tabel hasil mencantumkan Dataset Name, Language, dan Score. Klik Export Report di pojok kanan atas tabel untuk mengekspor data evaluasi.

Bandingkan hasil evaluasi

Pada daftar tugas evaluasi, pilih 2 hingga 5 tugas yang berhasil dan klik Compare di pojok kanan atas.

Pada tab Custom Dataset Evaluation Result, tabel membandingkan metrik model juri (Mean, Median, StandardDeviation, Skewness) antar model, grafik radar membandingkan skor BLEU dan ROUGE, serta disediakan tabel metrik detail.
Pada tab Evaluation Results of Public Datasets, grafik radar dan tabel data membandingkan skor model berdasarkan domain dan dataset.

Penagihan

Resource komputasi: Tugas evaluasi dijalankan pada resource komputasi DLC. Resource yang dibagikan dan kuota sumber daya didukung. Untuk informasi lebih lanjut, lihat Penagihan DLC.
Penyimpanan OSS: Dataset evaluasi dan hasilnya disimpan di OSS dan ditagih sesuai harga OSS. Untuk informasi lebih lanjut, lihat Penagihan OSS.
PAI Token Service: Biaya konsumsi token dikenakan saat target evaluasi diatur ke PAI Token Service, atau saat model juri bukan pai-judge/pai-judge-plus. Untuk detail penagihan, lihat Harga PAI Token Service.

Apendiks: Metrik evaluasi NLP umum

Definisi detail metrik umum yang digunakan dalam evaluasi dataset kustom.

Metrik ROUGE

Metrik ROUGE mengukur kesamaan antara prediksi model dan jawaban referensi.

Metrik rouge-n menghitung overlap N-gram (urutan N kata berurutan). rouge-1 dan rouge-2 masing-masing berkorespondensi dengan overlap unigram dan bigram.
Metrik rouge-l berbasis longest common subsequence (LCS).
Akhiran metrik: -p (presisi), -r (recall), -f (F-score).

Metric	Description
rouge-1-p	Rasio unigram dalam output model yang sesuai dengan unigram dalam referensi.
rouge-1-r	Rasio unigram dalam referensi yang muncul dalam output model.
rouge-1-f	Rata-rata harmonik rouge-1-p dan rouge-1-r.
rouge-2-p	Rasio bigram dalam output model yang sesuai dengan bigram dalam referensi.
rouge-2-r	Rasio bigram dalam referensi yang muncul dalam output model.
rouge-2-f	Rata-rata harmonik rouge-2-p dan rouge-2-r.
rouge-l-p	Panjang LCS dibagi panjang output model (presisi).
rouge-l-r	Panjang LCS dibagi panjang referensi (recall).
rouge-l-f	Rata-rata harmonik rouge-l-p dan rouge-l-r.

Metrik BLEU

Skor BLEU (Bilingual Evaluation Understudy) menilai output model dengan mengukur overlap N-gram terhadap jawaban referensi.

Metric	Description
bleu-1	Pencocokan unigram.
bleu-2	Pencocokan bigram.
bleu-3	Pencocokan trigram.
bleu-4	Pencocokan 4-gram.