Model Gallery menyediakan titik masuk untuk mengevaluasi model bahasa besar. Anda dapat mengevaluasi kemampuan model menggunakan dataset kustom atau dataset publik.
Cakupan fitur
Model Gallery hanya mendukung evaluasi model tunggal, yang memberi skor pada hasil inferensi online dari satu model. Untuk pertarungan dua model (Dual-Model Arena dan Dual-Model Offline Competition), buka Evaluasi model (ModelEval).
Task evaluasi yang dibuat melalui Model Gallery dapat dilihat dan dikelola di salah satu lokasi berikut:
Model Gallery > Job Management > Evaluation Jobs
- Model Evaluation (ModelEval)
Buat task evaluasi
Masuk ke Konsol PAI. Di panel navigasi sebelah kiri, pilih QuickStart > Model Gallery.
-
Di halaman Models, pilih Evaluate pada filter Supported Operations untuk menampilkan hanya model yang dapat dievaluasi.
CatatanModel hasil fine-tuning dari model yang mendukung evaluasi juga mendukung evaluasi. Di Job Management > Training Jobs, klik suatu task untuk membuka halaman detailnya. Tombol Evaluate tersedia di pojok kanan atas.
Klik kartu model target untuk membuka halaman detailnya, lalu klik Evaluate di pojok kanan atas halaman.
Untuk deskripsi lengkap mengenai mode dan parameter evaluasi, lihat Evaluasi model (ModelEval).