All Products
Search

This Product

    AgentLoop:Evaluator

    Document Center

    AgentLoop:Evaluator

    Last Updated:Sep 24, 2026

    Selama pengembangan agen, metode evaluasi tradisional—seperti pencocokan regex, ekstraksi kata kunci, dan perhitungan skor ROUGE/BLEU—tidak lagi memadai untuk menilai agen kompleks yang memiliki kemampuan bernalar dan menggunakan tool secara efektif. AgentLoop Evaluator adalah alat penilaian kualitas berbasis AI yang mendukung berbagai metode evaluasi. Keluarga evaluator ini mencakup Agent Judge berbasis reasoning LLM dan Code Evaluator, yang mendelegasikan logika penilaian ke kode Python atau JavaScript yang ditulis pengguna guna menghasilkan hasil yang deterministik dan dapat direproduksi.

    Keunggulan

    Dibandingkan solusi evaluasi tradisional, Agent Judge memiliki atribut agen yang sesungguhnya:

    • Autonomous reasoning: Memahami konteks bisnis yang kompleks dan menangkap nuansa pada tingkat semantik.

    • Capability mounting: Dilengkapi "tangan dan kaki" (Skills & MCP), sehingga dapat mengeksekusi kode untuk memverifikasi hasil atau mengambil fakta eksternal.

    • Black-box transparency: Melalui jejak rantai pikiran (CoT), sepenuhnya merekonstruksi logika penilaian.

    • Structured output: Menghasilkan data terstandarisasi yang langsung dapat digunakan untuk menjalankan Pengujian A/B otomatis dan iterasi set data.

    Built-in Evaluators

    AgentLoop menyediakan serangkaian evaluator yang telah dioptimalkan secara mendalam untuk dimensi kualitas inti dalam pengembangan agen, membantu Anda membangun jaminan kualitas dengan cepat.

    Quality and Factuality Dimension

    Evaluator

    Description

    Agent Correctness

    Menilai apakah respons bersifat faktual secara objektif atau benar secara logis dalam konteks bisnis

    Agent Hallucination Detection

    Mengidentifikasi informasi yang dibuat-buat oleh model dan mencegat konten palsu

    Agent Response Evidence Support

    Dirancang untuk skenario RAG, memverifikasi apakah respons benar-benar didukung oleh konteks yang diambil

    Task and Action Dimension

    Evaluator

    Description

    Agent Task Completion

    Fokus pada keadaan akhir, menilai apakah tujuan awal pengguna telah sepenuhnya terselesaikan

    Agent Tool Selection Rationality

    Mengaudit proses pengambilan keputusan, menilai apakah pemilihan tool optimal dan pengiriman parameter akurat

    Efficiency and Cost Dimension

    Evaluator

    Description

    Agent Execution Step Efficiency

    Mengidentifikasi langkah-langkah redundan dengan mengaudit jejak bernalar (Trace), membantu mengurangi biaya Token dan memperpendek waktu respons tanpa mengorbankan kualitas

    Create Custom Evaluator

    Jika evaluator bawaan tidak memenuhi kebutuhan skenario bisnis tertentu, Anda dapat membuat evaluator kustom dengan mengikuti langkah-langkah berikut.

    Langkah 1: Informasi Dasar

    Configuration Item

    Description

    Name and Identifier

    Wajib diisi. Menentukan identifier unik global untuk evaluator, digunakan dalam panggilan API dan pengindeksan sistem. Nilai ini tidak dapat diubah setelah pembuatan.

    Evaluator Type

    Wajib diisi. Pilih Agent atau Code. Nilai ini tidak dapat diubah setelah pembuatan. Jika memilih Agent, konfigurasi dilanjutkan pada bagian prompt dan capability; jika memilih Code, tab Evaluation Code akan terbuka, tempat logika penilaian ditulis sebagai kode yang dapat dieksekusi. Untuk prosedur lengkap, lihat dokumen "Code Evaluator" di direktori yang sama.

    Display Name (Optional)

    Opsional. Nama tampilan yang mudah dipahami pengguna (misalnya, "E-commerce Compliance Screener"). Jika dikosongkan, sistem akan menampilkan nama evaluator secara default.

    Description

    Penjelasan rinci mengenai tujuan evaluator, skenario penerapan, dan preferensi penilaian. Deskripsi yang lengkap membantu anggota tim menggunakan kembali aset ini.

    Tags

    Masukkan nama tag lalu tekan Enter untuk menambahkan. Tag memungkinkan Anda mengategorikan evaluator berdasarkan dimensi (misalnya, "security", "RAG", "Finance Dept.") agar mudah ditemukan.

    Langkah 2: Konfigurasi Prompt dan Capability (Jenis Agent)

    Untuk jenis Agent, prompt dan capability mounting merupakan area konfigurasi inti evaluator. Untuk jenis Code, tulis fungsi evaluate pada tab Evaluation Code; lihat dokumen "Code Evaluator" di direktori yang sama untuk alur konfigurasi lengkap.

    Edit Prompt

    Prompt evaluasi pada dasarnya adalah "prosedur operasional standar (SOP)" yang Anda definisikan untuk Agent Judge. Untuk memastikan penilaian objektif dan stabil, instruksi evaluasi profesional umumnya mencakup lima elemen inti berikut:

    Element

    Description

    Notes

    Role

    Secara jelas mendefinisikan identitas profesional penilai dan tujuan evaluasi utamanya.

    Contoh:

    "Anda adalah pakar risiko dan kepatuhan yang berspesialisasi di industri keuangan. Tugas Anda adalah melakukan audit risiko terhadap respons agen layanan pelanggan berdasarkan pedoman kepatuhan yang diberikan."

    Evaluation Dimensions

    Menjelaskan sub-item spesifik yang membentuk metrik evaluasi, mencegah penilai memberi skor hanya berdasarkan "perasaan".

    Contoh:

    • Konsistensi faktual: Apakah respons bertentangan dengan data asli dalam basis pengetahuan?

    • Kepatuhan nada: Apakah menggunakan frasa absolut yang dilarang secara hukum (misalnya, "keuntungan terjamin")?

    Scoring Criteria

    Menentukan format penilaian (misalnya, skala 5 poin, skala 3 poin, sistem Pass/Fail biner, atau sistem pengurangan/penghargaan poin) beserta makna bisnisnya.

    Contoh: Menggunakan skala 5 poin.

    • 5 poin: Respons sempurna, logika ketat, tanpa cacat.

    • 3 poin: Sebagian besar benar, tetapi terdapat sedikit kelalaian informasi.

    • 1 poin: Terdapat kesalahan faktual serius atau pelanggaran kepatuhan.

    Scoring Checklist

    Panduan eksekusi bagi penilai, menjelaskan bagaimana skor berbeda dikombinasikan dengan dimensi evaluasi.

    Contoh:

    • Kurangi 2 poin jika mendeteksi kata sensitif;

    • Kurangi 1 poin jika logika tidak koheren;

    • Berikan skor penuh jika masalah terselesaikan sepenuhnya dan disampaikan dengan empati.

    Context Variable Injection

    Merujuk data sistem bawaan melalui sintaks {{nama variabel}}, menempatkan penilai dalam konteks evaluasi dunia nyata.

    Sistem mendukung variabel berikut untuk substitusi otomatis:

    • {{input}}: Kueri asli pengguna.

    • {{output}}: Respons agen yang diuji.

    • {{expected_output}}: Ground truth referensi.

    • {{agent_trajectory}}: Rantai eksekusi internal minimal agen.

    • {{tool_context}}: Parameter pemanggilan tool, hasil balik, dan konteksnya.

    • {{rag_context}}: Fragmen mentah yang diambil oleh RAG.

    Catatan: Anda dapat memilih templat bawaan dengan satu klik, lalu menyesuaikan level dan kriteria penilaian sesuai skenario bisnis Anda.

    Sebagai contoh, jika Anda ingin membuat "RAG Faithfulness Evaluator", struktur prompt Anda dapat seperti berikut:

    Role
You are a rigorous academic paper reviewer.

Evaluation Dimensions
Compare {{output}} with {{rag_context}} to check whether the response is completely faithful to the given reference passages.

Scoring Criteria (1–3 scale)
3 points: All claims in the response are supported by evidence in the reference passages.
2 points: Most content is correct, but contains a few "hallucinated" details not mentioned in the passages.
1 point: The response seriously deviates from the facts or directly contradicts the reference passages.

Scoring Checklist
Extract the core assertions from {{output}}.
Verify each one against {{rag_context}}.
Score based on evidence coverage, and provide specific conflicting evidence in the reason field.

    Capability Mounting

    • Skills (Skill Extensions): Unggah file SKILL.md untuk memberikan evaluator kemampuan seperti eksekusi kode dan verifikasi multi-langkah, sehingga dapat "memverifikasi dengan melakukan".

    Langkah 3: Definisikan Protokol Output

    Output Field

    Type

    Description

    Score

    Required

    Skor numerik terstruktur, menggerakkan dasbor analitik dan laporan perbandingan

    Reason

    Required

    Umpan balik kualitatif yang menjelaskan dasar penilaian dan menjadi panduan untuk optimasi selanjutnya

    CoT (Chain of Thought)

    Optional

    Mencatat proses bernalar penilai selama pemberian skor; alat penting untuk mendiagnosis kesalahan penilaian evaluator

    Module Entry Point

    1. Access path: Masuk ke Konsol AgentLoop, temukan dan klik modul Evaluation di panel navigasi sebelah kiri.

    2. Switch tabs: Setelah masuk ke modul evaluasi, temukan bilah navigasi tab di bagian atas halaman. Klik Evaluator untuk masuk ke pusat manajemen aset evaluator.

    3. Feature layout:

      • Daftar sisi kiri/filter cepat: Mendukung pencarian cepat berdasarkan jenis (built-in/kustom) dan tag.

      • Bilah aksi atas: Mendukung pencarian nama evaluator, atau klik Create Evaluator untuk memulai proses pembuatan kustom.

      • Ruang kerja utama: Menampilkan semua aset evaluator dalam tampilan daftar, mendukung peninjauan detail, pengeditan konfigurasi, penghapusan, atau kloning.