Setelah tugas evaluasi AgentLoop selesai, hasil dari setiap evaluator ditulis sebagai satu entri log ke Logstore evaluation_detail. Logstore tersebut termasuk dalam proyek Alibaba Cloud Simple Log Service (SLS) yang sesuai dengan AgentSpace Anda. Topik ini menjelaskan tipe dan makna setiap bidang dalam Logstore tersebut.
Konsep utama
Evaluation task: Konfigurasi evaluasi yang Anda buat, mencakup definisi seperti sumber data, evaluator, dan kebijakan penjadwalan.
Run: Eksekusi aktual dari suatu evaluation task, yang dapat dipicu secara manual atau dijadwalkan secara otomatis dalam jendela evaluasi berkelanjutan.
Evaluator: Unit yang memberikan skor atau penilaian terhadap data. Satu tugas dapat mencakup beberapa evaluator, dan setiap evaluator menghasilkan satu entri log hasil.
Evaluation result: Skor, penilaian, dan penjelasan yang dihasilkan oleh satu evaluator untuk satu item data. Setiap hasil evaluasi direpresentasikan sebagai satu entri log dalam Logstore
evaluation_detail.
Bidang umum
Bidang-bidang berikut umum ditemukan pada setiap entri log hasil evaluasi. Beberapa bidang hanya berisi nilai dalam mode tertentu.
| Bidang | Tipe | Deskripsi |
timestamp | long | Waktu saat hasil evaluasi dihasilkan. Satuan: milidetik. |
task_id | text | ID dari evaluation task. |
eval_id | text | ID unik dari hasil evaluasi. |
eval_base_id | text | ID dari data evaluasi. Bidang ini menghubungkan antrian evaluasi dengan catatan hasil. |
run_id | text | ID dari run. |
window_id | text | ID dari jendela evaluasi berkelanjutan. Bidang ini hanya memiliki nilai dalam mode evaluasi berkelanjutan. |
user_id | long | ID pengguna. |
region_id | text | Wilayah. |
agentSpace | text | Identifikasi AgentSpace. |
status | text | Status evaluasi. Nilai valid: success, failed, dan unknown. |
Informasi tugas dan run
Bidang-bidang berikut menjelaskan konteks tugas dan run dari hasil evaluasi.
| Bidang | Type | Deskripsi |
task_name | text | Nama dari evaluation task. |
task_mode | text | Mode tugas. Nilai valid: batch, oneshot (sekali jalan), dan stream (streaming). |
run_name | text | Nama dari run. |
run_type | text | Tipe run. Nilai valid: backfill dan continuous. |
channel | text | Sumber tugas. Nilai valid: default, experiment, dan AgentRun (dipicu oleh AgentRun). |
data_start_time | long | Waktu mulai dari rentang data untuk run saat ini. Satuan: milidetik. |
data_end_time | long | Waktu akhir dari rentang data untuk run saat ini. Satuan: milidetik. |
eval_latency | long | Durasi end-to-end dari pembuatan run hingga hasil dihasilkan. Satuan: milidetik. |
Hasil evaluasi
Bidang-bidang berikut menjelaskan skor, penilaian, dan penjelasan yang dihasilkan oleh satu evaluator.
| Bidang | Tipe | Deskripsi |
evaluator_name | text | Nama evaluator. |
evaluator_display_name | text | Nama tampilan evaluator. |
score_name | text | Nama skor, yang mengidentifikasi item metrik yang dihasilkan oleh evaluator. |
score_value | double | Nilai skor mentah dari evaluator. |
normalized_score_value | double | Skor ternormalisasi, dalam rentang 0 hingga 1. Bidang ini hanya memiliki nilai jika rentang skor telah dikonfigurasi untuk evaluator tersebut. |
score_range | text | Rentang skor mentah, dalam format [min,max]. |
result_type | text | Tipe hasil. Nilai valid: score (penilaian numerik), binary (penilaian biner), dan text. |
explanation | text | Penjelasan yang dapat dibaca manusia mengenai skor tersebut. |
evaluation_process | text | Proses penurunan skor dan penjelasan. |
trajectory_summary | text | Ringkasan lintasan per percakapan dari sesi tersebut. Bidang ini hanya memiliki nilai untuk hasil evaluasi yang relevan. |
Informasi error
Saat status evaluasi bernilai failed, bidang-bidang berikut mencatat penyebab kegagalan.
| Bidang | Tipe | Deskripsi |
error_code | text | Kode kesalahan dari kegagalan tersebut. |
error_message | text | Pesan kesalahan yang menjelaskan penyebab kegagalan. |
Asosiasi data (data_link)
data_link adalah bidang JSON yang mencatat informasi asosiasi dari data yang dievaluasi. Anda dapat menggunakan bidang ini untuk melacak sumber data mentah dari suatu hasil evaluasi.
| Bidang | Tipe | Deskripsi |
dataset_id | text | ID dari set data. |
dataset_item_id | text | ID dari item dalam set data. |
trace_id | text | ID jejak dari data yang dievaluasi. |
span_id | text | ID rentang dari data yang dievaluasi. |
session_id | text | ID sesi dari data yang dievaluasi. |
experiment_id | text | ID dari eksperimen. |
service_id | text | ID dari aplikasi yang dievaluasi. |
service_name | text | Nama dari aplikasi yang dievaluasi. |
agent_name | text | Nama dari agen yang dievaluasi. |
data_scope | text | Granularitas data. Nilai valid: span, trace, session, log, dan dataset. |
start_time | text | Awal dari rentang waktu data yang dievaluasi. |
end_time | text | Akhir dari rentang waktu data yang dievaluasi. |
plan_id | text | ID dari rencana eksperimen. |
project | text | Proyek SLS tempat data log berasal. |
logstore | text | Logstore SLS tempat data log berasal. |
logstore_item_id | text | ID dari entri log. |
experiment_group_name | text | Nama dari kelompok eksperimen. |
plan_name | text | Nama dari rencana eksperimen. |
record_id | text | ID dari catatan. |
record_name | text | Nama dari catatan. |
run_env | text | Lingkungan runtime. |
Metadata evaluator (eval_meta)
eval_meta adalah bidang JSON yang mencatat metadata pemanggilan yang dihasilkan selama eksekusi evaluator.
| Bidang | Tipe | Deskripsi |
model_name | text | Nama model yang digunakan untuk evaluasi. |
evaluator_request_id | text | ID permintaan dari pemanggilan evaluator. |
evaluator_trace_id | text | ID jejak dari eksekusi evaluator itu sendiri. Bidang ini bukan trace_id dari data yang dievaluasi. |
evaluator_log_id | text | ID log dari pemanggilan evaluator. |
evaluator_thread_id | text | ID thread dari sesi evaluator. |
Metrik evaluator (eval_metrics)
eval_metrics adalah bidang JSON yang mencatat konsumsi token dan durasi eksekusi evaluator.
| Bidang | Tipe | Deskripsi |
input_tokens | long | Jumlah token input. |
output_tokens | long | Jumlah token output. |
total_tokens | long | Jumlah total token. |
latency | long | Durasi eksekusi satu evaluator. Satuan: milidetik. |
Input Evaluator (eval_info)
eval_info adalah bidang JSON yang mencatat nilai variabel aktual yang diteruskan ke evaluator. Setiap kunci bersesuaian dengan nama variabel yang didefinisikan dalam variableMapping evaluator, dan setiap nilai adalah nilai aktual dari variabel tersebut.
Sebagai contoh, jika evaluator dikonfigurasi dengan pemetaan variabel berikut:
{
"variableMapping": {
"input": "question",
"expected": "label"
}
}eval_info berisi konten berikut:
{
"input": "Nilai aktual dari bidang question",
"expected": "Nilai aktual dari bidang label"
}Output kustom (custom_outputs)
custom_outputs adalah bidang JSON yang menyimpan output kustom selain hasil standar dari evaluator. Struktur bidang ini ditentukan oleh evaluator dan tidak memiliki skema tetap.