Değerlendirme sonucu alanları - AgentLoop - Alibaba Cloud Dokümantasyon Merkezi

Temel kavramlar

Değerlendirme görevi: Oluşturduğunuz değerlendirme yapılandırmasıdır. Veri kaynağı, değerlendiriciler ve zamanlama ilkesi gibi tanımları içerir.
Çalıştırma: Bir değerlendirme görevinin fiili çalıştırılmasıdır. Bir çalıştırmayı manuel olarak tetikleyebilir veya sürekli değerlendirme penceresi içinde otomatik olarak zamanlayabilirsiniz.
Değerlendirici: Verileri puanlayan veya değerlendiren birimdir. Bir görev birden fazla değerlendirici içerebilir ve her değerlendirici tek bir sonuç günlük girdisi üretir.
Değerlendirme sonucu: Tek bir değerlendiricinin tek bir veri parçası için ürettiği puan, değerlendirme ve açıklamadır. Her değerlendirme sonucu, evaluation_detail Logstore'unda bir günlük girdisidir.

Ortak alanlar

Aşağıdaki alanlar her değerlendirme sonucu günlük girdisinde ortaktır. Bazı alanlar yalnızca belirli modlarda değer alır.

Alan	Tür	Açıklama
`timestamp`	long	Değerlendirme sonucunun oluşturulduğu zaman. Birim: milisaniye.
`task_id`	text	Değerlendirme görevinin kimliği.
`eval_id`	text	Bir değerlendirme sonucunun benzersiz kimliği.
`eval_base_id`	text	Değerlendirme verisinin kimliği. Değerlendirme kuyruğunu sonuç kaydına bağlar.
`run_id`	text	Çalıştırmanın kimliği.
`window_id`	text	Sürekli değerlendirme penceresinin kimliği. Bu alan yalnızca sürekli değerlendirme modunda değer alır.
`user_id`	long	Kullanıcı kimliği.
`region_id`	text	Bölge.
`agentSpace`	text	AgentSpace tanımlayıcısı.
`status`	text	Değerlendirme durumu. Geçerli değerler: `success`, `failed` ve `unknown`.

Görev ve çalıştırma bilgileri

Aşağıdaki alanlar, değerlendirme sonucunun görev ve çalıştırma bağlamını açıklar.

Alan	Tür	Açıklama
`task_name`	text	Değerlendirme görevinin adı.
`task_mode`	text	Görev modu. Geçerli değerler: `batch` (toplu iş), `oneshot` (tek seferlik) ve `stream` (akış).
`run_name`	text	Çalıştırmanın adı.
`run_type`	text	Çalıştırma türü. Geçerli değerler: `backfill` ve `continuous`.
`channel`	text	Görevin kaynağı. Geçerli değerler: `default`, `experiment` ve `AgentRun` (AgentRun tarafından tetiklenen).
`data_start_time`	long	Geçerli çalıştırma için veri aralığının başlangıç zamanı. Birim: milisaniye.
`data_end_time`	long	Geçerli çalıştırma için veri aralığının bitiş zamanı. Birim: milisaniye.
`eval_latency`	long	Çalıştırmanın oluşturulmasından sonucun üretilmesine kadar geçen uçtan uca süre. Birim: milisaniye.

Değerlendirme sonucu

Aşağıdaki alanlar, tek bir değerlendiricinin ürettiği puanı, değerlendirmeyi ve açıklamayı açıklar.

Alan	Tür	Açıklama
`evaluator_name`	text	Değerlendiricinin adı.
`evaluator_display_name`	text	Değerlendiricinin görünen adı.
`score_name`	text	Puan adı; değerlendiricinin ürettiği ölçüm öğesini tanımlar.
`score_value`	double	Değerlendiricinin ham puan değeri.
`normalized_score_value`	double	Normalleştirilmiş puan; 0 ile 1 arasındadır. Bu alan, değerlendirici için bir puan aralığı yapılandırıldığında değer alır.
`score_range`	text	Ham puan aralığı; `[min,max]` biçimindedir.
`result_type`	text	Sonuç türü. Geçerli değerler: `score` (sayısal puanlama), `binary` (ikili değerlendirme) ve `text`.
`explanation`	text	Puanın insan tarafından okunabilir açıklaması.
`evaluation_process`	text	Puanın ve açıklamanın türetilme süreci.
`trajectory_summary`	text	Oturumun dönüş bazlı iz özetidir. Bu alan yalnızca ilgili değerlendirme sonuçları için değer alır.

Hata bilgileri

Değerlendirme durumu failed olduğunda, aşağıdaki alanlar hatanın nedenini kaydeder.

Alan	Tür	Açıklama
`error_code`	text	Hatanın hata kodu.
`error_message`	text	Hata nedenini açıklayan hata mesajı.

Veri ilişkilendirmesi (data_link)

data_link alanı, değerlendirilen verilerin ilişkilendirme bilgilerini kaydeden bir JSON alanıdır. Bir değerlendirme sonucunun ham veri kaynağını izlemek için bu alanı kullanabilirsiniz.

Alan	Tür	Açıklama
`dataset_id`	text	Veri kümesinin kimliği.
`dataset_item_id`	text	Veri kümesindeki öğenin kimliği.
`trace_id`	text	Değerlendirilen verinin iz kimliği.
`span_id`	text	Değerlendirilen verinin span kimliği.
`session_id`	text	Değerlendirilen verinin oturum kimliği.
`experiment_id`	text	Deneyin kimliği.
`service_id`	text	Değerlendirilen uygulamanın kimliği.
`service_name`	text	Değerlendirilen uygulamanın adı.
`agent_name`	text	Değerlendirilen ajanın adı.
`data_scope`	text	Veri granüleritesi. Geçerli değerler: `span`, `trace`, `session`, `log` ve `dataset`.
`start_time`	text	Değerlendirilen verinin zaman aralığının başlangıcı.
`end_time`	text	Değerlendirilen verinin zaman aralığının bitişi.
`plan_id`	text	Deney planının kimliği.
`project`	text	Günlük verilerinin geldiği SLS projesi.
`logstore`	text	Günlük verilerinin geldiği SLS Logstore'u.
`logstore_item_id`	text	Günlük girdisinin kimliği.
`experiment_group_name`	text	Deney grubunun adı.
`plan_name`	text	Deney planının adı.
`record_id`	text	Kaydın kimliği.
`record_name`	text	Kaydın adı.
`run_env`	text	Çalışma zamanı ortamı.

Değerlendirici meta verileri (eval_meta)

eval_meta alanı, değerlendirici çalıştırması sırasında oluşturulan çağrı meta verilerini kaydeden bir JSON alanıdır.

Alan	Tür	Açıklama
`model_name`	text	Değerlendirme için kullanılan modelin adı.
`evaluator_request_id`	text	Değerlendirici çağrısının istek kimliği.
`evaluator_trace_id`	text	Değerlendiricinin kendi çalıştırmasının iz kimliği. Bu alan, değerlendirilen verinin `trace_id` değeri değildir.
`evaluator_log_id`	text	Değerlendirici çağrısının günlük kimliği.
`evaluator_thread_id`	text	Değerlendirici oturumunun iş parçacığı kimliği.

Değerlendirici ölçümleri (eval_metrics)

eval_metrics alanı, değerlendirici çalıştırmasının belirteç tüketimini ve süresini kaydeden bir JSON alanıdır.

Alan	Tür	Açıklama
`input_tokens`	long	Giriş belirteçlerinin sayısı.
`output_tokens`	long	Çıkış belirteçlerinin sayısı.
`total_tokens`	long	Toplam belirteç sayısı.
`latency`	long	Tek bir değerlendiricinin çalıştırma süresi. Birim: milisaniye.

Değerlendirici girişi (eval_info)

eval_info alanı, değerlendiriciye aktarılan gerçek değişken değerlerini kaydeden bir JSON alanıdır. Her anahtar, değerlendiricinin variableMapping bölümünde tanımlanan bir değişken adına karşılık gelir ve her değer, o değişkenin gerçek değeridir.

Örneğin, değerlendirici aşağıdaki değişken eşlemesiyle yapılandırılmışsa:

{
  "variableMapping": {
    "input": "question",
    "expected": "label"
  }
}

eval_info aşağıdaki içeriği içerir:

{
  "input": "The actual value of the question field",
  "expected": "The actual value of the label field"
}

Özel çıktılar (custom_outputs)

custom_outputs alanı, değerlendiricinin standart sonuçlarına ek olarak özel çıktıları depolayan bir JSON alanıdır. Bu alanın yapısı değerlendirici tarafından tanımlanır ve sabit bir şeması yoktur.