Campos del resultado de evaluación - AgentLoop - Centro de documentación de Alibaba Cloud

Cuando finaliza una tarea de evaluación de AgentLoop, el resultado de cada evaluador se escribe como un solo registro en el logstore evaluation_detail. Este logstore pertenece al proyecto de Alibaba Cloud Simple Log Service (SLS) que corresponde a su AgentSpace. En este tema se describe el tipo y el significado de cada campo del logstore.

Conceptos clave

Tarea de evaluación: configuración de evaluación que usted crea. Contiene definiciones como el origen de datos, los evaluadores y la política de programación.
Ejecución: ejecución real de una tarea de evaluación. Una ejecución se puede activar de forma manual o programar automáticamente dentro de una ventana de evaluación continua.
Evaluador: unidad que califica o juzga los datos. Una tarea puede contener varios evaluadores, y cada uno genera un registro de resultado.
Resultado de evaluación: calificación, juicio y explicación que produce un solo evaluador para un dato específico. Cada resultado de evaluación corresponde a un registro en el logstore evaluation_detail.

Campos comunes

A continuación se muestran los campos comunes a todos los registros de resultados de evaluación. Algunos campos solo tienen valor en modos específicos.

Campo	Tipo	Descripción
`timestamp`	long	Hora en la que se generó el resultado de evaluación. Unidad: milisegundos.
`task_id`	text	ID de la tarea de evaluación.
`eval_id`	text	ID único de un resultado de evaluación.
`eval_base_id`	text	ID de los datos de evaluación. Vincula la cola de evaluación con el registro de resultados.
`run_id`	text	ID de la ejecución.
`window_id`	text	ID de la ventana de evaluación continua. Este campo solo tiene valor en el modo de evaluación continua.
`user_id`	long	ID del usuario.
`region_id`	text	Región.
`agentSpace`	text	Identificador de AgentSpace.
`status`	text	Estado de la evaluación. Valores válidos: `success`, `failed` y `unknown`.

Información de la tarea y la ejecución

Los siguientes campos describen el contexto de la tarea y la ejecución del resultado de evaluación.

Campo	Tipo	Descripción
`task_name`	text	Nombre de la tarea de evaluación.
`task_mode`	text	Modo de la tarea. Valores válidos: `batch`, `oneshot` (una sola vez) y `stream` (streaming).
`run_name`	text	Nombre de la ejecución.
`run_type`	text	Tipo de ejecución. Valores válidos: `backfill` y `continuous`.
`channel`	text	Origen de la tarea. Valores válidos: `default`, `experiment` y `AgentRun` (activada por AgentRun).
`data_start_time`	long	Hora de inicio del intervalo de datos de la ejecución actual. Unidad: milisegundos.
`data_end_time`	long	Hora de fin del intervalo de datos de la ejecución actual. Unidad: milisegundos.
`eval_latency`	long	Duración total desde la creación de la ejecución hasta la generación del resultado. Unidad: milisegundos.

Resultado de evaluación

Los siguientes campos describen la calificación, el juicio y la explicación que produce un solo evaluador.

Campo	Tipo	Descripción
`evaluator_name`	text	Nombre del evaluador.
`evaluator_display_name`	text	Nombre para mostrar del evaluador.
`score_name`	text	Nombre de la calificación, que identifica la métrica que genera el evaluador.
`score_value`	double	Valor bruto de la calificación del evaluador.
`normalized_score_value`	double	Calificación normalizada, en un rango de 0 a 1. Este campo solo tiene valor cuando se configura un rango de calificación para el evaluador.
`score_range`	text	Rango de la calificación bruta, con el formato `[min,max]`.
`result_type`	text	Tipo de resultado. Valores válidos: `score` (calificación numérica), `binary` (juicio binario) y `text`.
`explanation`	text	Explicación legible de la calificación.
`evaluation_process`	text	Proceso de obtención de la calificación y la explicación.
`trajectory_summary`	text	Resumen de la trayectoria turno por turno de la sesión. Este campo solo tiene valor en los resultados de evaluación relevantes.

Información de error

Cuando el estado de la evaluación es failed, los siguientes campos registran la causa del fallo.

Campo	Tipo	Descripción
`error_code`	text	Código de error del fallo.
`error_message`	text	Mensaje de error que describe la causa del fallo.

Asociación de datos (data_link)

El campo data_link es un campo JSON que registra la información de asociación de los datos evaluados. Puede usar este campo para rastrear el origen de datos original de un resultado de evaluación.

Campo	Tipo	Descripción
`dataset_id`	text	ID del conjunto de datos.
`dataset_item_id`	text	ID del elemento en el conjunto de datos.
`trace_id`	text	ID de seguimiento de los datos evaluados.
`span_id`	text	ID de span de los datos evaluados.
`session_id`	text	ID de sesión de los datos evaluados.
`experiment_id`	text	ID del experimento.
`service_id`	text	ID de la aplicación evaluada.
`service_name`	text	Nombre de la aplicación evaluada.
`agent_name`	text	Nombre del agente evaluado.
`data_scope`	text	Granularidad de los datos. Valores válidos: `span`, `trace`, `session`, `log` y `dataset`.
`start_time`	text	Inicio del intervalo de tiempo de los datos evaluados.
`end_time`	text	Fin del intervalo de tiempo de los datos evaluados.
`plan_id`	text	ID del plan de experimento.
`project`	text	Proyecto de SLS del que provienen los datos de registro.
`logstore`	text	Logstore de SLS del que provienen los datos de registro.
`logstore_item_id`	text	ID del registro.
`experiment_group_name`	text	Nombre del grupo de experimentos.
`plan_name`	text	Nombre del plan de experimento.
`record_id`	text	ID del registro.
`record_name`	text	Nombre del registro.
`run_env`	text	Entorno de ejecución.

Metadatos del evaluador (eval_meta)

El campo eval_meta es un campo JSON que registra los metadatos de invocación generados durante la ejecución del evaluador.

Campo	Tipo	Descripción
`model_name`	text	Nombre del modelo utilizado para la evaluación.
`evaluator_request_id`	text	ID de solicitud de la invocación del evaluador.
`evaluator_trace_id`	text	ID de seguimiento de la propia ejecución del evaluador. Este campo no es el `trace_id` de los datos evaluados.
`evaluator_log_id`	text	ID de registro de la invocación del evaluador.
`evaluator_thread_id`	text	ID de hilo de la sesión del evaluador.

Métricas del evaluador (eval_metrics)

El campo eval_metrics es un campo JSON que registra el consumo de tokens y la duración de la ejecución del evaluador.

Campo	Tipo	Descripción
`input_tokens`	long	Número de tokens de entrada.
`output_tokens`	long	Número de tokens de salida.
`total_tokens`	long	Número total de tokens.
`latency`	long	Duración de ejecución de un solo evaluador. Unidad: milisegundos.

Entrada del evaluador (eval_info)

El campo eval_info es un campo JSON que registra los valores reales de las variables que se pasan al evaluador. Cada clave corresponde al nombre de una variable definida en variableMapping del evaluador, y cada valor es el valor real de esa variable.

Por ejemplo, si el evaluador se configura con la siguiente asignación de variables:

{
  "variableMapping": {
    "input": "question",
    "expected": "label"
  }
}

El campo eval_info contiene lo siguiente:

{
  "input": "The actual value of the question field",
  "expected": "The actual value of the label field"
}

Salidas personalizadas (custom_outputs)

El campo custom_outputs es un campo JSON que almacena salidas personalizadas además de los resultados estándar del evaluador. La estructura de este campo la define el evaluador y no tiene un esquema fijo.