Campos do resultado da avaliação - AgentLoop: Central de Documentação do Alibaba Cloud

Conceitos principais

Tarefa de avaliação: Configuração de avaliação criada por você. Inclui definições como source de dados, avaliadores e política de agendamento.
Execução: Instância real de execução de uma tarefa de avaliação. Pode ser acionada manualmente ou agendada automaticamente dentro de uma janela de avaliação contínua.
Avaliador: Unidade responsável por pontuar ou julgar dados. Uma tarefa pode conter vários avaliadores, e cada um deles gera uma entrada de log de resultado.
Resultado da avaliação: Pontuação, julgamento e explicação produzidos por um único avaliador para um único dado. Cada resultado corresponde a uma entrada de log no Logstore evaluation_detail.

Campos comuns

Os campos abaixo estão presentes em todas as entradas de log de resultado de avaliação. Alguns possuem valor apenas em modos específicos.

Campo	Tipo	Descrição
`timestamp`	long	Momento em que o resultado da avaliação foi gerado. Unidade: milissegundos.
`task_id`	text	ID da tarefa de avaliação.
`eval_id`	text	ID exclusivo de um resultado de avaliação.
`eval_base_id`	text	ID dos dados de avaliação. Vincula a fila de avaliação ao registro de resultado.
`run_id`	text	ID da execução.
`window_id`	text	ID da janela de avaliação contínua. Este campo possui valor apenas no modo de avaliação contínua.
`user_id`	long	ID do usuário.
`region_id`	text	Região.
`agentSpace`	text	Identificador do AgentSpace.
`status`	text	status da avaliação. Valores válidos: `success`, `failed` e `unknown`.

Informações da tarefa e da execução

Estes campos descrevem o contexto da tarefa e da execução associados ao resultado da avaliação.

Campo	Tipo	Descrição
`task_name`	text	Nome da tarefa de avaliação.
`task_mode`	text	Modo da tarefa. Valores válidos: `batch`, `oneshot` (única vez) e `stream` (streaming).
`run_name`	text	Nome da execução.
`run_type`	text	Tipo de execução. Valores válidos: `backfill` e `continuous`.
`channel`	text	Origem da tarefa. Valores válidos: `default`, `experiment` e `AgentRun` (acionada pelo AgentRun).
`data_start_time`	long	Horário inicial do intervalo de dados da execução atual. Unidade: milissegundos.
`data_end_time`	long	Horário final do intervalo de dados da execução atual. Unidade: milissegundos.
`eval_latency`	long	Duração ponta a ponta, desde a criação da execução até a geração do resultado. Unidade: milissegundos.

Resultado da avaliação

Os campos a seguir detalham a pontuação, o julgamento e a explicação gerados por um único avaliador.

Campo	Tipo	Descrição
`evaluator_name`	text	Nome do avaliador.
`evaluator_display_name`	text	Nome de exibição do avaliador.
`score_name`	text	Nome da pontuação, que identifica o item de métrica produzido pelo avaliador.
`score_value`	double	Valor bruto da pontuação do avaliador.
`normalized_score_value`	double	Pontuação normalizada, na faixa de 0 a 1. Este campo possui valor apenas quando uma faixa de pontuação está configurada para o avaliador.
`score_range`	text	Faixa de pontuação bruta, no formato `[min,max]`.
`result_type`	text	Tipo de resultado. Valores válidos: `score` (pontuação numérica), `binary` (julgamento binário) e `text`.
`explanation`	text	Explicação legível por humanos sobre a pontuação.
`evaluation_process`	text	Processo de derivação da pontuação e da explicação.
`trajectory_summary`	text	Resumo da trajetória turno a turno da sessão. Este campo possui valor apenas para resultados de avaliação relevantes.

Informações de erro

Quando o status da avaliação é failed, os campos abaixo registram a causa da falha.

Campo	Tipo	Descrição
`error_code`	text	Código de erro da falha.
`error_message`	text	Mensagem de erro que descreve a causa da falha.

Associação de dados (data_link)

O campo data_link é um campo JSON que registra as informações de associação dos dados avaliados. Utilize este campo para rastrear a source de dados original de um resultado de avaliação.

Campo	Tipo	Descrição
`dataset_id`	text	ID do conjunto de dados.
`dataset_item_id`	text	ID do item no conjunto de dados.
`trace_id`	text	ID de rastreamento dos dados avaliados.
`span_id`	text	ID do span dos dados avaliados.
`session_id`	text	ID da sessão dos dados avaliados.
`experiment_id`	text	ID do experimento.
`service_id`	text	ID da aplicação avaliada.
`service_name`	text	Nome da aplicação avaliada.
`agent_name`	text	Nome do agente avaliado.
`data_scope`	text	Granularidade dos dados. Valores válidos: `span`, `trace`, `session`, `log` e `dataset`.
`start_time`	text	Início do intervalo de tempo dos dados avaliados.
`end_time`	text	Fim do intervalo de tempo dos dados avaliados.
`plan_id`	text	ID do plano de experimento.
`project`	text	Projeto SLS de onde vêm os dados de log.
`logstore`	text	Logstore SLS de onde vêm os dados de log.
`logstore_item_id`	text	ID da entrada de log.
`experiment_group_name`	text	Nome do grupo de experimentos.
`plan_name`	text	Nome do plano de experimento.
`record_id`	text	ID do registro.
`record_name`	text	Nome do registro.
`run_env`	text	Ambiente de execução.

Metadados do avaliador (eval_meta)

O campo eval_meta é um campo JSON que registra os metadados de invocação gerados durante a execução do avaliador.

Campo	Tipo	Descrição
`model_name`	text	Nome do modelo usado para avaliação.
`evaluator_request_id`	text	ID da solicitação de invocação do avaliador.
`evaluator_trace_id`	text	ID de rastreamento da própria execução do avaliador. Este campo não corresponde ao `trace_id` dos dados avaliados.
`evaluator_log_id`	text	ID de log da invocação do avaliador.
`evaluator_thread_id`	text	ID do thread da sessão do avaliador.

Métricas do avaliador (eval_metrics)

O campo eval_metrics é um campo JSON que registra o consumo de tokens e a duração da execução do avaliador.

Campo	Tipo	Descrição
`input_tokens`	long	Quantidade de tokens de entrada.
`output_tokens`	long	Quantidade de tokens de saída.
`total_tokens`	long	Total de tokens.
`latency`	long	Duração da execução de um único avaliador. Unidade: milissegundos.

Entrada do avaliador (eval_info)

O campo eval_info é um campo JSON que registra os valores reais das variáveis passadas ao avaliador. Cada chave corresponde a um nome de variável definido no variableMapping do avaliador, e cada valor representa o conteúdo efetivo dessa variável.

Por exemplo, se o avaliador estiver configurado com o seguinte mapeamento de variáveis:

{
  "variableMapping": {
    "input": "question",
    "expected": "label"
  }
}

O campo eval_info conterá o seguinte conteúdo:

{
  "input": "The actual value of the question field",
  "expected": "The actual value of the label field"
}

Saídas personalizadas (custom_outputs)

O campo custom_outputs é um campo JSON que armazena saídas personalizadas além dos resultados padrão do avaliador. A estrutura deste campo é definida pelo próprio avaliador e não possui schema fixo.