OpenSearch:Gestión de tareas de evaluación

Evalúe el pipeline de desarrollo RAG (Retrieval-Augmented Generation) en AI Search Open Platform de extremo a extremo, desde la pregunta inicial del usuario y la recuperación de contenido hasta la generación de respuestas por parte del LLM.

Requisitos previos

Debe haber activado el servicio AI Search Open Platform. Para obtener más información, consulte Activate the service.

Procedimiento

1. Inicie sesión en la consola de AI Search Open Platform.

2. Seleccione la región China (Shanghai), cambie a AI Search Open Platform y seleccione el workspace de destino.

   Nota

   • AI Search Open Platform solo está disponible en las regiones China (Shanghai) y Alemania (Frankfurt).

   • Los usuarios de las regiones China (Hangzhou), China (Shenzhen), China (Beijing), China (Zhangjiakou) y China (Qingdao) pueden acceder al servicio en una región diferente mediante una dirección VPC.

   • Los workspaces aíslan y gestionan los datos. Al activar AI Search Open Platform por primera vez, el sistema crea automáticamente un workspace Default. También puede create a workspace.

3. En el panel de navegación, elija Effect Evaluation y haga clic en Effect Evaluation.

4. En la página Create Evaluation Task, introduzca un nombre de tarea y cargue un conjunto de datos de evaluación con el formato especificado en Sample data.

   Importante

   • Un conjunto de datos de evaluación puede contener un máximo de 200 entradas válidas. Si supera este límite, el sistema devuelve un error.

   • Siga la plantilla de ejemplo exactamente al cargar el conjunto de datos de evaluación. La respuesta de referencia es opcional, pero no puede mezclar preguntas con y sin respuestas de referencia en el mismo conjunto de datos.

   El Task Name debe tener entre 1 y 30 caracteres, comenzar con una letra y contener solo letras, dígitos y guiones bajos (_). El conjunto de datos de evaluación debe ser un archivo de Excel. La facturación de la tarea se basa en los recursos de cómputo consumidos durante la evaluación de rendimiento.

   A continuación se describen los campos de la plantilla de evaluación y las métricas clave.

   Parámetro	Descripción
   question	Su pregunta.
   standard_answer	La respuesta de referencia. Este campo opcional afecta las métricas devueltas en el informe de evaluación. Si se proporciona una respuesta de referencia, se utilizan las siguientes métricas de evaluación: faithfulness: Mide la consistencia factual de la respuesta generada por el modelo frente a los documentos recuperados. Un valor de 1 indica que la respuesta es fiel (sin alucinaciones), mientras que 0 indica una alucinación. context precision: Mide la precisión con la que los documentos recuperados respaldan la respuesta de referencia. Un valor de 1 indica precisión, y 0 indica imprecisión. context recall: Mide qué tan completamente cubren los documentos recuperados la información requerida por la respuesta de referencia. Un valor de 1 indica cobertura completa, y 0 indica cobertura incompleta. satisfaction: Puntuación compuesta que evalúa la calidad general de la respuesta generada por el modelo en comparación con la respuesta de referencia. Si la respuesta generada por el modelo está libre de alucinaciones, es precisa y completa, la puntuación de satisfacción es 1. Si la respuesta generada por el modelo está libre de alucinaciones pero es imprecisa o incompleta, la puntuación de satisfacción es 0.5. Si la respuesta generada por el modelo contiene una alucinación, la puntuación de satisfacción es 0. comprehensive score: Puntuación compuesta calculada a partir de faithfulness, context precision, context recall y satisfaction. Si no se proporciona una respuesta de referencia, se utilizan las siguientes métricas de evaluación: context relevance: Relevancia de los documentos recuperados respecto a la pregunta. Un valor de 1 indica relevancia, y 0 indica irrelevancia. credibility: Indica si la respuesta generada por el modelo es confiable y está fundamentada en los resultados de recuperación. Se asigna una puntuación de 1 si la respuesta está libre de alucinaciones y se basa en documentos recuperados relevantes. Esto incluye casos donde el modelo responde correctamente "Unable to answer" cuando no se recuperan documentos relevantes. Se asigna una puntuación de 0.5 si la respuesta está libre de alucinaciones pero se basa en documentos irrelevantes, o si el modelo responde incorrectamente "Unable to answer" cuando sí se recuperaron documentos relevantes. Se asigna una puntuación de 0 si la respuesta contiene una alucinación. faithfulness: Mide la consistencia factual de la respuesta generada por el modelo frente a los documentos recuperados. Un valor de 1 indica que la respuesta es fiel (sin alucinaciones), mientras que 0 indica una alucinación. comprehensive score: Puntuación compuesta calculada a partir de context relevance, faithfulness y credibility.
   recall_docs	Documentos recuperados.
   model_answer	La respuesta generada por el modelo.

5. Después de configurar los parámetros, haga clic en OK para crear la tarea de evaluación.

   Una tarea de evaluación puede tener los siguientes estados:

   • Evaluating o Failed: Puede eliminar la tarea de evaluación.

   • Successful: Puede descargar el informe de evaluación en formato Excel. El informe contiene dos hojas:

     • Sheet1 - Evaluation Task: Descripción general de la tarea de evaluación. Los valores promedio de las métricas se calculan a partir de todas las preguntas evaluadas correctamente.

       Sheet2 - Task Details: Datos detallados de la evaluación para cada pregunta.

       La lista de tareas de evaluación muestra toda la información de las tareas en una tabla, incluyendo Task Name, Task Status (como Evaluating o Successful), Creation Time, Completion Time, Evaluation Data (nombre del archivo de datos cargado) y la columna Actions. Una vez completada una tarea, su estado cambia a Successful. En la columna Actions, haga clic en Download Report para descargar el informe de evaluación.