Informe de pruebas A/B - OpenSearch - Centro de documentación de Alibaba Cloud

El informe de pruebas A/B muestra cómo afecta cada variante del experimento a la calidad de búsqueda y al comportamiento del usuario. OpenSearch rastrea cinco categorías de métricas: métricas principales, métricas de tráfico, métricas de comportamiento, métricas de transacción y métricas de análisis de usuarios.

Antes de interpretar los resultados

Revise lo siguiente antes de sacar conclusiones del informe:

Retraso de datos: De forma predeterminada, el informe muestra los datos del día anterior. Después de cargar los datos de comportamiento, el informe reflejará esa información a partir del día siguiente.
Rango de fechas: Utilice el selector de fechas para elegir un día específico o un periodo de tiempo. Cada categoría de métricas incluye un gráfico de tendencias de 7 días; haga clic en el icono de gráfico junto a una métrica para abrir su vista de tendencias.
Dependencias de datos: Las métricas que requieren datos de comportamiento (clics, favoritos, compras) solo están disponibles después de habilitar la función de recopilación de datos y cargar los datos de comportamiento correspondientes.

Consultar el informe

En el panel de navegación izquierdo, elija Report Statistics > A/B Test. Seleccione una aplicación en la lista desplegable Application Name, elija un grupo de experimentos y luego seleccione un experimento. Haga clic en una pestaña de categoría de métricas y utilice el selector de fechas para establecer el periodo de tiempo.

imagen..png

Métricas principales

Las métricas principales ofrecen una visión general del volumen de búsqueda, la participación de los usuarios y la calidad de los resultados. Utilícelas para evaluar el estado general de cada variante del experimento antes de analizar en detalle los datos de comportamiento o de transacción.

Métrica	Definición	Fórmula	Dependencia
Search PV	Número de solicitudes de búsqueda exitosas, incluidas las solicitudes de paginación. PV significa página vista.	Recuento de solicitudes que recibieron una respuesta exitosa	—
Search UV	Número de usuarios que visitaron páginas de resultados de búsqueda. UV significa visitante único. Cada usuario se cuenta una sola vez, sin importar cuántas búsquedas haya realizado.	Recuento de usuarios distintos	`user_id` en solicitudes de búsqueda
Tasa de paginación	Proporción de solicitudes de paginación respecto al total de solicitudes de búsqueda. Una tasa alta puede indicar que los usuarios no encuentran lo que necesitan en la primera página.	Solicitudes de paginación ÷ Search PV	—
Tasa de sin resultados	Proporción de búsquedas que no devolvieron elementos respecto al total de solicitudes de búsqueda. Una tasa alta señala brechas en la recuperación de información.	Solicitudes con cero resultados ÷ Search PV	—
PV-CTR	Tasa de clics (CTR) de los resultados de búsqueda, medida por solicitud de búsqueda.	IPV ÷ Search PV	Función de recopilación de datos; datos de comportamiento de clics
UV-CTR	CTR medido por usuario. Complementa al PV-CTR al suavizar el efecto de los usuarios que realizan muchas búsquedas.	IPV_UV ÷ Search UV	Función de recopilación de datos; datos de comportamiento de clics
TOP5 PV-CTR	CTR de los primeros cinco elementos en la primera página de resultados de búsqueda. Utilice esta métrica para evaluar la calidad de la clasificación en la parte superior de los resultados.	Clics en los 5 elementos principales ÷ Search PV	Función de recopilación de datos; datos de comportamiento de clics
Search PV per cápita	Promedio de solicitudes de búsqueda por usuario. Un valor alto puede significar que los usuarios participan activamente, pero tienen dificultades para encontrar resultados.	Search PV ÷ Search UV	`user_id` en solicitudes de búsqueda
Tasa de retención al día siguiente	Proporción de usuarios que buscaron en dos días consecutivos respecto a los usuarios que buscaron el día anterior. Indica la fidelidad de los usuarios.	Intersección de Search UV(t-1) y Search UV(t) ÷ Search UV(t-1)	`user_id` en solicitudes de búsqueda

Métricas de tráfico

Las métricas de tráfico desglosan el volumen de búsqueda, la diversidad de consultas y las tasas de error. Utilícelas junto con las métricas principales para comprender la carga de búsqueda e identificar problemas de recuperación.

Métrica	Definición	Fórmula	Dependencia
Search PV	Número de solicitudes de búsqueda exitosas, incluidas las solicitudes de paginación.	Recuento de solicitudes que recibieron una respuesta exitosa	—
Search UV	Número de usuarios que visitaron páginas de resultados de búsqueda.	Recuento de usuarios distintos	`user_id` en solicitudes de búsqueda
Search PV per cápita	Promedio de solicitudes de búsqueda por usuario.	Search PV ÷ Search UV	`user_id` en solicitudes de búsqueda
Impresiones de elementos	Número de impresiones de elementos en los resultados de búsqueda. Si un elemento reaparece en una nueva página tras una solicitud de paginación, esto cuenta como una nueva impresión. Cuando hay datos de comportamiento disponibles, las impresiones se cuentan a partir de los datos cargados; de lo contrario, se utiliza el número total de elementos en los resultados.	Recuento de impresiones de elementos (o total de elementos resultantes si no hay datos de comportamiento)	Función de recopilación de datos; datos de comportamiento de impresión de elementos (para mayor precisión)
Número de consultas	Total de consultas en todos los usuarios, deduplicadas por usuario. La misma consulta realizada por el mismo usuario se cuenta una vez; la misma consulta realizada por dos usuarios diferentes se cuenta dos veces. Si `raw_query` está presente en una solicitud, se utiliza ese valor; de lo contrario, se usa el valor del índice predeterminado; si no hay ningún índice predeterminado configurado, la consulta queda vacía.	Suma de consultas deduplicadas por usuario	`user_id` en solicitudes de búsqueda; campo `raw_query` (opcional)
Número de consultas per cápita	Promedio de consultas deduplicadas por usuario.	Número de consultas ÷ Search UV	`user_id` en solicitudes de búsqueda
Número de consultas independientes	Número de consultas distintas en todos los usuarios. La misma consulta enviada por varios usuarios se cuenta una sola vez. Indica la diversidad de consultas.	Recuento de consultas tras la deduplicación entre usuarios	Campo `raw_query` (opcional)
Tasa de paginación	Proporción de solicitudes de paginación respecto al total de solicitudes de búsqueda.	Solicitudes de paginación ÷ Search PV	—
Tasa de sin resultados	Proporción de búsquedas que no devolvieron elementos respecto al total de solicitudes de búsqueda.	Solicitudes con cero resultados ÷ Search PV	—
Tasa de pocos resultados	Proporción de búsquedas que devolvieron cinco elementos o menos respecto al total de solicitudes de búsqueda.	Solicitudes con ≤5 resultados ÷ Search PV	—
Errores de solicitud	Número de solicitudes de búsqueda que recibieron una respuesta de error (por ejemplo, debido a limitaciones de velocidad). Un pico puede indicar que necesita escalar horizontalmente.	Recuento de solicitudes que recibieron un error	—
Tasa de error en solicitudes	Proporción de solicitudes con errores respecto al total de solicitudes.	Errores de solicitud ÷ (Search PV + Errores de solicitud)	—

Métricas de comportamiento

Las métricas de comportamiento rastrean cómo interactúan los usuarios con los resultados de búsqueda: clics, favoritos, adiciones al carrito, "me gusta" y comentarios. Todas las métricas de comportamiento requieren que la función de recopilación de datos esté habilitada y que se hayan cargado los datos de comportamiento correspondientes.

Métrica	Definición	Fórmula	Dependencia
IPV	Número de clics en elementos dentro de los resultados de búsqueda.	Recuento de clics en elementos	Función de recopilación de datos; datos de comportamiento de clics
IPV_UV	Número de usuarios que hicieron clic en como mínimo un elemento en los resultados de búsqueda. Cada usuario se cuenta una sola vez.	Recuento de usuarios distintos que hicieron clic	Función de recopilación de datos; datos de comportamiento de clics; `user_id`
IPV per cápita	Promedio de clics en elementos por usuario.	IPV ÷ Search UV	Función de recopilación de datos; datos de comportamiento de clics; `user_id`
PV-CTR	CTR de los resultados de búsqueda, medido por solicitud de búsqueda.	IPV ÷ Search PV	Función de recopilación de datos; datos de comportamiento de clics
UV-CTR	CTR medido por usuario.	IPV_UV ÷ Search UV	Función de recopilación de datos; datos de comportamiento de clics
Item-CTR	CTR a nivel de elemento: frecuencia con la que se hace clic en un elemento mostrado.	IPV ÷ Impresiones de elementos	Función de recopilación de datos; datos de comportamiento de clics
Porcentaje de PV con clics	Proporción de solicitudes de búsqueda en las que los usuarios hicieron clic en como mínimo un resultado.	Solicitudes de búsqueda con clics ÷ Search PV	Función de recopilación de datos; datos de comportamiento de clics
TOP3 PV-CTR	CTR de los primeros tres elementos en la primera página.	Clics en los 3 elementos principales ÷ Search PV	Función de recopilación de datos; datos de comportamiento de clics
TOP5 PV-CTR	CTR de los primeros cinco elementos en la primera página.	Clics en los 5 elementos principales ÷ Search PV	Función de recopilación de datos; datos de comportamiento de clics
TOP10 PV-CTR	CTR de los primeros diez elementos en la primera página.	Clics en los 10 elementos principales ÷ Search PV	Función de recopilación de datos; datos de comportamiento de clics
Número de guardados	Número de veces que los usuarios agregaron elementos de los resultados de búsqueda a favoritos.	Recuento de adiciones a favoritos	Función de recopilación de datos; datos de comportamiento de favoritos; `bhv_type = collect`
Tasa de conversión a favoritos	Proporción de adiciones a favoritos respecto al total de solicitudes de búsqueda.	Número de guardados ÷ Search PV	Función de recopilación de datos; datos de comportamiento de favoritos; `bhv_type = collect`
Adiciones al carrito	Número de veces que los usuarios agregaron elementos de los resultados de búsqueda al carrito de compras (o estantería o lista de reproducción).	Recuento de adiciones al carrito	Función de recopilación de datos; datos de comportamiento del carrito; `bhv_type = cart`
Tasa de conversión a carrito	Proporción de adiciones al carrito respecto al total de solicitudes de búsqueda.	Adiciones al carrito ÷ Search PV	Función de recopilación de datos; datos de comportamiento del carrito; `bhv_type = cart`
"Me gusta"	Número de veces que los usuarios marcaron elementos como "me gusta" en los resultados de búsqueda.	Recuento de "me gusta"	Función de recopilación de datos; datos de comportamiento de "me gusta"; `bhv_type = like`
Tasa de conversión a "me gusta"	Proporción de "me gusta" respecto al total de solicitudes de búsqueda.	"Me gusta" ÷ Search PV	Función de recopilación de datos; datos de comportamiento de "me gusta"; `bhv_type = like`
Número de comentarios	Número de veces que los usuarios publicaron comentarios sobre elementos en los resultados de búsqueda.	Recuento de comentarios	Función de recopilación de datos; datos de comportamiento de comentarios; `bhv_type = comment`
Tasa de conversión a comentarios	Proporción de comentarios respecto al total de solicitudes de búsqueda.	Número de comentarios ÷ Search PV	Función de recopilación de datos; datos de comportamiento de comentarios; `bhv_type = comment`

Métricas de transacción

Las métricas de transacción miden la eficacia con la que los resultados de búsqueda impulsan las compras. Todas las métricas de transacción requieren bhv_type = buy en los datos de comportamiento cargados.

Métrica	Definición	Fórmula	Dependencia
GMV guiado por búsqueda	Volumen bruto de mercancías (GMV) de las compras realizadas desde los resultados de búsqueda.	Suma de montos de transacción	Función de recopilación de datos; datos de comportamiento de compras; `bhv_type = buy`
UV de compradores guiados por búsqueda	Número de usuarios que realizaron una compra desde los resultados de búsqueda. Cada usuario se cuenta una sola vez.	Recuento de usuarios compradores distintos	Función de recopilación de datos; datos de comportamiento de compras; `bhv_type = buy`; `user_id`
Precio unitario por cliente guiado por búsqueda	Monto promedio de transacción por usuario comprador.	GMV guiado por búsqueda ÷ UV de compradores guiados por búsqueda	Función de recopilación de datos; datos de comportamiento de compras; `bhv_type = buy`
Tasa de conversión de pedidos	Proporción de usuarios que realizaron una compra respecto al total de usuarios que visitaron páginas de resultados de búsqueda.	UV de compradores guiados por búsqueda ÷ Search UV	Función de recopilación de datos; datos de comportamiento de compras; `bhv_type = buy`
Tasa de clics a compra	Proporción de usuarios que realizaron una compra después de hacer clic en un resultado de búsqueda respecto al total de usuarios que hicieron clic en resultados de búsqueda.	UV de compradores guiados por búsqueda ÷ IPV_UV	Función de recopilación de datos; datos de comportamiento de compras; `bhv_type = buy`

Métricas de análisis de usuarios

Las métricas de análisis de usuarios ofrecen una visión de la participación a largo plazo y la pérdida de usuarios.

Métrica	Definición	Fórmula	Dependencia
Tasa de retención al día siguiente	Proporción de usuarios que buscaron en dos días consecutivos respecto a los usuarios que buscaron el día anterior.	Intersección de Search UV(t-1) y Search UV(t) ÷ Search UV(t-1)	`user_id` en solicitudes de búsqueda
Tasa de usuarios perdidos	Proporción de usuarios que visitaron páginas de resultados de búsqueda pero nunca hicieron clic en ningún elemento. Una tasa alta sugiere una baja calidad de recuperación o clasificaciones irrelevantes.	(Search UV − IPV_UV) ÷ Search UV	Función de recopilación de datos; datos de comportamiento de clics; `user_id`