全部产品
Search
文档中心

智能开放搜索 OpenSearch:A/B测试报表

更新时间:Dec 13, 2023

说明

目前OpenSearch对A/B Test进行的数据统计指标包括:核心指标,流量指标,行为指标,成交指标,用户分析指标,五个维度:

核心指标

指标名

定义

计算公式

依赖

意义

搜索PV

PageView:发送搜索请求且成功的次数(翻页也属于搜索请求)

每发送一个搜索请求返回成功记1

当日进行搜索(且搜索成功)的次数

搜索UV

UserView:访问过搜索结果页的用户数

同一个用户无论访问多少次都只记1

依赖通过SDK/API搜索时,搜索请求设置user_id参数

当日进行搜索的用户数

翻页率

翻页请求占搜索PV的比例

翻页请求PV/搜索PV

翻页请求占总搜索PV的比例,衡量搜索召回、排序的效果

无结果率

返回的Item数为0的比例

返回的item数为0的搜索PV/搜索PV

搜索无结果的比例,衡量搜索召回效果/内容丰富度

PV-CTR

每次搜索的点击率

IPV/搜索PV

依赖开通数据采集功能,并且上传了用户点击行为数据

搜索结果的点击情况,衡量搜索召回、排序的效果

UV-CTR

点击用户率

IPV_UV/搜索UV

依赖开通数据采集功能,并且上传了用户点击行为数据

用户对搜索结果的点击情况,衡量搜索召回、排序的效果

TOP5 PV-CTR

前五位Item的点击率(不计翻页后的点击)

前五位Item的IPV/搜索PV

依赖开通数据采集功能,并且上传了用户点击行为数据

前五个Item的点击情况,衡量搜索排序效果

人均搜索PV

访问搜索的用户平均搜索成功的次数

搜索PV/搜索UV

依赖通过SDK/API搜索时,搜索请求设置user_id参数

用户平均搜索次数,搜索次数多一方面体现用户对搜索感兴趣,另一方面体现用户无法通过较少的搜索满足需求

次日留存率

搜索用户第二天仍进行搜索的用户占比

UV(t-1)∩UV(t)/UV(t-1)

依赖通过SDK/API搜索时,搜索请求设置user_id参数

反映用户搜索粘性

流量指标

指标名

定义

计算公式

依赖

意义

搜索PV

PageView:发送搜索请求且成功的次数(翻页也属于搜索请求)

每发送一个搜索请求返回成功记1

当日进行搜索(且搜索成功)的次数

搜索UV

UserView:访问过搜索结果页的用户数

同一个用户无论访问多少次都只记1

依赖通过SDK/API搜索时,搜索请求设置user_id参数

当日进行搜索的用户数

人均搜索PV

访问搜索的用户平均搜索成功的次数

搜索PV/搜索UV

依赖通过SDK/API搜索时,搜索请求设置user_id参数

用户平均搜索次数,搜索次数多一方面体现用户对搜索感兴趣,另一方面体现用户无法通过较少的搜索满足需求

Item曝光次数

Item(搜索结果页面上的商品/内容)的展现次数。在翻页或者加载的过程中,如果结果重复出现在第二页算一个新的曝光PV,结果不去重

如果开通数据采集功能并上传了曝光数据,则每次曝光记1否则,记每次返回的Item数

依赖开通数据采集功能,并且上传了用户曝光行为数据/也可不开通或上传,但数据准确度降低

当日搜索结果的曝光次数

Query数

所有用户搜索的Query按用户去重后的结果

用户搜索的去重Query数总和两个用户搜索了同一Query记2

依赖通过SDK/API搜索时,搜索请求设置user_id参数如果搜索请求中设置了raw_query,则使用raw_query;否则采用名字是default索引上的value作为query,如果没有default索引,则query全是空

用户搜索的Query总数(减小翻页、重复搜索的影响)

人均Query数

人均搜索的去重Query数

Query数/搜索UV

依赖通过SDK/API搜索时,搜索请求设置user_id参数

人均搜索的Query数(减小翻页、重复搜索的影响)

独立Query数

所有用户搜索的独立Query数量

用户搜索的所有Query去重后的数量,多个用户搜索同一Query记1

依赖通过SDK/API搜索时,搜索请求设置raw_query参数/或无需设置如果搜索请求中设置了raw_query,则使用raw_query;否则采用名字是default索引上的value作为query,如果没有default索引,则query全是空

反映Query的丰富度

翻页率

翻页请求占搜索PV的比例

翻页请求PV/搜索PV

翻页请求占总搜索PV的比例,衡量搜索召回、排序的效果

无结果率

返回的Item数为0的比例

返回的item数为0的搜索PV/搜索PV

搜索无结果的比例,衡量搜索召回效果/内容丰富度

少结果率

返回的Item数小于等于5的比例

返回的item数小于等于5的搜索PV/搜索PV

搜索少结果的比例,衡量搜索召回效果/内容丰富度

请求报错次数

发送搜索请求但因为被限流等原因请求报错的次数

每请求报错一次记1

反映应用是否需要扩容或进行其他调整

请求报错率

发送搜索请求但因为被限流等原因请求报错的比例

请求报错次数/(搜索PV+请求报错次数)

反映应用是否需要扩容或进行其他调整

行为指标

指标名

定义

计算公式

依赖

意义

IPV

ItemPageView。Item点击次数

每点击一次记1

依赖开通数据采集功能,并且上传了用户点击行为数据

搜索结果的点击次数

IPV_UV

在搜索结果页中点击了Item的用户数

同一个用户无论点击多少次都只记1

依赖开通数据采集功能,并且上传了用户点击行为数据(注:上传数据时需要指定user_id参数)

搜索结果的点击用户数

人均IPV

搜索用户平均从搜索页面中点击商品的次数。

IPV/搜索UV

依赖开通数据采集功能,并且上传了用户点击行为数据(注:上传数据时需要指定user_id参数)

搜索结果的人均点击次数

PV-CTR

每次搜索的点击率

IPV/搜索PV

依赖开通数据采集功能,并且上传了用户点击行为数据

搜索结果的点击情况,衡量搜索召回、排序的效果

UV-CTR

点击用户率

IPV_UV/搜索UV

依赖开通数据采集功能,并且上传了用户点击行为数据

用户对搜索结果的点击情况,衡量搜索召回、排序的效果

Item-CTR

Item(搜索结果页面上的商品/内容)点击率

IPV/Item曝光次数

依赖开通数据采集功能,并且上传了用户点击行为数据

搜索结果的点击情况,衡量搜索召回、排序的效果

有点击PV占比

有点击的PV占比

有点击的搜索PV/搜索PV

依赖开通数据采集功能,并且上传了用户点击行为数据

搜索结果的点击情况,衡量搜索召回、排序的效果

TOP3 PV-CTR

前三位Item的点击率(不计翻页后的点击)

前三位Item的IPV/搜索PV

依赖开通数据采集功能,并且上传了用户点击行为数据

前三个Item的点击情况,衡量搜索排序效果

TOP5 PV-CTR

前五位Item的点击率(不计翻页后的点击)

前五位Item的IPV/搜索PV

依赖开通数据采集功能,并且上传了用户点击行为数据

前五个Item的点击情况,衡量搜索排序效果

TOP10 PV-CTR

前十位Item的点击率(不计翻页后的点击)

前十位Item的IPV/搜索PV

依赖开通数据采集功能,并且上传了用户点击行为数据

前十个Item的点击情况,衡量搜索排序效果

收藏数

由搜索直接引导的对商品进行收藏的次数

每收藏一次记1

依赖开通数据采集功能,并且上传了用户收藏(bhv_type=”collect”)行为数据

衡量搜索召回、排序效果和引导收藏效果

收藏转化率

收藏行为的转化率

收藏数/搜索PV

依赖开通数据采集功能,并且上传了用户收藏(bhv_type=”collect”)行为数据

衡量搜索召回、排序效果和引导收藏效果

加购数

由搜索直接引导的把商品加入购物车的次数

每加购一次记1

依赖开通数据采集功能,并且上传了用户加入购物车,加入书架,加入歌单(bhv_type=”cart”)行为数据

衡量搜索召回、排序效果和引导加购效果

加购转化率

加入购物车行为的转化率

加购数/搜索PV

依赖开通数据采集功能,并且上传了用户加入购物车,加入书架,加入歌单(bhv_type=”cart”)行为数据

衡量搜索召回、排序效果和引导加购效果

点赞数

由搜索直接引导的对商品进行点赞的次数

每点赞一次记1

依赖开通数据采集功能,并且上传了用户点赞(bhv_type=”like”)行为数据

衡量搜索召回、排序效果和引导点赞效果

点赞转化率

点赞行为的转化率

点赞数/搜索PV

依赖开通数据采集功能,并且上传了用户点赞(bhv_type=”like”)行为数据

衡量搜索召回、排序效果和引导点赞效果

评论数

由搜索直接引导的对商品进行评论的次数

每评论一次记1

依赖开通数据采集功能,并且上传了用户评论(bhv_type=”comment”)行为数据

衡量搜索召回、排序效果和引导评论效果

评论转化率

评论行为的转化率

评论数/搜索PV

依赖开通数据采集功能,并且上传了用户评论(bhv_type=”comment”)行为数据

衡量搜索召回、排序效果和引导评论效果

成交指标

指标名

定义

计算公式

依赖

意义

搜索引导GMV

由搜索直接引导的成交金额

成交金额的总和

依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据

衡量搜索召回、排序效果和引导购买效果

搜索引导成交UV

由搜索直接引导的有购买行为的用户数

同一个用户无论成交多少次都只记1

依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据(注:上传数据时需要指定user_id参数)

衡量搜索召回、排序效果和引导购买效果

搜索引导客单价

通过搜索直接引导成交的每个用户的平均成交额

搜索引导GMV/搜索引导成交UV

依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据

衡量搜索召回、排序效果和引导购买效果

下单转化率

搜索用户中有购买行为的用户占比

搜索引导成交UV/搜索UV

依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据

衡量搜索召回、排序效果和引导购买效果

点击成交率

有点击行为的用户中有购买行为的用户占比

搜索引导成交UV/IPV_UV

依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据

衡量搜索召回、排序效果和引导购买效果

用户分析指标

指标名

定义

计算公式

依赖

意义

次日留存率

搜索用户第二天仍进行搜索的用户占比

UV(t-1)∩UV(t)/UV(t-1)

依赖通过SDK/API搜索时,搜索请求设置user_id参数

反映用户搜索粘性

跳失用户率

指使用搜索的用户中没有点击的比例

(UV-IPV_UV)/搜索UV

依赖开通数据采集功能,并且上传了用户点击行为数据(注:上传数据时需要指定user_id参数)

衡量搜索召回、排序效果

使用介绍

  1. 单日数据默认展现最近一天各个数据指标的情况。可通过日期控件选择展示指标的日期。目前数据采集数据产出暂时为T+1天,上传行为数据后第二天才能查看报表。

  2. 数据对比以折线图的方式默认展现最近7天各个数据指标的变化。可通过日期控件选择展示指标的时间跨度。可通过点击图表中指标的icon勾选在图表中展示的指标项。

  3. 查看方法:点击导航栏“统计报表—->A/B测试报表”,选择应用、实验组、实验、指标类型及时间,查看统计图表。

1