全部產品
Search
文件中心

Artificial Intelligence Recommendation:切流與效果觀察

更新時間:Jul 13, 2024

在切入正式流量前需要注意以下幾點:

1、保證切流的隨機性;

2、避免其他流量的摻雜,控制變數對比效果。

3、由於推薦返回的結果是根據某個user_id的感興趣程度從高到低返回,所以不要推薦結果做重排序等操作。

4、預留QPS及彈性計費說明

5、區分流量埋點是根據電商行業中的trace_id欄位進行區分,切到智能推薦的流量則(trace_id=Alibaba)、您自行營運/自研那部分流量(trace_id=selfhold)。如果您有明確的邏輯區分,可以把您營運/自有的演算法等方式可以通過上報不同的trace_id值進行區分。

6、可根據執行個體儀錶盤對比智能推薦的效果變化,以及通過情境報表對比智能推薦和您自研的推薦效果。

如果您是先啟動執行個體後再推送增量行為資料:

建議積累1-2周的行為資料後再觀察推薦效果。

如果您是通過歷史資料啟動執行個體,且確保資料可用性顯示正常

則可於次日觀察推薦效果。

一、概念解釋

trace_id: 對應的是電商行業行為資料中的trace_id欄位,用於區分回傳的行為是Alibaba智能推薦產生的流量,還是使用者自研系統產生的流量。trace_id具體使用方式見 官檔-資料規範-trace_id欄位含義。

跨渠道使用者:即出現在多個桶中的使用者指標,為保證推薦效果的可對比性,需要隨機切分使用者流量,且避免使用者混合訪問雙方流量,因此此指標應該為0。

舉例說明:一個user_id=1的使用者,回傳了兩條行為資料,bhv_type均為expose,但是trace_id分別為Alibaba和selfhold,則我們判斷,user_id=1的使用者,看到的推薦結果,兩次分別是自研系統推薦以及阿里推薦系統推薦,則該使用者跨渠道了。

scene_id:對應的是行為資料中的scene_id欄位。

二、執行個體儀錶盤

通過執行個體儀錶盤可以查看智能推薦的效果,方便跟過去做對比以及及時瞭解業務資料狀況。執行個體儀錶盤

I 使用者維度指標

當您進入執行個體儀錶盤功能後,預設展示如上圖的使用者維度指標。

指標釋義:

PV_CTR:Click-Through-Rate)即點擊通過率,計算公式:總點擊數/總曝光數。(不去重)

UV_CTR:基於使用者的點擊率,計算公式:有點擊使用者/總瀏覽使用者。

PV_CVR(轉化率): 購買次數/點擊次數。

UV_CVR(轉化率):購買使用者數/點擊使用者數活躍item數:統計時間內產生過行為的商品總數。

日環比: 該值和前一日取值對比。

周同比: 該值和上周同一日取值對比。

最高: 查詢時間段內最大取值。

最低: 查詢時間段內最小取值。

均值: 查詢時間段內,所有天的平均值。

日活使用者:一天回傳有行為的使用者數。

月活使用者:三十天內回傳有行為的使用者數

II 商品維度指標

點擊此處可以查看當前執行個體的商品維度指標。商品維度2您可以在此處查看不同情境下觸發使用者行為的商品類型分布:商品類型以及觸發使用者行為的商品一級類目/二級類目分布情況:類目分布

III 自訂分析指標

在您選定好期望分析的指標後,點擊“開始分析”。開始分析

三、情境報表

如果您的情境是在控制台進行建立的,可以在這裡查看每個情境的效果指標。

通過情境報表可以查看這個情境的各項指標如:點擊率、轉化率、使用者活躍度、整體流量規模、流量轉化率、人均流量。

可以勾選出您內部營運的那部分流量(trace_id=selfhold),來查看效果,與智能推薦(trace_id=Alibaba)這邊的效果進行對比。情境報表

指標:

整體流量規模中指標如下:

曝光pv:客戶回傳行為中變數(傳入查詢的指定日期)的曝光次數總計。

點擊pv:客戶回傳行為中變數(傳入查詢的指定日期)的點擊次數總計。

收藏pv:客戶回傳行為中變數(傳入查詢的指定日期)的收藏次數總計。

分享pv: 客戶回傳行為中變數(傳入查詢的指定日期)的分享次數總計。

評論pv:客戶回傳行為中變數(傳入查詢的指定日期)的評論次數總計曝光uv:客戶回傳行為中變數(傳入查詢的指定日期)的曝光人數總計。

點擊uv:客戶回傳行為中變數(傳入查詢的指定日期)的點擊人數總計。

收藏uv:客戶回傳行為中變數(傳入查詢的指定日期)的收藏人數總計。

分享uv: 客戶回傳行為中變數(傳入查詢的指定日期)的分享人數總計。

評論uv:客戶回傳行為中變數(傳入查詢的指定日期)的評論人數總計。