一、目的
在完成AIRec智能推薦產品的前期接入以後，評估和確定產品可以帶來的效果提升，以及與目前自有人工定製/自研推薦策略的區別。
同時，您也可以使用AIRec產品擁有的策略營運工具達成您希望實現的業務效果，這些策略也可以通過AIRec內建的ABTest功能進行調優與效果評估。
二、評估指標
一般從業務提升角度來講，使用推薦演算法的目的為：
1、從海量商品中，聚焦到每個使用者，千人千面的篩選出符合每個使用者喜好的個人化內容，以提高使用者瀏覽意願；
2、推薦使用者感興趣的商品，提高使用者瀏覽粘度，避免使用者因看不到感興趣的東西而流失；
3、展示使用者可能感興趣，有購買意願的商品，吸引使用者點擊商品、瞭解詳情，進而吸引使用者購買，產生消費行為，提高使用者轉化率、提升銷量，等等。
因此，AIRec產品主要關注並著力提升的，主要包括以下幾個指標：
PV_CTR：即點擊通過率，計算公式：總點擊數/總曝光數。（不去重）
UV_CTR：基於使用者的點擊率，計算公式：有點擊使用者/總瀏覽使用者。
PV_CVR（轉化率）: 購買次數/點擊次數。
UV_CVR（轉化率）：購買使用者數/點擊使用者數
活躍item數：統計時間內產生過行為的商品總數。
GMV：一段時間內“購買數量*購買價格”的累加和。
基於我們的經驗，這些指標可以比較直接並真實的體現出當前業務情境下，使用者對推薦商品的感興趣程度和瀏覽意願以及購買意願，並以此為基礎評估推薦演算法和策略的合理性。
如您有其他指標的關注和提升需求，可聯絡我們。
相關文檔：切流與效果觀察
三、評估方式
AIRec與客戶自有策略對比：
如您希望評估AIRec與您自有的演算法/人工策略的差異，建議評估方式以ABtest對比方式為主，需設定兩組流量，兩組流量之間差距不宜太大且應保持一定量，針對兩組流量分別進行每天的PV_CTR、UV_CTR、PV_CVR、UV_CVR的指標統計，可分別做出折線圖查看效果指標提升或下降趨勢。
您可以在上傳行為資料時，將兩組流量的行為資料都上傳給我們，通過trace_id欄位標識該使用者屬於哪組流量，這樣就可以通過AIRec控制台的“效果分析”頁面直觀的看到AIRec產品與您自有的演算法/人工策略的各項指標之間的差異，更直觀的進行評估。
AIRec自身對比：
如您希望嘗試使用AIRec內建的策略調整與營運工具功能，並評估其帶來的效果，評估方式也以對比為主，不同的是需要對比相同情境、相同的其他策略下，調整某項策略前後不同時間的相同指標，例如本周與上周的效果對比，期間需確保其他策略等變數保持一致，才能得出可信的結果。
此外，對於演算法配置版執行個體，我們提供更方便的基於實驗平台的ABTest功能，您可以直接使用現成的ABTest平台對推薦策略、召回演算法配置進行調整和效果評估，通過給不同配置的實驗分配不同流量，同時觀察效果來獲得準確可信的效果資料。
四、評估範圍
資料範圍：
評估效果的資料範圍限定為APP中使用智能推薦的部分，比如使用智能推薦商品的tab、頁面、模組等位置，限定此位置的所有指標為對比資料來源
時間範圍：
如果是AIRec與人工/自研對比，需要同時進行分流觀察，並建議至少觀察一個月；如果是AIRec自身對比，建議以相同時間單元進行對比，比如前一周與後一周，並建議持續進行觀察，避免某些時效性事件產生的影響。
五、評估標準
為確保評估的準確性、真實可靠程度，需盡量滿足控制變數原則，讓演算法作為唯一變數，需要注意包括但不限於以下標準
1、確認物品池與基礎策略一致
兩側實驗組的物品池首先需要保持一致，是ABTest結果可信的基礎。
其次，例如打散、曝光過濾等基礎的展示策略需要保持一致。
2、確認埋點資料擷取口徑一致
進行效果對比時，需要確保資料擷取口徑完全一致，才能得出可信的對比結果。
如果需要使用歷史資料做不同時間段的對比，也需要確認使用推薦系統前後採集口徑是否一致，不一致的話需要明確原因，看是否可以做修正，亦或選擇上線推薦系統後自行做分流ABtest測試對比。
3、確保兩側流量分配的隨機性
效果對比時為了確保公平性，要確認流量分配的隨機性，避免把具有特定行為的使用者群體指定的放入某個對比組當中，應遵循隨機分配的原則，即使用者在實驗開始前是完全隨機的分配到實驗組中，並在後續不可再更改所屬的實驗組，直到實驗結束
此外，使用者數量也需要有一定規模，避免出現某個使用者的非常規行為影響了整個對比實驗準確性的情況，因此越多使用者參與得到的結果可信度越高。
4、確保對比實驗的情境、使用方式一致
例如首頁情境對比，需要在同一個位置內展示AIRec推薦的商品/非AIRec的其他策略推薦的商品。
同時需要注意基本營運策略一致，例如曝光過濾、多樣規則、是否只採用有圖商品等等，要確定AIRec演算法側的策略和其他對比實驗的策略是相同的。
六、調優方式
AIRec的推薦效果調優可以分為兩類方式，策略調優與演算法調優：
策略調優
策略調優指的是使用AIRec產品內建的策略配置與營運工具，對推薦結果進行調整或定製，一般用於達成某些業務效果或營運目的（如提升推薦結果多樣性、或對指定物品進行置頂、流量調控），提高客戶瀏覽體驗。
演算法調優
演算法調優指的是通過對AIRec推薦演算法的召回鏈路進行參數調整，從召回演算法層面對推薦出的結果進行調優，演算法調優依賴於實驗平台功能，目前僅演算法配置版執行個體可支援。
此外，如您有更個人化的演算法調優需求，也可以聯絡我們進一步溝通。
策略調優流程：
在AIRec智能推薦產品內，所有策略調優相關的功能點與流程如下：
1、執行個體層級：
執行個體層級的策略調整會在整個執行個體範圍內生效，包含所有情境。
策略配置：
位置：營運助手-策略配置
展示策略：可以設定疲勞度規則，如避免展示、點擊過的item短時間內重複推薦，以及使用者刷空內容後允許重複推薦等。
品控策略：可以針對每個單品分別進行上下架、加權、刪除、查看等操作。
參考文檔：
流量調控：
針對通過一定條件選定的一批物品，進行流量傾斜扶持（或打壓），讓這部分物品提升（或降低）曝光量、點擊率等，可用於優質商品/內容的扶持。
流量調控策略可作用於整個執行個體，也可作用在某個情境。
位置：營運助手-流量調控
參考文檔：
2、情境層級：
情境層級的策略調整，所有調整隻會在當前情境內生效
位置：營運助手-情境搭建-（某個指定情境的）配置
選品規則：在情境建立時選擇了“指定入圍條件選品”的方式時，可以利用此功能劃定當前情境推薦的物品的物品池，AIRec會即時動態重新整理合格item，您可以在此處修改篩選條件，以讓當前情境推薦的選品符合業務需求。
營運規則：可以定製調整當前情境的疲勞度規則、多樣性規則等策略，多樣性規則包括可以定製指定內容推薦比例，以及根據不同欄位的打散規則等。
相關文檔：
3、單次請求層級：
在控制台以外，您也可以針對每次請求的推薦結果進行定製，目前支援推薦過濾與置頂功能：
推薦過濾：
您可以通過item資料的某些欄位，對推薦結果進行篩選，用於在某些業務情境下，使用者想要看到指定條件的商品內容的需求
使用方式為請求推薦介面時，加上一個filter，詳見文檔：
置頂功能：
如果您有希望固定展示在靠前位置的內容，可以通過AIRec的置頂功能進行設定和實現。
您可以通過在擷取推薦結果時傳入參數來控制當前這次請求是否需要擷取置頂內容。
詳見文檔：
演算法調優流程（演算法配置版）：
在情境的基礎上，您可以在每個情境中獨立控制開啟實驗功能，支援您更進一步的針對召回演算法做定製化調整；每個情境之間的實驗功能相互獨立。
位置：線上實驗平台-實驗參數配置-（指定情境指定實驗的）詳情
ABTest實驗：在當前情境內，您可以分別建立不同的實驗，每個實驗內都可以設定一套不同的召回鏈路策略配置，然後給每個實驗分配流量，即可查看不同實驗配置對效果帶來的影響，通過不斷的對比找到最優的配置。
實驗流量桶：您可以分別把每個情境的流量按照指定規則分為10或20個流量桶，這些流量桶可以自由分配給不同實驗，可用於小批量測試不同策略的效果。
實驗配置：在每個實驗內，您可以針對各個召回鏈路及其子召回鏈路分別進行開關、參數、優先順序等定製，具體方式可查看文檔。
實驗建立等操作詳見參考文檔：
此外，如您有其他定製化演算法調優需求，可聯絡我們進行評估。
七、效果觀察
AIRec提供了上述“評估指標”當中的一系列報表可供您評估，在控制台“效果分析”處即可查看，詳見：切流與效果觀察
如您使用了AIRec演算法配置版的實驗平台功能，您同樣可以在實驗平台的“實驗效果分析”頁面看到上述指標在不同實驗之間的對比圖表，可以方便的評估各個實驗的效果，詳見：實驗效果分析