實驗是流量分配的核心單元,包含多個可靈活配置流量佔比的實驗版本,確保所有版本的流量佔比總和為100%。每個版本可設定多個參數,根據流量分配策略,每個請求將被路由到特定的實驗版本,從而擷取相應的參數。實驗具有明確的生命週期管理,包括開始和結束時間,並支援白名單功能,確保特定使用者直接參与實驗。本文為您介紹如何建立和管理實驗。
前提條件
建立實驗
登入PAI控制台,在頁面上方選擇目標地區,並在右側選擇目標工作空間,然後單擊進入ABTest。
在A/B實驗(ABTest)頁面的左側導覽列中,選擇,然後在右側頁面,單擊建立實驗。
在建立實驗頁面,配置以下參數。
在基本資料設定精靈頁面,配置以下參數,參數配置完成後單擊下一步。
參數
描述
名稱
自訂實驗名稱。
描述
為該實驗添加一些詳細說明,用於區分不同的實驗。
實驗專案
在下拉式清單中,選擇已建立的實驗專案。如果沒有可選的實驗專案,您可以單擊建立專案進行建立。
實驗層
選擇實驗專案後,才能選擇實驗層。在下拉式清單中,選擇已建立的實驗層。如果沒有可選的實驗層,您可以單擊建立實驗層進行建立。
流量分配
實驗流量佔比,取值範圍為0%~100%,表示佔據實驗層流量的百分比。
實驗周期
選擇實驗的開始日期和結束日期。
實驗人群
實驗白名單設定:
您可以手動輸入分流使用者的UID,輸入完成後按下斷行符號鍵。支援輸入單個使用者或多個使用者,且多個使用者之間以半形逗號(,)分隔,例如
UID1,UID2。您也可以在下拉式清單中選擇已建立的人群,如果沒有可選的人群,您可以單擊建立人群進行建立。
在實驗配置嚮導頁面,配置以下參數,參數配置完成後單擊下一步。
在此頁面,您最多可配置5個版本,包括1個對照版本和最多4個實驗版本。您可以為每個版本設定流量佔比和實驗參數,如下表所示:
參數
描述
流量分配
選中均勻分配複選框,配置的版本將均分實驗流量。
版本配置
流量佔比
佔據整體實驗流量的百分比。
版本名稱
實驗版本的名稱。
版本描述
為版本添加一些詳細說明,用於區分不同的版本。
實驗人群
實驗白名單設定:
您可以手動輸入分流使用者的UID,輸入完成後按下斷行符號鍵。支援輸入單個使用者或多個使用者,且多個使用者之間以半形逗號(,)分隔,例如
UID1,UID2。您也可以在下拉式清單中選擇已建立的人群,如果沒有可選的人群,您可以單擊建立人群進行建立。
參數配置
您可以配置多個實驗參數。首先在對照版本中添加參數並設定參數類型,之後相同的實驗參數和類型將自動出現在其餘實驗版本中。您需要在每個版本中設定參數值,以比較不同參數值的效果差異。
在實驗指標設定精靈頁面,配置核心指標和關注指標。
支援選擇1個核心指標並配置多個關注指標,實驗報告將會顯示這些指標在不同實驗版本上的資料差異。您也可以不選擇任何指標。
單擊完成,即可在實驗列表中看到已建立的實驗,此時的實驗狀態為準備中。
管理實驗
實驗建立成功後,您可以在實驗列表中查看並管理已建立的實驗。
查看實驗詳情
單擊目標實驗名稱,進入實驗詳情頁面,查看實驗的基本資料和實驗報告:
在基本資料頁簽,查看實驗的基本資料和實驗版本相關參數。您也可以單擊編輯按鈕修改配置。
在實驗報告頁簽,查看實驗報告。
啟動實驗
實驗初始狀態為準備中,您需要按照以下操作步驟啟動實驗:
單擊目標實驗操作列下的啟動。
在提示對話方塊中,單擊確定,實驗狀態將根據目前時間自動變更為運行中、待運行或已停止。
如果目前時間在實驗的開始和結束時間內,實驗狀態將變為運行中。
如果目前時間在實驗開始時間之前,實驗狀態將變為待運行。實驗開始後,系統將自動將狀態變更為運行中。
如果目前時間在實驗結束時間之後,實驗狀態將變為已停止。
複製實驗
在原始實驗操作列下單擊複製,建立一個新的實驗,複用原始實驗的配置。
刪除實驗
僅非運行中狀態的實驗支援刪除操作。單擊目標實驗操作列下的刪除,刪除無用的實驗。
刪除實驗後不可恢複,請謹慎操作。
相關文檔
建立並啟動實驗後,您可以定期查看實驗報告,詳情請參見查看實驗報告。