PAI-Rec相關產品的開通及服務初始化 - Artificial Intelligence Recommendation

首次使用PAI-Rec搭建推薦系統時，需要購買PAI-Rec執行個體並配置初始環境。

選型說明

執行個體選型

初次接入PAI-Rec，建議在標準版執行個體基礎上購買推薦方案定製功能，在熟悉之後再購買營運工具功能：

推薦方案定製可自訂特徵工程、召回策略和精排策略等環節，更加靈活高效地配置推薦系統；
營運工具能夠提升營運效率和推薦效果的可控性。

雲產品資源選型

搭建PAI-Rec推薦方案需要使用多個雲產品，不同業務所需的雲產品資源不同。

依賴雲產品（單擊查看詳情）

雲產品	作用	需要配置的雲資源
建模
Object Storage Service	用於儲存模型的checkpoint、saved model檔案和模型設定檔等。	建立OSS Bucket。說明請勿開啟版本控制功能。
雲原生MaxCompute	用於資料清洗、特徵工程和準備訓練樣本。	建立MaxCompute專案。如果需要使用PAI-DLC訓練模型，請開通Data Transmission Service。
人工智慧平台PAI	PAI不僅作為PAI-Rec推薦開發平台的入口，還包含FeatureStore特徵平台關聯功能，還可以用於模型訓練、匯出模型、模型評估等功能。	建立PAI工作空間。說明由於PAI和DataWorks的工作空間在底層是打通的，所以建立PAI工作空間後，在DataWorks也會自動產生一個同名的工作空間。您也可以手動建立一個DataWorks工作空間。
巨量資料開發治理平台DataWorks	用於資料清洗、特徵工程、模型訓練和評估、更新模型和同步資料到線上儲存，調度所有的離線資料生產任務、模型訓練和評估任務等。	建立工作空間，強烈建議選擇簡單模式，簡單模式在生產任務調度執行上更簡單。主要DataWorks的資料來源要綁定MaxCompute計算資源新增調度並綁定到DataWorks工作空間選擇隨用隨付的調度資源群組，當執行Python和Shell指令碼任務的時候，可選擇最新版dataworks_pairec_task_pod鏡像，pod包含eascmd64和PAI-FeatureStore Python SDK。
引擎
即時數倉Hologres執行個體ID與資料庫	即時特徵儲存引擎。可以和FeatureDB搭配使用，例如，用Hologres儲存向量召回、使用者曝光資料和u2i2i的trigger資料；用FeatureDB存放使用者和物品的離線特徵和即時特徵。	購買Hologres執行個體，並建立資料庫。
是否使用PAI-FestureStore	即時特徵儲存引擎。	配置FeatureStore專案。建立線上資料來源。
KVStore for Redis執行個體ID	儲存兜底資料。可用PAI-FeatureStore中的FeatureDB替代。	建立執行個體。
PAI-EAS資源群組	部署推薦系統的引擎，用於串聯召回、過濾、粗排、精排、重排等流程。部署向量召回的使用者側向量推理服務、粗排和精排的模型打分服務。	資源配置。
監控及其他
Log ServiceSLS	使用者可使用SLS服務管理請求日誌。	建立專案Project。
資料匯流排DataHub Project	用於即時日誌迴流，持續更新使用者行為，用於模型訓練。建議優先使用DataHub。	建立專案
訊息佇列Kafka執行個體ID資源群組	用於即時日誌迴流，持續更新使用者行為，用於模型訓練。建議優先使用DataHub。	購買和部署執行個體。
Flink VVP流式服務	即時資料處理與即時特徵統計，統計結果可寫入特徵資料庫FeatureDB。	開通Realtime ComputeFlink版。

選型方案建議

根據推薦系統的複雜度的建議（單擊查看詳情）

說明

推薦系統的召回、過濾、模型、重排的複雜度，和業務需求有很大的關係，因此我們把推薦系統劃分為初期、中期、追求效果提升、營運幹預。

階段劃分	說明	召回模型建議	排序和重排建議
初期	使用推薦方案定製搭建整個推薦鏈路（參考PAI-Rec推薦演算法定製的最佳實務文檔）	使用協同過濾etrec、Swing演算法工具、分組熱門等。使用特徵資料庫FeatureDB來儲存使用者曝光過濾資料、召回資料，以及特徵資料。	通過特徵配置（注意使用即時序列特徵）、排序配置，設定單目標的多塔模型，推理速度快效果比較好，同時節約PAI-EAS的資源；使用多樣性重排配置。
中期	增加向量召回、多目標排序模型	增加向量召回，物品索引可以不更新，把索引儲存到processor內部（參考TorchEasyRec Processor的Faiss索引部分）	針對點擊、購買、點贊等多種模型預測目標，使用多目標排序模型DBMTL
業務需快速感知物品的變化	對物品做冷啟動；物品的即時特徵快速反饋到模型排序中	物品冷啟動演算法，推薦冷啟動解決方案	建立推薦方案定製，在特徵配置中設定即時統計，然後到PAI-FeatureStore中建立特徵視圖，建立模型特徵，匯出新的訓練樣本，訓練新的模型。
營運幹預	針對不同使用者、不同物品類目設定曝光佔比；對新物品設定曝光保量

其他建議（單擊查看詳情）

PAI-EAS：在業務高峰期配置定時擴容，同時配置自動縮容保證到業務低峰期收縮資源。可考慮預付費資源和彈性擴縮容資源相結合。

前提條件

本文以離線建模情境為例進行說明，該情境需要使用以下雲產品資源。更多其他雲產品資源詳情，請參見雲產品資源選型。

購買PAI-Rec執行個體並配置雲產品

在執行個體購買頁面，設定地區、推薦方案定製、營運工具和購買時間長度，單擊立即購買，確認訂單並完成支付。
在PAI-Rec管理主控台，切換至目標地區後，單擊左側導覽列的系統配置 > 雲產品配置。
在建模頁簽下，單擊編輯，分別選擇已建立的雲產品資源，然後單擊退出。
引擎和監控及其他頁簽下的參數配置同理，請先配置對應的雲資源，然後在PAI-Rec側進行關聯配置。

為什麼需要用雲帳號（主帳號）訪問雲產品配置？

為什麼需要用雲帳號（又稱主帳號，主帳號是相對於RAM帳號來說的，參考快速入門：建立RAM使用者並授權）訪問系統配置 > 雲產品配置？因為在配置雲產品配置的時候，需要開通PAI-Rec相關的各種產品，包括PAI、DataWorks、MaxCompute、OSS、Flink、PAI-FeatureStore、MaxCompute的Data Transmission Service等等產品，並且要在相關產品中建立專案或者工作空間，還要把PAI-Rec的服務關聯角色（aliyunserviceroleforpairec）加入到相關的專案或者空間中。一旦沒有成功地把aliyunserviceroleforpairec角色加入到相關項目和空間中，就容易造成後續操作因缺少許可權而報錯。