PAI-Rec相关产品的开通及服务初始化 - 智能推荐AIRec

首次使用PAI-Rec搭建推荐系统时，需要购买PAI-Rec实例并配置初始环境。

选型说明

实例选型

初次接入PAI-Rec，建议在标准版实例基础上购买推荐方案定制功能，在熟悉之后再购买运营工具功能：

推荐方案定制可自定义特征工程、召回策略和精排策略等环节，更加灵活高效地配置推荐系统；
运营工具能够提升运营效率和推荐效果的可控性。

云产品资源选型

搭建PAI-Rec推荐方案需要使用多个云产品，不同业务所需的云产品资源不同。

依赖云产品（单击查看详情）

云产品	作用	需要配置的云资源
建模
对象存储OSS	用于存储模型的checkpoint、saved model文件和模型配置文件等。	创建OSS Bucket。说明请勿开启版本控制功能。
云原生大数据计算服务MaxCompute	用于数据清洗、特征工程和准备训练样本。	创建MaxCompute项目。如果需要使用PAI-DLC训练模型，请开通数据传输服务。
人工智能平台PAI	PAI不仅作为PAI-Rec推荐开发平台的入口，还包含FeatureStore特征平台关联功能，还可以用于模型训练、导出模型、模型评估等功能。	创建PAI工作空间。说明由于PAI和DataWorks的工作空间在底层是打通的，所以创建PAI工作空间后，在DataWorks也会自动生成一个同名的工作空间。您也可以手动创建一个DataWorks工作空间。
大数据开发治理平台DataWorks	用于数据清洗、特征工程、模型训练和评估、更新模型和同步数据到线上存储，调度所有的离线数据生产任务、模型训练和评估任务等。	创建工作空间，强烈建议选择简单模式，简单模式在生产任务调度执行上更简单。主要DataWorks的数据源要绑定MaxCompute计算资源新增调度并绑定到DataWorks工作空间选择按量计费的调度资源组，当执行Python和Shell脚本任务的时候，可选择最新版dataworks_pairec_task_pod镜像，pod包含eascmd64和PAI-FeatureStore Python SDK。
引擎
实时数仓Hologres实例ID与数据库	实时特征存储引擎。可以和FeatureDB搭配使用，例如，用Hologres存储向量召回、用户曝光数据和u2i2i的trigger数据；用FeatureDB存放用户和物品的离线特征和实时特征。	购买Hologres实例，并创建数据库。
是否使用PAI-FestureStore	实时特征存储引擎。	配置FeatureStore项目。创建在线数据源。
云数据库Redis实例ID	存储兜底数据。可用PAI-FeatureStore中的FeatureDB替代。	创建实例。
PAI-EAS资源组	部署推荐系统的引擎，用于串联召回、过滤、粗排、精排、重排等流程。部署向量召回的用户侧向量推理服务、粗排和精排的模型打分服务。	资源配置。
监控及其他
日志服务SLS	用户可使用SLS服务管理请求日志。	创建项目Project。
数据总线DataHub Project	用于实时日志回流，持续更新用户行为，用于模型训练。建议优先使用DataHub。	创建项目
消息队列Kafka实例ID资源组	用于实时日志回流，持续更新用户行为，用于模型训练。建议优先使用DataHub。	购买和部署实例。
Flink VVP流式服务	实时数据处理与实时特征统计，统计结果可写入特征数据库FeatureDB。	开通实时计算Flink版。

选型方案建议

根据推荐系统的复杂度的建议（单击查看详情）

说明

推荐系统的召回、过滤、模型、重排的复杂度，和业务需求有很大的关系，因此我们把推荐系统划分为初期、中期、追求效果提升、运营干预。

阶段划分	说明	召回模型建议	排序和重排建议
初期	使用推荐方案定制搭建整个推荐链路（参考PAI-Rec推荐算法定制的最佳实践文档）	使用协同过滤etrec、Swing算法工具、分组热门等。使用特征数据库FeatureDB来存储用户曝光过滤数据、召回数据，以及特征数据。	通过特征配置（注意使用实时序列特征）、排序配置，设置单目标的多塔模型，推理速度快效果比较好，同时节约PAI-EAS的资源；使用多样性重排配置。
中期	增加向量召回、多目标排序模型	增加向量召回，物品索引可以不更新，把索引存储到processor内部（参考TorchEasyRec Processor的Faiss索引部分）	针对点击、购买、点赞等多种模型预测目标，使用多目标排序模型DBMTL
业务需快速感知物品的变化	对物品做冷启动；物品的实时特征快速反馈到模型排序中	物品冷启动算法，推荐冷启动解决方案	新建推荐方案定制，在特征配置中设置实时统计，然后到PAI-FeatureStore中新建特征视图，新建模型特征，导出新的训练样本，训练新的模型。
运营干预	针对不同用户、不同物品类目设置曝光占比；对新物品设置曝光保量

其他建议（单击查看详情）

PAI-EAS：在业务高峰期配置定时扩容，同时配置自动缩容保证到业务低峰期收缩资源。可考虑预付费资源和弹性扩缩容资源相结合。

前提条件

本文以离线建模场景为例进行说明，该场景需要使用以下云产品资源。更多其他云产品资源详情，请参见云产品资源选型。

购买PAI-Rec实例并配置云产品

在实例购买页面，设置地域、推荐方案定制、运营工具和购买时长，单击立即购买，确认订单并完成支付。
在PAI-Rec管理控制台，切换至目标地域后，单击左侧导航栏的系统配置 > 云产品配置。
在建模页签下，单击编辑，分别选择已创建的云产品资源，然后单击退出。
引擎和监控及其他页签下的参数配置同理，请先配置对应的云资源，然后在PAI-Rec侧进行关联配置。

为什么需要用云账号（主账号）访问云产品配置？

为什么需要用云账号（又称主账号，主账号是相对于RAM账号来说的，参考快速入门：创建RAM用户并授权）访问系统配置 > 云产品配置？因为在配置云产品配置的时候，需要开通PAI-Rec相关的各种产品，包括PAI、DataWorks、MaxCompute、OSS、Flink、PAI-FeatureStore、MaxCompute的数据传输服务等等产品，并且要在相关产品中创建项目或者工作空间，还要把PAI-Rec的服务关联角色（aliyunserviceroleforpairec）加入到相关的项目或者空间中。一旦没有成功地把aliyunserviceroleforpairec角色加入到相关项目和空间中，就容易造成后续操作因缺少权限而报错。