人工智能平台 PAI：召回配置

2.1 算法原理

DSSM（Deep Structured Semantic Model）是深度双塔模型，将用户和物品分别编码为固定维度的向量，通过向量相似度进行召回。

    User Features         Item Features
         |                     |
   ┌─────┴──────┐        ┌─────┴─────┐
   │ User Tower │        │ Item Tower│
   │  (DNN)     │        │  (DNN)    │
   └─────┬──────┘        └─────┬─────┘
    user_embedding         item_embedding
         └──── dot product ────┘
               Match Score

2.2 核心优势

2.3 关键配置参数

2.4 Embedding 维度计算策略

embed_dim_policy 用于自动计算离散特征的 Embedding 维度，假设特征枚举数为 N：

计算示例（假设特征枚举数 N = 10000）：

• EMB_SQRT4_STEP4: round(10000^0.25 / 4) × 4 = round(10 / 4) × 4 = 8

• EMB_LN_STEP4: round(ln(10000) / 4) × 4 = round(9.21 / 4) × 4 = 8

2.5 TorchEasyRec 环境下的 DSSM 特性

在 TorchEasyRec 环境下，DSSM 具备以下特性：

负采样配置：

{
    "negative_sampler": {
        "sampler_type": "negative_sampler",
        "num_sample": 1024
    }
}

负采样对向量召回至关重要，通过动态采样负样本提升模型区分能力。

2.5 TorchEasyRec 在线服务架构

TorchEasyRec 服务组件：

• FG 编码：保证离线/在线特征一致性

• User Tower：Torch ScriptModule 实时推理用户向量

• FAISS 索引：CPU 即可高效检索（部署在 PAI-EAS CPU 机型）

• TorchEasyRec Processor：easyrec-torch-{version} ，参考版本列表

部署配置示例：

{
  "processor": "easyrec-torch-1.12",
  "model_config": {
    "fg_mode": "normal",
    "faiss_neigh_num": 500,
    "faiss_nprobe": 1000,
    "steady_mode": true,
    "period": 2880
  }
}

3.1 全局热门召回

原理：基于全站用户行为统计，返回全局最热门的物品。

计算公式：

$$hot\_score=\Sigma (behavior\_weight\times decay(time))$$

适用场景：

• 新用户冷启动（无历史行为）

• 兜底召回策略

• 热门内容分发

配置要点：

3.2 用户分组热门召回

原理：将用户按属性（性别、年龄段、地域等）分组，统计各组内的热门物品。

适用场景：

• 猜你喜欢首页

• 不同人群偏好差异大的场景

优势：

• 相比全局热门更个性化

• 实现简单，无需用户历史行为

3.3 物品分组热门召回

原理：按物品属性（类目、标签等）分组，统计各组内的热门物品。

适用场景：

• 详情页相关推荐，当协同过滤等算法得到的相关物品不够时（下面的ETrec I2I 召回），用分组热门补全

• 基于当前物品的同类热门推荐

4.1 ETrec U2I 召回

参考文档：协同过滤etrec

原理：基于物品的协同过滤算法（Item-based CF）。通过统计用户-物品交互行为，计算物品之间的共现相似度，为用户推荐与其历史交互物品相似的其他物品。

核心特点：

• 支持实时行为触发（U2I Trigger）

• 时间衰减：近期行为权重更高

• 多行为融合：点击、收藏、加购等行为加权

关键配置：

4.2 ETrec I2I 召回

原理：基于物品的协同过滤，计算物品之间的相似度。

适用场景：

• 相关推荐（看了又看）

• 详情页相似物品推荐

相似度计算：

• 基于共现：两个物品被同一用户交互的次数

• 基于向量：物品 Embedding 的余弦相似度

4.3 Swing U2I 召回

参考文档：Swing算法工具

原理：改进的协同过滤算法，通过用户-物品二部图的 Swing 结构计算相似度。

核心思想：

• 如果两个物品被大量共同用户交互，则它们相似

• 引入用户活跃度惩罚：活跃用户权重降低

优势：

• 缓解热门物品过度推荐问题

• 发现长尾物品的关联关系

4.4 SimRank U2I 召回

参考文档：SimRank++相似度计算算法

⚠️ 资源提示：SimRank 计算涉及多次迭代和全图随机游走，资源消耗较大。建议使用 MaxCompute 包月资源以降低成本。

原理：基于图结构的相似度算法，通过随机游走计算节点相似度。

核心思想：

• 如果两个用户交互的相似物品多，则他们相似

• 如果两个物品被相似的用户交互，则它们相似

适用场景：

• 用户行为稀疏的场景

• 需要挖掘间接关联关系

特点：

• 迭代计算，收敛较慢

• 能捕捉多跳关联

5.1 为什么要分场景？

不同场景的用户意图和推荐目标不同，需要采用不同的召回策略：

5.2 猜你喜欢场景

适用算法：

• DSSM 向量召回：核心算法，深度个性化

• ETrec U2I：基于用户历史行为的协同过滤

• Swing U2I：发现长尾兴趣

• SimRank U2I：挖掘间接关联

• 用户分组热门：冷启动兜底

配置特点：

• 强调用户个性化

• 多路召回融合

• 多样性控制

5.3 相关推荐场景

适用算法：

• ETrec I2I：基于物品相似度的协同过滤

• 物品分组热门：同类目热门推荐

• DSSM 向量召回：语义相似度匹配

配置特点：

• 以当前物品为触发

• 强调内容相关性

• 同类目/同主题优先

5.4 算法-场景映射表

6.1 按业务阶段选型

6.2 多路召回融合

生产环境通常采用多路召回策略：

融合策略：

• 加权融合：各路召回设置不同权重

• 去重融合：按物品 ID 去重，保留最高得分

• 配额融合：每路召回固定配额数量