Artificial Intelligence Recommendation：重排配置

如何配置

重排的配置對應配置總覽中的 SortConfs，SortConfs 是一個 []object 結構，可以配置多個重排策略，目前 PAI-Rec 內建的有 BoostScoreSort、BoostScoreByWeight、ItemRankScore、DiversityRuleSort、DPPSort 和 MultiRecallMixSort。

重排公用配置一覽

每種重排配置，都會用到公用配置中的一部分，在此統一解釋，在單獨的重排配置中則不再贅述。

配置樣本：

{
    "SortConfs": [
        {
            "Name": "",
            "SortType": ""
        }
    ]
}

提降權重排（BoostScoreSort）

當調用精排模型後，每個 item 會有個模型返回的 score，有時候根據業務營運需求，需要對 score 進行操作，即提降權操作。

提降權操作在設定上分為兩部分

• 設定條件規則，通過 item 或者 user 的某些屬性，比如類目，性別等屬性來判斷是否符合規則條件

• 設定提降權運算式，目前只支援對 score 設定運算式，比如 score * 1.2, score * 0.5 等等

配置樣本

{
    "SortConfs": [
        {
            "Name": "BoostScoreSort",
            "SortType": "BoostScoreSort",
            "Debug": false,
            "BoostScoreConditions": [
                {
                    "Conditions": [
                        {
                            "Name": "sex",
                            "Domain": "item",
                            "Type": "string",
                            "Value": "gender",
                            "Operator": "equal"
                        }
                    ],
                    "Expression": "score * 2"
                }
            ]
        }
    ]
}

上面配置中所表達的意思為：對特徵（sex）的值等於male的item，score乘以2。

FilterParamConfig 配置如下：

具體的條件設定，可以參考數量調整過濾（AdjustCountFilter）。

權重提降權重排（BoostScoreByWeight）

在對item進行提降權的時候，不同的item可能會有不同的權重，這個權重是item表中的一個欄位，需要通過權重欄位對score進行提降權。

score的計算公式：weight * item.score

配置樣本

{
    "SortConfs": [
        {
            "Name": "BoostScoreByWeight",
            "SortType": "BoostScoreByWeight",
            "TimeInterval": 172800,
            "BoostScoreByWeightDao": {
                "AdapterType": "hologres",
                "HologresName": "pai_rec",
                "HologresTableName": "test",
                "ItemFieldName": "item_id",
                "WeightFieldName": "weight"
            }
        }
    ]
}

BoostScoreByWeightDao

Item分數重排（ItemRankScore）

ItemRankScore 可以通過 item 的 score 對 item 進行倒序排序，這個是引擎內建的，可以直接在 SortNames 中使用。

多樣性重排（DiversityRuleSort）

在推薦結果進行輸出時，我們除了考慮要抓住使用者的興趣點，還要考慮推薦條目多樣性的需求，即不同品類，不同屬性的物品可以混合輸出。

這裡我們配置的規則參考如下：

推薦多樣性打散規則

術語定義：

1. 打散維度：用來打散的item屬性，比如類目、作者、Tag等

2. 打散策略：

   • 最小間隔k,即最多允許某一打散維度連續出現k次。

   • 最多次數m，即在大小為n的視窗內同一打散維度item不允許出現超過m次。

打散邏輯：

• 打散規則只在同一次請求的返回結果裡做，不需要考慮跨請求的多樣性。

• 可以配置多個打散維度。

• 可以針對每個打散維度配置多個打散策略，並且每個打散策略可以配置不同的參數（k,m,n)。

配置樣本

{
    "SortConfs": [
        {
            "Name": "DiversityRuleSort",
            "SortType": "DiversityRuleSort",
            "DiversitySize": 100,
            "DiversityRules": [
                {
                    "Dimensions": ["spfl"],
                    "WindowSize": 10,
                    "FrequencySize": 1
                }
            ],
            "ExcludeRecalls": [
                "ColdStartVideoVectorRecall",
                "LinUcbRecall_default2"
            ],
            "Conditions": [
                {
                    "Name": "spflPick",
                    "Domain": "user",
                    "Type": "string",
                    "Value": "",
                    "Operator": "equal"
                }
            ]
        }
    ]
}

此重排需要配合 ExcludeRecalls 參數使用。

DiversityRules

排除規則和搜尋深度的樣本參考如下

對於tag=t1合格item不應出現在1,2,3,4的輸出位置上，1,2,3,4出現的物品還是要符合打散規則，但不能是tag=t1。

{
    "Name": "DiversityRuleSort",
    "SortType": "DiversityRuleSort",
    "DiversityRules": [
        {
            "Dimensions": [
                "tag"
            ],
            "WindowSize": 5,
            "FrequencySize": 1
        }
    ],
    "ExclusionRules": [
        {
            "Positions": [
                1,2,3,4
            ],
            "Conditions": [
                {
                    "Name": "tag",
                    "Domain": "item",
                    "Type": "string",
                    "Value": "t1",
                    "Operator": "equal"
                }
            ]
        }
    ],
    "ExploreItemSize" : 200
}

在搜尋物品滿足多樣性規則時，在預設情況下，只有當物品滿足所有規則時，才會輸出。如果任何一條多樣性規則不滿足時，就會搜尋下一個物品，直至找到滿足規則的物品。如果候選集中所有的物品都不滿足所有規則，那麼就會選取最開始的搜尋物品進行輸出。

目前還提供一種策略，就是給多樣性規則上增加權重，如果候選集中所有的物品都不滿足所有規則時，會選擇物品滿足規則權重之和最大的那個進行輸出（如果有多個物品滿足的話，選擇位置最靠前的物品）。

帶有權重的配置參考如下：

{
    "Name": "DiversityRuleSort",
    "SortType": "DiversityRuleSort",
    "DiversityRules": [
        {
            "Dimensions": [
                "tag"
            ],
            "WindowSize": 5,
            "FrequencySize": 1,
            "Weight": 1
        },
        {
            "Dimensions": [
                "category"
            ],
            "WindowSize": 3,
            "FrequencySize": 1,
             "Weight": 3
        }
    ],
    "ExclusionRules": [
        {
            "Positions": [
                1
            ],
            "Conditions": [
                {
                    "Name": "tag",
                    "Domain": "item",
                    "Type": "string",
                    "Value": "t1",
                    "Operator": "equal"
                }
            ]
        }
    ]
}

DPPSort

DPP多樣性打散演算法參考資料：《基於行列式點過程的推薦多樣性提升演算法的直觀理解》。

前提條件：使用DPP演算法的前提是已經有了item裡的embedding向量，而且這個embedding向量能夠表示 item 本身的內容，embedding的相似性能夠表示item內容層面的相似性，而不是其他層面（如行為）的相似性。舉例如下：

• 建議：item圖片embedding/文本描述資訊的embedding/類目、屬性等靜態item內容組合得到embedding

• 不建議：基於使用者行為資料訓練模型得到的embedding

本質上，想要打散的維度一定要能夠在embedding裡反映出來。比如，我們希望推薦列表在商品價格這個維度有一些多樣性，那麼在訓練模型得到embedding向量時就一定要有價格特徵，否則就無法達到我們預期的效果。

配置樣本：

{
    "SortConfs": [
        {
            "Name": "DPPSort",
            "SortType": "DPPSort",
            "DPPConf": {
                "Name": "DPPSort",
                "DaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "geeko_rec"
                },
                "TableName": "item_embedding_metric_learning",
                "TableSuffixParam": "embedding_date",
                "TablePKey": "product_id",
                "EmbeddingColumn": "embedding",
                "Alpha": 4.5,
                "NormalizeEmb": "false",
                "WindowSize": 10
            }
        }
    ]
}

DPPConf

SSDSort

SSD多樣性打散演算法參考資料：《提升推薦結果的多樣性：MMR/DPP/SSD原理剖析》。

前提條件：使用SSD演算法的前提是已經有了item裡的embedding向量，而且這個embedding向量能夠表示 item 本身的內容，embedding的相似性能夠表示item內容層面的相似性，而不是其他層面（如行為）的相似性。舉例如下：

建議：item圖片embedding/文本描述資訊的embedding/類目、屬性等靜態item內容組合得到embedding

不建議：基於使用者行為資料訓練模型得到的embedding

本質上，想要打散的維度一定要能夠在embedding裡反映出來。比如，我們希望推薦列表在商品價格這個維度有一些多樣性，那麼在訓練模型得到embedding向量時就一定要有價格特徵，否則就無法達到我們預期的效果。

配置樣本：

{
    "SortConfs": [
        {
            "Name": "SSDSort",
            "SortType": "SSDSort",
            "SSDConf": {
                "Name": "SSDSort",
                "DaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "geeko_rec"
                },
                "TableName": "item_embedding_metric_learning",
                "TablePKey": "item_id",
                "EmbeddingColumn": "embedding",
                "Gamma": 0.25,
                "UseSSDStar": true,
                "NormalizeEmb": "false",
                "MinScorePercent": 0.1,
                "CandidateCount": 200,
                "WindowSize": 5
            }
        }
    ]
}

SSDConf

多路召回重排（MultiRecallMixSort）

一般情況下，我們會有很多路召回，有時根據業務營運需求，需要根據召回的類型進行混合輸出，比如

• 對冷啟動召回有曝光數量的要求

• 多某一路召回有位置的要求

也可能包括多個混排規則。

配置如下

{
    "SortConfs": [
        {
            "Name": "MixSort",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "random_position",
                    "NumberRate": 0.1,
                    "RecallNames": [
                        "OTSGlobalHot"
                    ]
                },
                {
                    "MixStrategy": "fix_position",
                    "Positions": 1,3,5],
                    "RecallNames": [
                        "RecallName1"
                    ]
                }
            ]
        }
    ]
}

除了使用召回名稱來匹配條目進行過濾，還可以使用條件過濾篩選出 item，然後進行曝光。

{
    "SortConfs": [
        {
            "Name": "MixSortByItemFeature",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "random_position",
                    "NumberRate": 0.1,
                    "Conditions": [
                        {
                            "Name": "gender",
                            "Domain": "item",
                            "Type": "string",
                            "Value": "man",
                            "Operator": "equal"
                        }
                    ]
                }
            ]
        }
    ]
}

如何使用

重排配置和召回配置類似，配置好後，提供一個分情境使用的SortNames，SortNames是一個 Map[string]object結構，其中key是情境，每個情境對應一組重排策略

{
    "SortNames": {
        "${scene_name}": [
            "ItemRankScore"
        ]
    }
}

• ${scene_name} 為情境名，如果多個情境想使用同一份配置，則使用"default"。

• ItemRankScore：此參數為在SortConfs中定義的重排的自訂名稱。