Artificial Intelligence Recommendation：召回配置

Hologres

協同過濾需要有兩張表，一張u2i表，根據user_id擷取item列表，一張i2i表，擷取相似的item，這兩張表的 schema是固定格式的。

除了通過 i2i 表擷取相似的 item（下文稱 u2i2i），還可以通過 i2x 和 x2i 兩張表間接地擷取相似 item（下文稱 u2i2x2i），x 可以是類目、品牌、城市等屬性，先擷取 item 的屬性x（如下文中的category欄位），然後從x2i表中擷取相應x取值下的熱門物品作為推薦結果。 。

u2i 表

i2i 表（僅 u2i2i 需要）

i2x 表（僅 u2i2x2i 需要）

x2i 表（僅 u2i2x2i 需要）

u2i2i 配置樣本：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "User2ItemTable": "u2i_table",
                "Item2ItemTable": "i2i_table",
                "Normalization": "on"
            }
        }
    ]
}

u2i2x2i 配置樣本：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "User2ItemTable": "u2i_table",
                "Item2XTable": "i2x_table",
                "X2ItemTable": "x2i_table",
                "XKey": "category",
                "XDelimiter": ",",
                "Normalization": "on"
            }
        }
    ]
}

UserCollaborativeDaoConfig：

PAI-FeatureStore

協同過濾需要有兩張表，一張u2i表，根據user_id擷取item列表，一張i2i表，擷取相似的item，這兩張表的 schema是固定格式的。

兩種表的資料是在MaxCompute裡產生的。需要通過離線的FeatureView註冊到 FeatureStore上。MaxCompute的表資料schema參考如下。

u2i 表

註冊到FeatureStore 參考如下：

i2i 表

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "User2ItemFeatureViewName": "u2i_recall",
                "Item2ItemFeatureViewName": "i2i_collaborative",
                "Normalization": "on"
            }
        }
    ]
}

UserCollaborativeDaoConfig：

TableStore(OTS)

協同過濾需要有兩張表，一張u2i表，根據user_id擷取item列表，一張i2i表，擷取相似的item，這兩張表的 schema是固定格式的。

u2i 表

i2i 表

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "tablestore_info",
                "User2ItemTable": "u2i_table",
                "Item2ItemTable": "i2i_table",
                "Normalization": "on"
            }
        }
    ]
}

Redis

Redis進行collaborative_filter流程比較特殊，單獨說明。 實際上也是分兩步：

• 根據RedisPrefix + uid構造key ， 查詢U2I列表， 是個string, 支援格式： item_id1,item_id2,item_id3..... 或者 item_id1:score1,item_id2:score2,item_id3:score3......

• 然後查詢I2I列表， 根據上步查詢到的多個item_id，使用MGET進行查詢。 I2I的資料也是string , 格式如下：item_id1:score1,item_id2:score2,item_id3:score3......

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "redis",
                "RedisName": "redis_info",
                "RedisPrefix": "cr_",
                "Normalization": "on"
            }
        }
    ]
}

Hologres

擷取資料的思路和協同過濾中的是一樣的，只不過U2I的資料擷取是通過user歷史行為表Realtime Compute的。

user歷史行為表是根據即時日誌來同步更新的，這樣的召回是即時的召回。

和協同過濾一樣，也支援 u2i2x2i，先擷取 item 的 x 屬性，再通過相同 x 屬性的 item。

user歷史行為表

i2i 表（僅 u2i2i 需要）

i2x 表（僅 u2i2x2i 需要）

x2i 表（僅 u2i2x2i 需要）

行為表建表語句：

BEGIN;
CREATE TABLE "sv_rec"."user_behavior_seq" (
  "user_id" text NOT NULL,
  "item_id" text NOT NULL,
  "event" text NOT NULL,
  "play_time" float8  NULL,
  "timestamp" int8 NOT NULL
);
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'orientation', 'column');
call set_table_property('table_name', 'distribution_key', '"user_id"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'clustering_key', '"user_id:asc","timestamp:desc"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'bitmap_columns', '"user_id","event"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'dictionary_encoding_columns', '"user_id:auto","item_id:auto","event"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'time_to_live_in_seconds', '2592000');
comment on table "sv_rec"."user_behavior_seq" is '使用者即時行為序列';
comment on column "sv_rec"."user_behavior_seq"."user_id" is '使用者id';
comment on column "sv_rec"."user_behavior_seq"."item_id" is 'item id';
comment on column "sv_rec"."user_behavior_seq"."event" is '事件類型';
comment on column "sv_rec"."user_behavior_seq"."play_time" is '閱讀時間長度,播放時間長度';
comment on column "sv_rec"."user_behavior_seq"."timestamp" is '時間戳記,單位秒';
COMMIT;

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "RealTimeEtrecRecall",
            "RecallType": "RealTimeU2IRecall",
            "RecallCount": 200,
            "RealTimeUser2ItemDaoConf": {
                "UserTriggerDaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "holo_info",
                    "HologresTableName": "user_behavior_table",
                    "WhereClause": "event='xxx'",
                    "Limit": 200,
                    "EventPlayTime": "playback:5000;playvslide:5000",
                    "EventWeight": "playback:1;playvslide:2",
                    "WeightExpression": "exp((-0.2)*((currentTime-eventTime)/3600/24))",
                    "WeightMode": "sum",
                    "NoUsePlayTimeField": false
                },
                "Item2ItemTable": "i2i_table",
                "SimilarItemIdField": "similar_item_ids"
            }
        }
    ]
}

u2i2x2i 配置樣本：

{
    "RecallConfs": [
        {
            "Name": "RealTimeU2I2X2IRecall",
            "RecallType": "RealTimeU2IRecall",
            "RecallCount": 200,
            "RealTimeUser2ItemDaoConf": {
                "UserTriggerDaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "holo_info",
                    "HologresTableName": "user_behavior_table",
                    "WhereClause": "event='xxx'",
                    "Limit": 200,
                    "EventPlayTime": "playback:5000;playvslide:5000",
                    "EventWeight": "playback:1;playvslide:2",
                    "WeightExpression": "exp((-0.2)*((currentTime-eventTime)/3600/24))",
                    "WeightMode": "sum",
                    "NoUsePlayTimeField": false
                },
                "Item2XTable": "i2x_table",
                "X2ItemTable": "x2i_table",
                "XKey": "category",
                "XDelimiter": ","
            }
        }
    ]
}

RealTimeUser2ItemDaoConf：

PAI-FeatureStore

擷取資料的思路和協同過濾中的是一樣的，只不過U2I的資料擷取是通過user歷史行為表Realtime Compute的。

user歷史行為表是根據即時日誌來同步更新的，這樣的召回是即時的召回。

在PAI-FeatureStore平台中，使用特徵視圖的行為序列類型可以儲存user歷史行為資料。

user歷史行為表

i2i 表

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "realtimeu2i",
            "RecallType": "RealTimeU2IRecall",
            "RecallCount": 200,
            "RealTimeUser2ItemDaoConf": {
                "UserTriggerDaoConf": {
                    "AdapterType": "featurestore",
                    "FeatureStoreName": "fs_pairec",
                    "FeatureStoreViewName": "user_behavior_table",
                    "TriggerCount": 100,
                    "EventWeight": "click:1;order:1",
                    "WeightExpression": "exp((-0.2)*((currentTime-eventTime)/3600/24))",
                    "WeightMode": "sum",
                    "NoUsePlayTimeField": false,
                    "ItemIdFieldName": "item_id",
                    "EventFieldName": "event",
                    "PlayTimeFieldName": "playtime",
                    "TimestampFieldName": "event_unix_time"
                },
                "Item2ItemFeatureViewName": "i2i_collaborative",
                "SimilarItemIdField": "similar_item_ids"
            }
        }
    ]
}

RealTimeUser2ItemDaoConf：

Hologres

根據user id來找到對應的item列表。這裡的表定義是約定好的。

u2i 表

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "user_item_table"
            }
        }
    ]
}

PAI-FeatureStore

根據user id來找到對應的item列表。這裡的表定義是約定好的。

表的資料是在MaxCompute裡產生的。需要通過離線的FeatureView註冊到 FeatureStore上。MaxCompute的表資料schema參考如下。

u2i 表

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "u2i_recall"
            }
        }
    ]
}

TableStore(OTS)

根據user id來找到對應的item列表。這裡的表定義是約定好的。

u2i 表

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "ots_info",
                "TableStoreTableName": "user_item_table"
            }
        }
    ]
}

Redis

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "redis",
                "RedisName": "redis_info",
                "RedisPrefix": ""
            }
        }
    ]
}

Hologres

分組熱門召回的表的格式也是約定好的。

group_hot_table

按照使用者特徵和context資訊（例如地區、機型等）組裝trigger_id

• 按照順序將特徵用底線（_）拼接為trigger_id

• 特徵值為空白對應 "NULL"

• 包含 Boundaries 欄位的特徵需要進行離散化（左開，右閉區間），比如年齡 [20, 30, 40, 50] --> trigger對應 <=20, 20-30, 30-40，40-50, >50

使用者年齡23，對應"20-30"

使用者年齡空，對應"NULL"

使用者年齡60，對應">50"

使用者年齡19，對應"<=20"

hologres表示例：

此處使用性別、年齡、機型三個特徵

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "user_group_hot_recall",
            "RecallType": "UserGroupHotRecall",
            "RecallCount": 500,
            "Triggers": [
                {
                    "TriggerKey": "gender"
                },
                {
                    "TriggerKey": "age",
                    "Boundaries": [20,30,40,50]
                },
                {
                    "TriggerKey": "os"
                }
            ],
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "group_hotness_table"
            }
        }
    ]
}

PAI-FeatureStore

分組熱門召回的表的格式也是約定好的。

表的資料是在MaxCompute裡產生的。需要通過離線的FeatureView註冊到 FeatureStore上。MaxCompute的表資料schema參考如下。

group_hot_table

按照使用者特徵和context資訊（例如地區、機型等）組裝trigger_id

• 按照順序將特徵用底線（_）拼接為trigger_id

• 特徵值為空白對應 "NULL"

• 包含 Boundaries 欄位的特徵需要進行離散化（左開，右閉區間），比如年齡 [20, 30, 40, 50] --> trigger對應 <=20, 20-30, 30-40，40-50, >50

使用者年齡23，對應"20-30"

使用者年齡空，對應"NULL"

使用者年齡60，對應">50"

使用者年齡19，對應"<=20"

表示例：

此處使用性別、年齡、機型三個特徵

這裡使用了 trigger 特徵實體。

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "user_group_hot_recall",
            "RecallType": "UserGroupHotRecall",
            "RecallCount": 500,
            "Triggers": [
                {
                    "TriggerKey": "gender"
                },
                {
                    "TriggerKey": "age",
                    "Boundaries": [20,30,40,50]
                },
                {
                    "TriggerKey": "os"
                }
            ],
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "group_hot_recall"
            }
        }
    ]
}

Hologres

全域熱門召回的表schema和分組召回的表schema是相同的，只是全域熱門召回表中只有一條資料，而且 trigger_id = -1 。

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "UserGlobalHotRecall",
            "RecallType": "UserGlobalHotRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "global_hotness_table"
            }
        }
    ]
}

PAI-FeatureStore

全域熱門召回的表schema和分組召回的表schema是相同的，只是全域熱門召回表中只有一條資料，而且 trigger_id = -1 。

表的資料是在MaxCompute裡產生的。需要通過離線的FeatureView註冊到 FeatureStore上。MaxCompute的表資料schema參考如下。

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "UserGlobalHotRecall",
            "RecallType": "UserGlobalHotRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "global_hot_recall"
            }
        }
    ]
}

TableStore(OTS)

全域熱門召回的表schema和分組召回的表schema是相同的，只是全域熱門召回表中只有一條資料，而且 trigger_id = -1。

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "UserGlobalHotRecall",
            "RecallType": "UserGlobalHotRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "ots_info",
                "TableStoreTableName": "global_hotness_recall"
            }
        }
    ]
}

Hologres

{
    "RecallConfs": [
        {
            "Name": "AllLiveItemRecall",
            "RecallType": "ColdStartRecall",
            "RecallCount": 3000,
            "ColdStartDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "item_status_table",
                "WhereClause": "islist_status=1",
                "PrimaryKey": "\"item_id\"",
                "TimeInterval": 0
            }
        }
    ]
}

ColdStartDaoConf：

在上述的配置中，通過 WhereClause 過濾候選集時，可以根據介面傳入的features欄位或者使用者的特徵欄位進行過濾。舉個例子說明。如果根據語言和使用者的城市屬性進行過濾候選集，WhereClause可以寫成

"language=${context.features.language} AND city=${user.city}"

其中language可以通過介面的features裡傳入，city是使用者的某個特徵。

參數的來源。具體格式如：

• user.xxx 代表從user的特徵裡面取xxx這個特徵的值

• context.features.xxx 代表從介面中，features欄位中取xxx這個特徵的值

PAI-FeatureStore

提供一個以物品ID為主鍵的FeatureView，從這個FeatureView 中隨機召回一批物品ID。

{
    "RecallConfs": [
        {
            "Name": "item_cold_start_recall",
            "RecallType": "ColdStartRecall",
            "RecallCount": 200,
            "ColdStartDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "rec_sln_demo_item_table_preprocess_all_feature_v1"
            },
            "FilterParams": [
            ]
        }
    ]
}

各項配置如下：

FeatureStoreViewName 配置的FeatureView可以是離線的FeatureView，也可以是即時的。如果是即時的，此路召回也會即時的擷取到新增的物品ID。

如果FilterParams是空的話，說明不設定過濾條件，只隨機擷取物品ID。通過設定FilterParams可以過濾需要的物品ID。

{
            "Name": "item_cold_start_recall",
            "RecallType": "ColdStartRecall",
            "RecallCount": 200,
            "ColdStartDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "rec_sln_demo_item_table_preprocess_all_feature_v1"
            },
            "FilterParams": [
                {
                    "Name": "click_count",
                    "Type": "int",
                    "Operator": "greater",
                    "Value": "15"
                },
                {
                    "Name": "category",
                    "Type": "string",
                    "Operator": "in",
                    "Value": "user.category"
                }
            ]
        }

上面的例子中，Value 以user. 開頭的說明會從user特徵擷取相關的值。category可以通過介面的features欄位傳入。

具體的 Operator 的使用，可以參考附錄。

Hologres

I2I 召回 用於相似性推薦。相似性推薦需要把相似性的 item_id 傳遞進來，具體介面定義，可以參考介面測試。

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "I2IRecall",
            "RecallType": "ItemCollaborativeFilterRecall",
            "RecallCount": 500,
            "ItemCollaborativeDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "Item2ItemTable": "item_collaborative_list"
            }
        }
    ]
}

配置欄位說明：

Item2ItemTable 表的定義：

PAI-FeatureStore

I2I 召回 用於相似性推薦。相似性推薦需要把相似性的 item_id 傳遞進來，具體介面定義，可以參考介面測試。

Item2ItemTable 表的定義：

配置樣本：

{
    "RecallConfs": [
        {
            "Name": "I2IRecall",
            "RecallType": "ItemCollaborativeFilterRecall",
            "RecallCount": 200,
            "ItemCollaborativeDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "i2i_recall"
            }
        }
    ]
}

配置欄位說明：

如果介面傳入的item_id是多值形式，並且是通過,分隔的，可以參考如下配置：

{
    "RecallConfs": [
        {
            "Name": "I2IRecall",
            "RecallType": "ItemCollaborativeFilterRecall",
            "RecallCount": 200,
            "ItemCollaborativeDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "i2i_recall"
            },
            "EnableMultipleItemId": true,
            "MultipleItemIdDelimiter": ","
        }
    ]
}