Artificial Intelligence Recommendation：過濾配置

PAI-Rec 引擎已經內建了多個過濾模板，包括曝光過濾、狀態過濾、數量調整過濾等。

如何配置

過濾的配置對應配置總覽中的 FilterConfs，FilterConfs 是一個[]object 結構，可以定義多個過濾策略。

過濾公用配置一覽

每種召回配置，都會用到公用配置中的一部分，在此統一解釋，單獨的召回配置中則不再贅述。

配置樣本：

    "FilterConfs":[
        {
            "Name":"",
            "FilterType":"",
            "Dimension":"",
            "DaoConf":{},
            "AdjustCountConfs":[{}],
            "ItemStateDaoConf":{},
            "FilterParams":[{}],
            "DiversityDaoConf":{},
            "FilterVal":{}
        }
    ]

曝光過濾（User2ItemExposureFilter）

很多業務情境都需要曝光過濾來避免重複推薦，這裡的曝光過濾其實是偽曝光

偽曝光：因為即時日誌有延時等原因，我們並不能立刻知道哪些 item 被曝光，所以我們把Recommendation Engine返回的 item 列表作為偽曝光列表

目前常用的做法是 PAI-Rec 引擎進行偽曝光的讀寫，真實曝光需要客戶的即時日誌，通過 flink 這種Realtime Compute引擎寫入資料庫，然後被PAI-Rec 引擎消費。

不同資料來源的曝光過濾有以下幾個公用參數配置

hologres

"FilterConfs" :[
  {
    "Name": "holo_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf":{
       "AdapterType": "hologres",
       "HologresName": "holo_info",
       "HologresTableName": "exposure_history"
    }
  }
]

DaoConf 配置說明

曝光表定義注意這裡可以 按照實際的情況設定 time_to_live_in_seconds 。

BEGIN;
CREATE TABLE "exposure_history" (
 "uid" text NOT NULL,
 "item" text NOT NULL,
 "create_time" int4 NOT NULL,
PRIMARY KEY ("uid","create_time")
);
CALL SET_TABLE_PROPERTY('"exposure_history"', 'orientation', 'column');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'clustering_key', '"uid","create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'segment_key', '"create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'bitmap_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'dictionary_encoding_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'time_to_live_in_seconds', '172800');
comment on table "exposure_history" is '曝光記錄表';
COMMIT;

redis

"FilterConfs" :[
  {
    "Name": "redis_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf":{
       "AdapterType": "redis",
       "RedisName": "redis_info",
       "RedisPrefix": "exposure_"
    }
  }
]

DaoConf 配置說明

tablestore

"FilterConfs" :[
  {
    "Name": "ots_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf":{
       "AdapterType": "tablestore",
       "TableStoreName": "tablestore_info",
       "TableStoreTableName": "exposure_history"
    }
  }
]

DaoConf 配置說明

曝光表定義如下：

生命週期：（使用者需要自訂，必須有一個明確的周期）

maxVersion： 1 

User2ItemCustomFilter

"FilterConfs" :[
  {
    "Name": "u2i_custom_filter",
    "FilterType": "User2ItemCustomFilter",
    "DaoConf": {
        "AdapterType": "hologres",
        "HologresName": "holo_info",
        "HologresTableName": "u2i_custom_filter"
     },
     "ItemStateCacheSize": 10000,
     "ItemStateCacheTime": 3600
  }
]

"FilterConfs" :[
  {
    "Name": "u2i_custom_filter",
    "FilterType": "User2ItemCustomFilter",
    "DaoConf":{
       "AdapterType": "tablestore",
       "TableStoreName": "tablestore_info",
       "TableStoreTableName": "u2i_table"
    }
  }
]

數量調整過濾（AdjustCountFilter）

簡單的調整數量，把召回數量隨機打散，然後保留需要控制的數量。

配置樣本：

"FilterConfs" :[
{
      "Name": "adjust_count_filter",
      "FilterType": "AdjustCountFilter",
      "ShuffleItem": true,
      "RetainNum": 500
}
]

優先順序數量調整過濾（PriorityAdjustCountFilter）

優先順序過濾可以對各路召回進行數量控制，每路召回都會根據召回的 score 進行排序

配置樣本：

"FilterConfs" :[
  {
        "Name": "priority_adjust_count_filter",
        "FilterType": "PriorityAdjustCountFilter",
        "AdjustCountConfs" :[
        {
            "RecallName" :"recall_1",
            "Count" :125,
            "Type" : "accumulator"
        },
        {
            "RecallName" :"recall_2",
            "Count" :250,
            "Type" : "accumulator"
        },
        {
            "RecallName" :"recall_3",
            "Count" :400,
            "Type" : "accumulator"
        }
    ]
  }
]

狀態過濾（ItemStateFilter）

我們經常需要對於召回的資料，進行狀態過濾。item 的狀態有可能會即時變動的，一般會有專有的表格儲存體 item 狀態。 此過濾流程需要即時擷取 item 狀態資訊，然後進行過濾。

hologres

"FilterConfs" :[
  {
    "Name": "ItemStateFilter",
    "FilterType": "ItemStateFilter",
    "ItemStateDaoConf":{
        "AdapterType": "hologres",
        "HologresName": "",
        "HologresTableName": "",
        "ItemFieldName" : "",
        "WhereClause": "",
        "SelectFields" :""
     },
     "ItemStateCacheSize": 50000,
     "ItemStateCacheTime": 3600,
     "FilterParams" :[]
  }
]

如果item的狀態不經常變化，可以配置緩衝選項。

ItemStateDaoConfig 定義如下：

FilterParams 定義如下：

        "FilterParams" :[
            {
                "Name" : "publicStatus",
                "Type" : "int",
                "Operator" : "equal",
                "Value" : 0
            },
            {
                "Name" : "state",
                "Type" : "int",
                "Operator" : "equal",
                "Value" : 1
            },
            {
                "Name" : "checkStatus",
                "Type" : "int",
                "Operator" : "not_equal",
                "Value" : 2
            },
            {
                "Name" : "norec",
                "Type" : "int",
                "Operator" : "not_equal",
                "Value" : 1
            }
        ]

具體的 Operator 的使用，可以參考附錄。

CompletelyFairFilter

根據召回條目的 score 進行排序，然後公平的從每一路召回擷取資料

"FilterConfs" :[
  {
    "Name": "CompletelyFairFilter",
    "FilterType": "CompletelyFairFilter",
  	"RetainNum": 500
  }
]

DimensionFieldUniqueFilter

和 UniqueFilter 不同， 根據 item 的某個欄位進行去重過濾

"FilterConfs" :[
  {
    "Name": "DimensionFieldUniqueFilter",
    "FilterType": "DimensionFieldUniqueFilter",
    "Dimension":""
  }
]

UniqueFilter

唯一性過濾，保證 item id 是唯一的，如果兩路召回包含同一個 item id，哪路召回先返回，取哪一路的 item id。

無需配置，可直接在 FilterNames 中引用。

如何使用

過濾配置和召回配置類似，配置好之後，提供一個分情境使用的 FilterNames，FilterNames 是一個 Map[string]object 結構，其中 key 是情境，每個情境對應一組過濾策略

"FilterNames": {
  "default": [
    "UniqueFilter"
  ]
}

• default 為情境名，如果情境沒有顯式的配置，則使用 "default" 的配置。

• UniqueFilter: 此參數為在 FilterConfis 中定義的過濾的自訂名稱。

附錄

條件匹配 Operator 樣本

1. equal (相等 ==）

{
 "Name" : "publicStatus",
 "Type" : "int",
 "Operator" : "equal",
 "Value" : 0
}

2. not_equal （不等於 !=)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "not_equal",
 "Value" : 2
}

3. greater （大於 >)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "greater",
 "Value" : 2
}

4. greaterThan (大於等於 >=)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "greaterThan",
 "Value" : 2
}

5. less （小於 <)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "less",
 "Value" : 2
}

6. lessThan (小於等於 <=)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "lessThan",
 "Value" : 2
}

7. in （與數組中的某個條目匹配）

{
 "Name" : "state",
 "Type" : "int",
 "Operator" : "in",
 "Value" : [2, 4, 6]
}

string 類型

{
 "Name" : "state",
 "Type" : "string",
 "Operator" : "in",
 "Value" : ["success", "ok"]
}