:フィルターの設定

PAI-Rec エンジンは、User2ItemExposureFilter、ItemStateFilter、AdjustCountFilter フィルターのテンプレートを含む、複数の組み込みフィルターテンプレートを提供します。

フィルター設定

次のサンプルコードで `FilterConfs` パラメーターを設定することで、フィルターを設定できます。`FilterConfs` はオブジェクトの配列であり、複数のフィルターポリシーを定義するために使用できます。

共通フィルター設定の概要

次のセクションでは、さまざまなフィルターで参照される共通の設定について説明します。これらの設定は、このトピックの各フィルターの詳細な説明では繰り返されません。

設定例：

{
    "FilterConfs": [
        {
            "Name": "",
            "FilterType": "",
            "Dimension": "",
            "DaoConf": {},
            "AdjustCountConfs": [],
            "ItemStateDaoConf": {},
            "FilterParams": [],
            "DiversityDaoConf": {},
            "FilterVal": {}
        }
    ]
}

User2ItemExposureFilter

多くのビジネスシナリオでは、露出フィルタリングは、通常、疑似露出とリアル露出を組み合わせることで、重複した推薦を防ぐために使用されます。

疑似露出：リアルタイムログのレイテンシーにより、どのアイテムが露出されたかを即座に特定することは不可能です。そのため、レコメンデーションエンジンから返されたアイテムのリストが疑似露出リストとして機能します。

Flink などのリアルタイム計算エンジンは、リアルタイムログをデータベースに書き込み、そこで PAI-Rec エンジンによって消費されます。

次の共通パラメーターは、さまざまなデータソースの露出フィルタリングに適用されます。

{
    "FilterConfs": [
        {
            "Name": "holo_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 100,
            "TimeInterval": 172800,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "exposure_history"
            }
        }
    ]
}

BEGIN;
CREATE TABLE "exposure_history" (
 "uid" text NOT NULL,
 "item" text NOT NULL,
 "create_time" int4 NOT NULL
);
CALL SET_TABLE_PROPERTY('"exposure_history"', 'orientation', 'column');
CALL set_table_property('"exposure_history"', 'distribution_key', 'uid');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'clustering_key', '"uid","create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'segment_key', '"create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'bitmap_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'dictionary_encoding_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'time_to_live_in_seconds', '172800');
comment on table "exposure_history" is '露出履歴テーブル';
COMMIT;

{
    "FilterConfs": [
        {
            "Name": "fs_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "TimeInterval": 300,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "user_expose"
            }
        }
    ]
}

"FilterConfs": [
        {
            "Name": "fs_exposure_filter2",
            "FilterType": "User2ItemExposureFilter",
            "WriteLog": false,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "user_expose"
            }
        }
    ]

{
    "FilterConfs": [
        {
            "Name": "redis_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 100,
            "TimeInterval": 172800,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "redis",
                "RedisName": "redis_info",
                "RedisPrefix": "exposure_"
            }
        }
    ]
}

{
    "FilterConfs": [
        {
            "Name": "ots_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 100,
            "TimeInterval": 172800,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "tablestore_info",
                "TableStoreTableName": "exposure_history"
            }
        }
    ]
}

インプレッションのデランキング

ユーザーのリコールプールが小さい場合、インプレッションフィルタリングによって利用可能なすべてのアイテムがフィルタリングされてしまう可能性があります。これを回避するには、アイテムを完全にフィルタリングするのではなく、すでに閲覧されたアイテムにタグを付けます。再ランキング中に、ブースティングとデモーションを使用して、これらのタグ付けされたアイテムをリストの最後に移動させることができます。次の例は、Hologres データソースのこの設定を示しています。このプロセスは、他のデータソースでも同様です。

{
    "FilterConfs": [
        {
            "Name": "holo_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 20,
            "TimeInterval": 172800,
            "WriteLog": true,
            "OnlyLogUserExposeFlag": true,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "exposure_history"
            }
        }
    ],
    "SortConfs": [
        {
            "Name": "boost_score_sort",
            "SortType": "BoostScoreSort",
            "BoostScoreConditions": [
                {
                    "Conditions": [
                        {
                            "Name": "_is_exposure_",
                            "Domain": "item",
                            "Type": "int",
                            "Value": 1,
                            "Operator": "equal"
                        }
                    ],
                    "Expression": "score / 10"
                }
            ]
        }
    ]
}
この JSON の例では、フィルターとソートの構成を定義します。FilterConfs セクションでは、Hologres の exposure_history テーブルのデータに基づいて、holo_exposure_filter を使用してユーザーがすでに接触したアイテムを除外します。SortConfs セクションでは、スコアブースティングのために boost_score_sort を使用します。アイテムが接触済みである場合 (_is_exposure_ が 1 の場合)、そのスコアは 10 で除算され、ランキングが低下します。<code code-type="xCode" data-tag="codeblock" id="7e32a7ea74ad9" index="0" outputclass="language-json">{
    "FilterConfs": [
        {
            "Name": "holo_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 20,
            "TimeInterval": 172800,
            "WriteLog": true,
            "OnlyLogUserExposeFlag": true,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "exposure_history"
            }
        }
    ],
    "SortConfs": [
        {
            "Name": "boost_score_sort",
            "SortType": "BoostScoreSort",
            "BoostScoreConditions": [
                {
                    "Conditions": [
                        {
                            "Name": "_is_exposure_",
                            "Domain": "item",
                            "Type": "int",
                            "Value": 1,
                            "Operator": "equal"
                        }
                    ],
                    "Expression": "score / 10"
                }
            ]
        }
    ]
}

User2ItemCustomFilter

{
    "FilterConfs": [
        {
            "Name": "u2i_custom_filter",
            "FilterType": "User2ItemCustomFilter",
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "u2i_custom_filter"
            },
            "ItemStateCacheSize": 10000,
            "ItemStateCacheTime": 3600
        }
    ]
}

{
    "FilterConfs": [
        {
            "Name": "u2i_custom_filter",
            "FilterType": "User2ItemCustomFilter",
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "tablestore_info",
                "TableStoreTableName": "u2i_table"
            }
        }
    ]
}

  {
    "FilterConfs": [
        {
            "Name": "u2i_custom_filter",
            "FilterType": "User2ItemCustomFilter",
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "u2icustom_filter"
            }
        }
    ]
}

AdjustCountFilter

AdjustCountFilter は、リコールリンクによって返されたアイテムをランダムにシャッフルし、指定された数のアイテムを保持するために使用されます。

設定例：

{
    "FilterConfs": [
        {
            "Name": "adjust_count_filter",
            "FilterType": "AdjustCountFilter",
            "ShuffleItem": true,
            "RetainNum": 500
        }
    ]
}

PriorityAdjustCountFilter

PriorityAdjustCountFilter は、スコアに基づいてリコールリンクの返された結果から選択されるアイテムの数を制御するために使用されます。各リコールリンクは、スコアに基づいて推薦されたアイテムをソートします。

設定例：

{
    "FilterConfs": [
        {
            "Name": "priority_adjust_count_filter",
            "FilterType": "PriorityAdjustCountFilter",
            "AdjustCountConfs": [
                {
                    "RecallName": "recall_1",
                    "Count": 125,
                    "Type": "accumulator"
                },
                {
                    "RecallName": "recall_2",
                    "Count": 250,
                    "Type": "accumulator"
                },
                {
                    "RecallName": "recall_3",
                    "Count": 400,
                    "Type": "accumulator"
                }
            ]
        }
    ]
}

ItemStateFilter

取得したアイテムを状態でフィルタリングするには、いつでも変更される可能性があるため、リアルタイムでその状態をフェッチする必要があります。これらの状態は通常、専用のテーブルに保存されます。

{
    "FilterConfs": [
        {
            "Name": "ItemStateFilter",
            "FilterType": "ItemStateFilter",
            "ItemStateDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "",
                "HologresTableName": "",
                "ItemFieldName": "",
                "WhereClause": "",
                "SelectFields": ""
            },
            "ItemStateCacheSize": 50000,
            "ItemStateCacheTime": 3600,
            "FilterParams": [

            ]
        }
    ]
}

{
    "FilterParams": [
        {
            "Name": "publicStatus",
            "Type": "int",
            "Operator": "equal",
            "Value": 0
        },
        {
            "Name": "state",
            "Type": "int",
            "Operator": "equal",
            "Value": 1
        },
        {
            "Name": "checkStatus",
            "Type": "int",
            "Operator": "not_equal",
            "Value": 2
        },
        {
            "Name": "norec",
            "Type": "int",
            "Operator": "not_equal",
            "Value": 1
        }
    ]
}

{
    "FilterConfs": [
        {
            "Name": "ItemStateFilter",
            "FilterType": "ItemStateFilter",
            "ItemStateDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "",
                "FeatureStoreViewName": "",
                "ItemFieldName": "",
                "SelectFields": ""
            },
            "ItemStateCacheSize": 50000,
            "ItemStateCacheTime": 3600,
            "FilterParams": [

            ]
        }
    ]
}

{
    "FilterParams": [
        {
            "Name": "publicStatus",
            "Type": "int",
            "Operator": "equal",
            "Value": 0
        },
        {
            "Name": "state",
            "Type": "int",
            "Operator": "equal",
            "Value": 1
        },
        {
            "Name": "checkStatus",
            "Type": "int",
            "Operator": "not_equal",
            "Value": 2
        },
        {
            "Name": "norec",
            "Type": "int",
            "Operator": "not_equal",
            "Value": 1
        }
    ]
}

SnakeFilter

リコール段階では、複数のリコールチャネルから候補セットを取得します。SnakeFilter は、指定された重み比に基づいて、これらのチャネルからのデータをラウンドロビン順で結合します。

たとえば、重みがそれぞれ 1、2、3 の 3 つのリコールチャネル (A、B、C) がある場合、結合ロジックは次のように機能します。

• 候補セット A から 1 つの要素を選択します。

• 候補セット B から 2 つの要素を選択します。

• 候補セット C から 3 つの要素を選択します。

• 必要な数の要素が得られるまで、このプロセスを繰り返します。

重複要素を処理するための 2 つのポリシーがあります。

• REFILL_ON_DUPLICATE：候補セットから取得した要素が以前に選択されたものと重複する場合、システムは同じ候補セット内で一意の代替を検索します。たとえば、候補セット C から取得した 3 つの要素が、すでにセット A と B から選択されている要素と重複する場合、システムはセット C で代替を検索します。

• SKIP_ON_DUPLICATE：システムは重複する要素をスキップし、次の反復に進みます。たとえば、候補セット C から取得した 3 つの要素がセット A と B の要素と重複する場合、候補セット C はこのラウンドでは要素を返しません。その後、プロセスは候補セット A から始まる新しい反復を開始します。

{
    "FilterConfs": [
        {
            "Name": "SnakeFilter",
            "FilterType": "SnakeFilter",
            "RetainNum": 20,
            "SnakeType": "REFILL_ON_DUPLICATE",
            "AdjustCountConfs": [
                 {
                     "RecallName": "GroupHotRecall",
                     "Weight": 1
                 },
                 {
                     "RecallName": "U2IRecall",
                     "Weight": 2
                 },
                 {
                     "RecallName": "GlobalHotRecall",
                     "Weight": 3
                 }
             ]
        }
    ]
}

CompletelyFairFilter

CompletelyFairFilter は、アイテムのスコアに基づいてリコールリンクによって返されたアイテムをソートし、各リンクの結果から公平な方法でアイテムを選択するために使用されます。

{
    "FilterConfs": [
        {
            "Name": "CompletelyFairFilter",
            "FilterType": "CompletelyFairFilter",
            "RetainNum": 500
        }
    ]
}

DimensionFieldUniqueFilter

DimensionFieldUniqueFilter は、UniqueFilter とは異なる方法で機能します。DimensionFieldUniqueFilter は、フィールド値が重複しているアイテムを削除します。

{
    "FilterConfs": [
        {
            "Name": "DimensionFieldUniqueFilter",
            "FilterType": "DimensionFieldUniqueFilter",
            "Dimension": ""
        }
    ]
}

ConditionFilter

これは、ユーザー特徴や `context` で渡されるようなリクエスト条件に基づいて、特定のフィルターを動的に実行する複合フィルターです。1 つ以上の組み合わせを設定でき、それぞれが条件のセットを `FilterConfs` で定義された特定のフィルターにリンクします。

上記の例では、`adjust_count_filter` と `CompletelyFairFilter` という 2 つのスタンドアロンフィルターを定義しています。`ConditionFilter` は、条件に基づいてリクエストをルーティングする複合フィルターです。ユーザー属性 `query` が `"1"` に等しい場合、`adjust_count_filter` を使用します。どの条件にも一致しない場合、`DefaultFilterName` (`CompletelyFairFilter`) で指定されたフィルターにフォールバックします。

設定パラメーターは次のとおりです。

`FilterConfs` の設定：

`FilterParamConfig` を次のように設定します。

条件設定の詳細については、付録をご参照ください。

UniqueFilter

UniqueFilter は、各アイテム ID が一意であることを保証するように設計されています。同じアイテム ID が 2 つのリコールリンクから返された場合、UniqueFilter は最初に返されたアイテム ID を優先します。

UniqueFilter を設定しなくても、`FilterNames` パラメーターを設定する際に UniqueFilter を使用できます。

フィルターの使用方法

リコール設定と同様に、フィルター設定では `FilterNames` パラメーターを使用します。このパラメーターは、各シナリオをフィルターポリシーのセットにマッピングする `Map[string]object` です。

• ${scene_name}: シナリオの名前。複数のシナリオに同じ構成を適用するには、default を使用します。

• UniqueFilter：FilterConfigs で定義されたフィルターのカスタム名。

付録

演算子の例

1. equal (指定された値と等しい)

{
    "Name": "publicStatus",
    "Type": "int",
    "Operator": "equal",
    "Value": 0
}

2. not_equal (指定された値と等しくない)

{
    "name": "checkStatus",
    "type": "int",
    "operator": "not_equal",
    "value": 2
}

3. greater (指定された値より大きい)

{
    "Name": "checkStatus",
    "Type": "int",
    "Operator": "greater",
    "Value": 2
}

4. greaterThan (指定された値以上)

{
    "Name": "checkStatus",
    "Type": "int",
    "Operator": "greaterThan",
    "Value": 2
}

5. less (指定された値より小さい)

{
    "Name": "checkStatus",
    "Type": "int",
    "Operator": "less",
    "Value": 2
}

6. lessThan (指定された値以下)

{
    "Name": "checkStatus",
    "Type": "int",
    "Operator": "lessThan",
    "Value": 2
}

7. in (配列内のいずれかの値に一致)

String

{
    "Name": "state",
    "Type": "string",
    "Operator": "in",
    "Value": ["success","ok"]
}

8. not_in (配列内のどのアイテムにも一致しない)

{
    "name": "state",
    "type": "int",
    "operator": "not_in",
    "value": [2,4,6]
}

`in` 演算子で `string type` を使用して設定することもできます。

9. contains (配列内のいずれかのアイテムに一致)

{
    "Name": "state",
    "Type": "[]int",
    "Operator": "contains",
    "Value": [2,4,6]
}

string 型

{
    "Name": "state",
    "Type": "[]string",
    "Operator": "contains",
    "Value": ["success","ok"]
}

10. not_contains (指定されたアイテムのいずれも含まない)

{
    "Name": "state",
    "Type": "[]int",
    "Operator": "not_contains",
    "Value": [2,4,6]
}
以下のコードでは、not_contains 演算子を使用して、state フィールドに配列 [2, 4, 6] の値が含まれていないアイテムをフィルターします。このフィルターは、クエリ結果から特定のアイテムを除外するのに役立ちます。たとえば、このフィルターを使用すると、ステータスが「アーカイブ済み」(ID 2)、「保留中」(ID 4)、または「非推奨」(ID 6) のタスクを除く、すべてのタスクを取得できます。<code code-type="xCode" data-tag="codeblock" id="866e45a8e4kqj" outputclass="language-json">{
    "Name": "state",
    "Type": "[]int",
    "Operator": "not_contains",
    "Value": [2,4,6]
}

文字列配列も使用できます。設定の詳細については、`contains` 演算子をご参照ください。

11. bool (複数の条件一致演算子を組み合わせる)

or で条件を結合します。

{
    "Operator": "bool",
    "Type": "or",
    "Configs":
    [
        {
            "Name": "publicStatus",
            "Type": "int",
            "Operator": "equal",
            "Value": 0
        },
        {
            "Name": "checkStatus",
            "Type": "int",
            "Operator": "greater",
            "Value": 2
        }
    ]
}

and の使用も同様です。`Type` を `and` に設定します。

12. expression (式が true と評価された場合に一致)

{
    "Operator": "expression",
    "Value": "item.size == 43"
}

`item.size` は `item` の属性です。`user` の属性にアクセスするには、`user.xxx` を使用します。

式は、算術、比較、論理、三項演算子をサポートしています。以下は、より複雑な例です。

{
    "Operator": "expression",
    "Value": "!item.sold_out and user.list != nil ? item.size in user.list : true"
}

式の構文の完全な定義については、https://expr-lang.org/docs/language-definition をご参照ください。