:再現率の設定

Hologres

協調フィルタリングには、固定スキーマを持つ 2 つのテーブルが必要です。user_id に基づいてアイテムリストを取得する u2i テーブルと、類似アイテムを取得する i2i テーブルです。

i2i テーブルから直接類似アイテムを取得する方法 (u2i2i 方式) に加えて、i2x テーブルと x2i テーブルを使用して間接的に取得することもできます (u2i2x2i 方式)。この方法では、「x」はカテゴリ、ブランド、都市などのアイテム属性を表します。このプロセスでは、まずアイテムの「x」属性 (例: category フィールド) を取得し、次に x2i テーブルを使用して、この属性値を共有する人気アイテムを取得して推奨します。

u2i テーブル

i2i テーブル (u2i2i の場合のみ必須)

i2x テーブル (u2i2x2i の場合のみ必須)

x2i テーブル (u2i2x2i の場合のみ必須)

u2i2i 設定例：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "User2ItemTable": "u2i_table",
                "Item2ItemTable": "i2i_table",
                "Normalization": "on"
            }
        }
    ]
}

u2i2x2i 設定例：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "User2ItemTable": "u2i_table",
                "Item2XTable": "i2x_table",
                "X2ItemTable": "x2i_table",
                "XKey": "category",
                "XDelimiter": ",",
                "Normalization": "on"
            }
        }
    ]
}

UserCollaborativeDaoConfig

PAI-FeatureStore

協調フィルタリングには、固定スキーマを持つ 2 つのテーブルが必要です。user_id に基づいてアイテムリストを取得する u2i テーブルと、類似アイテムを取得する i2i テーブルです。

両方のテーブルのデータは MaxCompute で生成され、オフラインビューとして PAI-FeatureStore に登録する必要があります。必要な MaxCompute テーブルスキーマを以下に説明します。

u2i テーブル

以下に、PAI-FeatureStore にデータを登録する例を示します。

i2i テーブル

設定例：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "User2ItemFeatureViewName": "u2i_recall",
                "Item2ItemFeatureViewName": "i2i_collaborative",
                "Normalization": "on"
            }
        }
    ]
}

UserCollaborativeDaoConfig

Tablestore

協調フィルタリングには、固定スキーマを持つ 2 つのテーブルが必要です。user_id に基づいてアイテムリストを取得する u2i テーブルと、類似アイテムを取得する i2i テーブルです。

u2i テーブル

i2i テーブル

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "tablestore_info",
                "User2ItemTable": "u2i_table",
                "Item2ItemTable": "i2i_table",
                "Normalization": "on"
            }
        }
    ]
}

Redis

Redis の協調フィルタリングプロセスは独自のもので、2 つのステップで構成されます。

• RedisPrefix 値とユーザー ID (uid) を連結してキーを作成し、u2i リストをクエリします。結果は、次のいずれかの形式の文字列です: item_id1,item_id2,item_id3... または item_id1:score1,item_id2:score2,item_id3:score3...。

• i2i リストをクエリします。前のステップで取得したアイテム ID を使用して MGET コマンドを実行します。i2i データも文字列で、次の形式です: item_id1:score1,item_id2:score2,item_id3:score3...。

設定例：

{
    "RecallConfs": [
        {
            "Name": "collaborative_filter",
            "RecallType": "UserCollaborativeFilterRecall",
            "RecallCount": 1000,
            "UserCollaborativeDaoConf": {
                "AdapterType": "redis",
                "RedisName": "redis_info",
                "RedisPrefix": "cr_",
                "Normalization": "on"
            }
        }
    ]
}

Hologres

この方式は、協調フィルタリングと同じロジックでデータを取得しますが、ユーザー行動履歴テーブルから U2I データをリアルタイムで計算します。

システムは、ログに基づいてユーザー行動履歴テーブルをリアルタイムで更新し、リアルタイムリコールを実現します。

協調フィルタリングと同様に、この方式も u2i2x2i をサポートしています。まず、アイテムの x 属性を取得し、次に同じ属性を持つ他のアイテムをリコールします。

ユーザー行動履歴テーブル

i2i テーブル (u2i2i の場合のみ必要)

i2x テーブル (u2i2x2i の場合のみ必要)

x2i テーブル (u2i2x2i の場合のみ必要)

行動テーブルを作成するステートメント：

BEGIN;
CREATE TABLE "sv_rec"."user_behavior_seq" (
  "user_id" text NOT NULL,
  "item_id" text NOT NULL,
  "event" text NOT NULL,
  "play_time" float8  NULL,
  "timestamp" int8 NOT NULL
);
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'orientation', 'column');
call set_table_property('"sv_rec"."user_behavior_seq"', 'distribution_key', '"user_id"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'clustering_key', '"user_id:asc","timestamp:desc"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'bitmap_columns', '"user_id","event"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'dictionary_encoding_columns', '"user_id:auto","item_id:auto","event"');
CALL SET_TABLE_PROPERTY('"sv_rec"."user_behavior_seq"', 'time_to_live_in_seconds', '2592000');
comment on table "sv_rec"."user_behavior_seq" is 'ユーザーのリアルタイム行動シーケンス';
comment on column "sv_rec"."user_behavior_seq"."user_id" is 'ユーザーID';
comment on column "sv_rec"."user_behavior_seq"."item_id" is 'アイテムID';
comment on column "sv_rec"."user_behavior_seq"."event" is 'イベントタイプ';
comment on column "sv_rec"."user_behavior_seq"."play_time" is '閲覧または再生時間';
comment on column "sv_rec"."user_behavior_seq"."timestamp" is 'タイムスタンプ（秒単位）';
COMMIT;

設定例：

{
    "RecallConfs": [
        {
            "Name": "RealTimeEtrecRecall",
            "RecallType": "RealTimeU2IRecall",
            "RecallCount": 200,
            "RealTimeUser2ItemDaoConf": {
                "UserTriggerDaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "holo_info",
                    "HologresTableName": "user_behavior_table",
                    "WhereClause": "event='xxx'",
                    "Limit": 200,
                    "EventPlayTime": "playback:5000;playvslide:5000",
                    "EventWeight": "playback:1;playvslide:2",
                    "WeightExpression": "exp((-0.2)*((currentTime-eventTime)/3600/24))",
                    "WeightMode": "sum",
                    "NoUsePlayTimeField": false
                },
                "Item2ItemTable": "i2i_table",
                "SimilarItemIdField": "similar_item_ids"
            }
        }
    ]
}

u2i2x2i 設定例：

{
    "RecallConfs": [
        {
            "Name": "RealTimeU2I2X2IRecall",
            "RecallType": "RealTimeU2IRecall",
            "RecallCount": 200,
            "RealTimeUser2ItemDaoConf": {
                "UserTriggerDaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "holo_info",
                    "HologresTableName": "user_behavior_table",
                    "WhereClause": "event='xxx'",
                    "Limit": 200,
                    "EventPlayTime": "playback:5000;playvslide:5000",
                    "EventWeight": "playback:1;playvslide:2",
                    "WeightExpression": "exp((-0.2)*((currentTime-eventTime)/3600/24))",
                    "WeightMode": "sum",
                    "NoUsePlayTimeField": false
                },
                "Item2XTable": "i2x_table",
                "X2ItemTable": "x2i_table",
                "XKey": "category",
                "XDelimiter": ","
            }
        }
    ]
}

RealTimeUser2ItemDaoConf：

PAI-FeatureStore

この方式は、協調フィルタリングと同じロジックでデータを取得しますが、ユーザー行動履歴テーブルから U2I データをリアルタイムで計算します。

システムは、ログに基づいてユーザー行動履歴テーブルをリアルタイムで更新し、リアルタイムリコールを実現します。

PAI-FeatureStore プラットフォームでは、行動シーケンス特徴量ビューを使用してユーザー行動履歴データを保存できます。

ユーザー行動履歴テーブル

i2i テーブル

設定例：

{
    "RecallConfs": [
        {
            "Name": "realtimeu2i",
            "RecallType": "RealTimeU2IRecall",
            "RecallCount": 200,
            "RealTimeUser2ItemDaoConf": {
                "UserTriggerDaoConf": {
                    "AdapterType": "featurestore",
                    "FeatureStoreName": "fs_pairec",
                    "FeatureStoreViewName": "user_behavior_table",
                    "TriggerCount": 100,
                    "EventWeight": "click:1;order:1",
                    "WeightExpression": "exp((-0.2)*((currentTime-eventTime)/3600/24))",
                    "WeightMode": "sum",
                    "NoUsePlayTimeField": false,
                    "ItemIdFieldName": "item_id",
                    "EventFieldName": "event",
                    "PlayTimeFieldName": "playtime",
                    "TimestampFieldName": "event_unix_time"
                },
                "Item2ItemFeatureViewName": "i2i_collaborative",
                "SimilarItemIdField": "similar_item_ids"
            }
        }
    ]
}

RealTimeUser2ItemDaoConf：

Hologres

ユーザー ID に基づいてアイテムのリストを取得します。このテーブルは、事前定義されたスキーマを使用します。

U2I テーブル

設定例：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "user_item_table"
            }
        }
    ]
}

PAI-FeatureStore

ユーザー ID に基づいてアイテムのリストを取得します。このテーブルは、事前定義されたスキーマを使用します。

このテーブルのデータは MaxCompute で生成され、PAI-FeatureStore にオフライン特徴量ビューとして登録する必要があります。MaxCompute テーブルでは、次のスキーマを使用する必要があります。

U2I テーブル

設定例：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "u2i_recall"
            }
        }
    ]
}

Tablestore

ユーザー ID に基づいてアイテムのリストを取得します。このテーブルは、事前定義されたスキーマを使用します。

U2I テーブル

設定例：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "ots_info",
                "TableStoreTableName": "user_item_table"
            }
        }
    ]
}

Redis

設定例：

{
    "RecallConfs": [
        {
            "Name": "user2item_recall",
            "RecallType": "UserCustomRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "redis",
                "RedisName": "redis_info",
                "RedisPrefix": ""
            }
        }
    ]
}

Hologres

ユーザーグループホットリコールテーブルには、事前定義されたスキーマがあります。

group_hot_table

trigger_id は、地域や OS などのユーザー特徴量とコンテキスト情報を組み合わせたものです。

• 特徴量の値をアンダースコア (_) で順序通りに連結して trigger_id を作成します。

• 特徴量の値が空の場合は、文字列 "NULL" を使用します。

• Boundaries パラメーターを含む特徴量は、左開右閉区間に離散化する必要があります。例えば、年齢の境界値が [20, 30, 40, 50] の場合、結果のトリガー値は <=20、20-30、30-40、40-50、および >50 となります。

ユーザーの年齢が 23 の場合、"20-30" に対応します。

ユーザーの年齢が空の場合、"NULL" に対応します。

ユーザーの年齢が 60 の場合、">50" に対応します。

ユーザーの年齢が 19 の場合、"<=20" に対応します。

Hologres テーブルの例：

この例では、性別、年齢、OS の 3 つの特徴量を使用します。

設定例：

{
    "RecallConfs": [
        {
            "Name": "user_group_hot_recall",
            "RecallType": "UserGroupHotRecall",
            "RecallCount": 500,
            "Triggers": [
                {
                    "TriggerKey": "gender"
                },
                {
                    "TriggerKey": "age",
                    "Boundaries": [20,30,40,50]
                },
                {
                    "TriggerKey": "os"
                }
            ],
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "group_hot_table"
            }
        }
    ]
}

PAI-FeatureStore

ユーザーグループホットリコールテーブルには、事前定義されたスキーマがあります。

このテーブルのデータは MaxCompute で準備します。テーブルを PAI-FeatureStore にオフライン特徴量ビューとして登録する必要があります。MaxCompute テーブルには次のスキーマが必要です：

group_hot_table

trigger_id は、地域や OS などのユーザー特徴量とコンテキスト情報を組み合わせたものです。

• 特徴量の値をアンダースコア (_) で順序通りに連結して trigger_id を作成します。

• 特徴量の値が空の場合は、文字列 "NULL" を使用します。

• Boundaries パラメーターを含む特徴量は、左開右閉区間に離散化する必要があります。例えば、年齢の境界値が [20, 30, 40, 50] の場合、結果のトリガー値は <=20、20-30、30-40、40-50、および >50 となります。

ユーザーの年齢が 23 の場合、"20-30" に対応します。

ユーザーの年齢が空の場合、"NULL" に対応します。

ユーザーの年齢が 60 の場合、">50" に対応します。

ユーザーの年齢が 19 の場合、"<=20" に対応します。

MaxCompute テーブルの例：

この例では、性別、年齢、OS の 3 つの特徴量を使用します。

この設定では、トリガー特徴量エンティティを使用します。

設定例：

{
    "RecallConfs": [
        {
            "Name": "user_group_hot_recall",
            "RecallType": "UserGroupHotRecall",
            "RecallCount": 500,
            "Triggers": [
                {
                    "TriggerKey": "gender"
                },
                {
                    "TriggerKey": "age",
                    "Boundaries": [20,30,40,50]
                },
                {
                    "TriggerKey": "os"
                }
            ],
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "group_hot_recall"
            }
        }
    ]
}

Hologres

グローバルホットリコールのテーブルスキーマはグループリコールのものと同じですが、グローバルホットリコールテーブルにはレコードが 1 つのみ含まれ、その trigger_id は -1 です。

設定例：

{
    "RecallConfs": [
        {
            "Name": "UserGlobalHotRecall",
            "RecallType": "UserGlobalHotRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "global_hotness_table"
            }
        }
    ]
}

PAI-FeatureStore

グローバルホットリコールのテーブルスキーマはグループリコールのものと同じですが、グローバルホットリコールテーブルにはレコードが 1 つのみ含まれ、その trigger_id は -1 です。

テーブルデータは MaxCompute で生成されます。オフライン FeatureView を使用して、テーブルを特徴量ストアに登録する必要があります。MaxCompute テーブルのスキーマは次のとおりです：

設定例：

{
    "RecallConfs": [
        {
            "Name": "UserGlobalHotRecall",
            "RecallType": "UserGlobalHotRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "global_hot_recall"
            }
        }
    ]
}

Tablestore

グローバルホットリコールのテーブルスキーマはグループリコールのものと同じですが、グローバルホットリコールテーブルにはレコードが 1 つのみ含まれ、その trigger_id は -1 です。

設定例：

{
    "RecallConfs": [
        {
            "Name": "UserGlobalHotRecall",
            "RecallType": "UserGlobalHotRecall",
            "RecallCount": 500,
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "ots_info",
                "TableStoreTableName": "global_hotness_recall"
            }
        }
    ]
}

Hologres

{
    "RecallConfs": [
        {
            "Name": "AllLiveItemRecall",
            "RecallType": "ColdStartRecall",
            "RecallCount": 3000,
            "ColdStartDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "item_status_table",
                "WhereClause": "islist_status=1",
                "PrimaryKey": "\"item_id\"",
                "TimeInterval": 0
            }
        }
    ]
}

ColdStartDaoConf：

API リクエストの特徴量やユーザー特徴量に基づいて候補セットをフィルタリングするために WhereClause を使用できます。例えば、言語とユーザーの都市で候補セットをフィルタリングするには、WhereClause を次のように設定できます：

"language=${context.features.language} AND city=${user.city}"

この例では、language は API リクエストの特徴量フィールドから取得され、city はユーザー特徴量です。

パラメーターのソースは次のフォーマットに従います：

• user.xxx：xxx という名前のユーザー特徴量の値を取得します。

• context.features.xxx：API リクエストの特徴量フィールドから xxx という名前の特徴量の値を取得します。

PAI-FeatureStore

この機能は、アイテム ID をプライマリキーとして使用する FeatureView からアイテム ID のバッチをランダムにリコールします。

{
    "RecallConfs": [
        {
            "Name": "item_cold_start_recall",
            "RecallType": "ColdStartRecall",
            "RecallCount": 200,
            "ColdStartDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "rec_sln_demo_item_table_preprocess_all_feature_v1"
            },
            "FilterParams": [
            ]
        }
    ]
}

FeatureStoreViewName で指定された FeatureView は、オフラインまたはリアルタイムの FeatureView のいずれかです。リアルタイムの FeatureView を使用する場合、この設定により、新しく追加されたアイテム ID のリアルタイムリコールも有効になります。

FilterParams が空の場合、フィルター条件は適用されず、アイテム ID はランダムにリコールされます。特定のアイテム ID をフィルターするには、FilterParams を使用します。

{
            "Name": "item_cold_start_recall",
            "RecallType": "ColdStartRecall",
            "RecallCount": 200,
            "ColdStartDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "rec_sln_demo_item_table_preprocess_all_feature_v1"
            },
            "FilterParams": [
                {
                    "Name": "click_count",
                    "Type": "int",
                    "Operator": "greater",
                    "Value": "15"
                },
                {
                    "Name": "category",
                    "Type": "string",
                    "Operator": "in",
                    "Value": "user.category"
                }
            ]
        }

上記の例では、Value フィールドの user. プレフィックスは、値をユーザー特徴量から取得することを示します。例えば、user.category はユーザーの category 特徴量から値を取得します。

Operator パラメーターの使用方法の詳細については、「付録」をご参照ください。

Hologres

I2I リコールは類似性レコメンデーションに使用されます。類似アイテムを取得するには、ソースアイテムの item_id を渡す必要があります。API 定義については、「APIテスト」をご参照ください。

設定例：

{
    "RecallConfs": [
        {
            "Name": "I2IRecall",
            "RecallType": "ItemCollaborativeFilterRecall",
            "RecallCount": 500,
            "ItemCollaborativeDaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "Item2ItemTable": "item_collaborative_list"
            }
        }
    ]
}

次の表で、設定パラメーターを説明します。

Item2ItemTable テーブルは次のように定義されます。

PAI-FeatureStore

I2I リコールは類似性レコメンデーションに使用されます。類似アイテムを取得するには、ソースアイテムの item_id を渡す必要があります。API 定義については、「APIテスト」をご参照ください。

FeatureStoreViewName で指定されたデータテーブルビューは、次のように定義されます。

設定例：

{
    "RecallConfs": [
        {
            "Name": "I2IRecall",
            "RecallType": "ItemCollaborativeFilterRecall",
            "RecallCount": 200,
            "ItemCollaborativeDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "i2i_recall"
            }
        }
    ]
}

次の表で、設定パラメーターを説明します。

API に渡される item_id が複数値フォーマットで、, で区切られている場合は、次の設定をご参照ください。

{
    "RecallConfs": [
        {
            "Name": "I2IRecall",
            "RecallType": "ItemCollaborativeFilterRecall",
            "RecallCount": 200,
            "ItemCollaborativeDaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "i2i_recall"
            },
            "EnableMultipleItemId": true,
            "MultipleItemIdDelimiter": ","
        }
    ]
}