Platform For AI:Collaborative filtering (etrec)

Fonctionnement

1. Lisez les enregistrements d'interaction utilisateur-élément depuis la table d'entrée (colonne utilisateur + colonne élément).

2. Pour chaque élément, identifiez les utilisateurs ayant interagi avec celui-ci et calculez les scores de similarité par rapport à tous les autres éléments en utilisant le type de similarité sélectionné.

3. Écrivez les N éléments les plus similaires pour chaque élément dans la table de sortie sous forme de paires clé-valeur (item_id:similarity_score).

Choisir un type de similarité

Sélectionnez l'algorithme de similarité en fonction des caractéristiques de vos données d'interaction :

Configurer le composant

Deux méthodes de configuration sont disponibles : la PAI console (visuelle) et les commandes PAI (basées sur SQL). Les deux exposent les mêmes paramètres.

PAI -name pai_etrec
    -project algo_public
    -DsimilarityType="wbcosine"
    -Dweight="1"
    -DminUserBehavior="2"
    -Dlifecycle="28"
    -DtopN="2000"
    -Dalpha="0.5"
    -DoutputTableName="etrec_test_result"
    -DmaxUserBehavior="500"
    -DinputTableName="etrec_test_input"
    -DuserColName="user"
    -DitemColName="item"

Exemple

Cet exemple crée une table d'entrée minimale, exécute l'algorithme de filtrage collaboratif et inspecte la sortie.

Étape 1 : Créez la table de données d'entraînement.

DROP TABLE IF EXISTS etrec_test_input;
CREATE TABLE etrec_test_input AS
SELECT *
FROM (
    SELECT CAST(0 AS STRING) AS user, CAST(0 AS STRING) AS item
    UNION ALL SELECT CAST(0 AS STRING), CAST(1 AS STRING)
    UNION ALL SELECT CAST(1 AS STRING), CAST(0 AS STRING)
    UNION ALL SELECT CAST(1 AS STRING), CAST(1 AS STRING)
) a;

La table etrec_test_input résultante :

Étape 2 : Exécutez la commande PAI.

DROP TABLE IF EXISTS etrec_test_result;
PAI -name pai_etrec
    -project algo_public
    -DsimilarityType="wbcosine"
    -Dweight="1"
    -DminUserBehavior="2"
    -Dlifecycle="28"
    -DtopN="2000"
    -Dalpha="0.5"
    -DoutputTableName="etrec_test_result"
    -DmaxUserBehavior="500"
    -DinputTableName="etrec_test_input"
    -DuserColName="user"
    -DitemColName="item";

Étape 3 : Consultez la table de sortie.

Interrogez etrec_test_result. Chaque ligne représente un élément et ses éléments les plus similaires, formatés sous forme de paires clé-valeur item_id:similarity_score.

L'élément 0 et l'élément 1 interagissent tous deux avec les mêmes deux utilisateurs, donc chacun présente un score de similarité de 1,0 avec l'autre.