Artificial Intelligence Recommendation:Swingアルゴリズム

Swingアルゴリズムの概要

Swingは、Alibabaによって作成された新しいマッチングアルゴリズムです。共通の隣接ノード、Adamic/Adar、コサイン類似度、Jaccard類似度、コサイン、Rooted PageRankなど、ノードの近接性に基づいてノードの類似度を計算する従来のアルゴリズムとは異なり、Swingはグラフ構造を考慮し、高次元グラフ構造を持つ2ホップノードに拡張できます。 Swingはノイズに強く、従来の協調フィルタリングアルゴリズムと比較して精度が大幅に向上します。

Swingによって取得されたアイテム間（I2I）インデックスは、最も重要な基本データとして、モバイルフォンやPCの淘宝網の多くのレコメンデーションシーンで広く使用されています。 Swingは、AlibabaグループのTTPODおよびAlimamaの広告サービスでも使用されており、明らかなメリットをもたらしています。

サンプルの準備

1. 入力テーブルを作成します。

CREATE TABLE IF NOT EXISTS swing_test_input
(
  user_id   bigint,
  item_list string -- item_listは必須フィールドであり、少なくともitem_id、timestamp、およびnormサブフィールドで構成されます。 item_listには、ユーザーがクリックしたアイテムが順番に含まれています。
)
lifecycle 7;

item_list 内のアイテムはセミコロン (;) で区切られます。各アイテムの情報は、item_id、norm、timestamp の少なくとも 3 つのサブフィールドで構成されます。item_id は最初のサブフィールドである必要があります。timestamp サブフィールドの値は、%Y%m%d%H%M%S フォーマットである必要があります。timestamp サブフィールドを使用する必要がない場合は、すべてのアイテムに同じ値を指定できます。norm は、アイテムの最近の人気度 (クリック数) を表します。使用する必要がない場合は、すべてのアイテムに 1 を指定できます。item_list 内のアイテムは、アイテムがクリックされた時間に基づいて、最も古いものから最も新しいものへと順番にリストされる必要があります。

2. 出力テーブルを作成します。

CREATE TABLE IF NOT EXISTS swing_test_result
(
    item_id   BIGINT COMMENT 'アンカーアイテムID',
    item_list STRING COMMENT '類似アイテムのリスト'
)
LIFECYCLE 7;

出力テーブルは、item_id と item_list の 2 つの列で構成されます。item_list 列は、item_id1,score1,coccur1,ori_score1;item_id2,score2,coccur2,ori_score2 というフォーマットです。ori_score1 は元の類似度スコアです。score1 は、最大値が正規化された後に生成されたスコアです。coccur1 は共起の数です。

PAIコマンド

pai -name swing_rec_ext 
    -project algo_public 
    -DinputTable='swing_test_input/ds=20250809'
    -DoutputTable='swing_test_result/ds=20250809'
    -DmaxClickPerUser='500'
    -DmaxUserPerItem='600'
    -Dtopk='100'
    -Dalpha1='5'
    -Dalpha2='1'
    -Dbeta='0.3'

アルゴリズムパラメーター

式[1]:

$$sim(i,j)=\sum _{u\in U(i)\cap U(j)}\sum _{v\in U(i)\cap U(j),v\ne u}\frac{1}{(|I(u)|+{\alpha }_1{)}^{\beta }(|I(v)|+{\alpha }_1{)}^{\beta }}\frac{1}{|I(u)\cap I(v)|+{\alpha }_2}\frac{1}{\sqrt{N_j}}$$