How to apply GCN in a 1 billion node heterogeneous network

1 はじめに

構成において、ユーザーと商品の間のインタラクションは、通常、エッジ接続の最も直接的かつ効果的な手段です。これはユーザーの嗜好を明示的に表すものであり、レコメンデーション効果の一定の改善を達成しています。この方式の最大の問題は、明示的インタラクションデータに大きなデータスパース性が存在することです。実際のシナリオでは、ネットワーク表現の豊かさを高めるために導入できる多様な異種情報が大量に存在します。たとえば、ユーザーの検索語、訪問したストア、好みのブランド、好みの属性などです。これらの特徴は、より豊かな意味表現と関連性の記述を強化できます。IntentGC は、本論文で提案される GCN に基づく統合ネットワーク埋め込み学習フレームワークであり、ユーザーと商品の間の明示的な嗜好関係と豊富な異種関係情報を統合して、レコメンデーションシステムの効果を向上させます。アルゴリズムの中核技術はグラフ畳み込みであり、古典的なグラフ畳み込みをベースに革新的な最適化を施して、ビジネスにおける強い異質性や大規模性といった重要な課題をより効果的に解決しています。
2. 問題定義

3. モデル設計

本論文で設計するモデルは、複数の情報を統合する大規模グラフ畳み込み学習アルゴリズムであり、二部異種グラフによるモデリングを採用し、損失設計にはトリプレット損失を使用しています。これにより、ユーザーの顕在的な嗜好とその表現を効果的に制御しながら学習に集中できます。学習プロセス全体は半教師ありモデルであり、E コマースシステム内の大量のラベルなし情報を効果的に活用して学習目標の精度を向上させます。ソリューションの中核は 3 つの部分で構成されます。1 つ目はネットワーク変換で、元のネットワークを無損失で変換します。2 つ目は高速畳み込みネットワークで、異種情報に対して効率的な畳み込みを実行します。3 つ目はデュアル畳み込みで、ネットワーク変換に基づいてユーザーと商品の表現を学習します。

ネットワーク変換

多様な異種ノードをネットワークに導入することで、より豊富な情報がもたらされると同時に、意味的不整合という課題も生じます。さまざまな異種ノードとエッジを持つ大規模ネットワークにおいて、ノードタイプを区別する計算は莫大な複雑さと計算負荷をもたらします。本論文では、二次類似性に基づき、関連研究を活用して元のネットワークをユーザー間または商品間の関係に変換します。類似性の計算は同じ補助情報の数に基づいて行われます。中核となる考え方は、u1 と u2 が同じ補助情報に接続されていれば u1 と u2 も関連しているというもので、ネットワーク内の異種ノードの意味情報をユーザー間関係または商品間関係にエンコードすることで、元のネットワーク情報の変換を実現します。

高速グラフ畳み込みネットワーク IntentNet

元の GCN は大規模グラフ上で計算する際に莫大な計算量を持ちます。内容は高次伝播方式を通じて伝播され、その複雑さは指数的になります。本論文で提案する高速グラフ畳み込みネットワーク IntentNet は、以下の 2 つの最適化を通じてこの問題を効果的に解決できます。第一に、畳み込み演算子において、すべてのニューロンが等しく重要であるとは限りません。活性化プロセスでは、最も関連性の高いニューロンのみが最大の効果を持つため、グラフ畳み込みをスパースネットワーク活性化として設計します。これはチャンネル共有のためのベクトル学習とも見なせ、ベクトル化畳み込みを通じて隣接情報の伝播を実現します。第二に、元の指数的な畳み込み複雑さは主に高次ノードに由来しますが、このトレーニング方式はデカップリング可能で、グラフビューとノードビューの 2 つのトレーニングモジュールに分割できることも分かりました。これら 2 つの観察に基づき、グラフ畳み込みを再設計し、全結合ネットワークを通じて特徴の組み合わせを実現しました。実験により、GraphSage よりも優れた効率と効果を備えていることが示されています。

a) ベクトル化畳み込み関数

b) IntentNet

畳み込みトレーニング方式は、グラフビューとノードビューの 2 つのトレーニングモジュールに分割するよう設計されており、両者の組み合わせによりグラフ畳み込みの機能を実現します。前者は前述のベクトル化畳み込み関数に基づき、複数の畳み込み層をスタッキングすることで隣接ノードの伝播関係を効果的に学習し、グラフ畳み込みのタスクを実現します。後者は全結合層に接続され、異なる次元のベクトル空間の特徴関係を学習します。

デュアル畳み込み

ユーザーと商品の表現とラベル情報を正確に記述するため、従来の GCN とは異なり、デュアル GCN 構造を設計して同じフレームワーク内で学習します。具体的な方式は、ユーザーは独立した畳み込みを行い、商品とネガティブサンプリングは共有畳み込みを行います。畳み込み層の最後で、密ネットワークを通じて 3 つを同じ意味空間に射影し、最後にトリプレット損失の方式で学習します。この構造の利点は、従来の GCN よりも精密な異種表現能力を持つことです。同時に、この方法は 2 つのデュアル畳み込みを収束させることができ、優れた半教師あり効果を持つことが証明されています。

IntentGC アルゴリズムフレームワーク

IntentGC アルゴリズムフレームワークは、主にネットワーク変換、トレーニング、推論の 3 つの部分で構成されます。トレーニング後、ユーザーと商品のベクトル表現を取得でき、k 近傍法の考え方を用いて検索とレコメンデーションを行います。

実験結果
実験では、IntentGC と既存アルゴリズムの効果比較、数十億規模のグラフ学習タスク処理における IntentNet と GraphSage の効率比較、および異種情報を追加したモデル学習能力の比較検証を主に行います。Taobao と Amazon のデータに基づいてオフライン評価を行い、DeepWalk、GraphSage、DSPR、Metapath2vec++、BiNE などのアルゴリズムと比較します。Taobao データセットと Amazon データセットでのオフライン評価結果、および Taobao 環境でのオンライン実験はいずれも本アルゴリズムの有効性を示しています。


5. まとめと展望

本論文は、複数の情報を統合する新しい大規模グラフ畳み込み学習方式を提案しました。実験により、E コマースシステム内の大量のラベルなし情報を活用することが商品レコメンデーションにおいて大きな価値を持つことが示されました。設計した高速グラフ畳み込み学習フレームワークは、10 億ノード規模のネットワーク構造のアプリケーションをサポートできます。商品レコメンデーションでの有効性が証明されたため、今後はこのフレームワークをより多くのタスクに適用したいと考えています。さらに、オンラインリアルタイムユーザー特徴の重要性を考慮し、動的グラフ畳み込みモデルを検討してモデルのリアルタイム特徴を向上させることも研究の方向性です。