Important Practice of edge computing in Taobao Recommendation System

​1. 序文

1.1 エッジコンピューティング vs クラウドコンピューティング

過去 10 年間、ビッグデータに支えられたクラウドコンピューティングは目覚ましい発展を遂げてきましたが、同時にいくつかの課題にも直面しています。インターネットアプリケーションとユーザー規模の爆発的な成長に伴い、5G の普及と帯域幅の増加がクラウドストレージへの負荷をもたらしています。現在、オンラインシステムにおける大規模ニューラルネットワークのデプロイがますます一般的になり、クラウドコンピューティングに多大な負荷をかけています。リアルタイム性の高いアプリケーションでは、クラウドとの間の膨大な通信オーバーヘッドがインタラクションとユーザー体験のボトルネックとなっています。また、「集中型」コンピューティングモデルは運用コストと障害リスクももたらします。

エッジコンピューティングの概念自体は以前から提唱されていました。近年の端末デバイスのストレージおよびコンピューティング能力の急速な発展、特にスマートフォンの性能向上（各種 CPU や GPU のベンチマークスコア、メモリの大容量化）が主要なセールスポイントとなり、そのコンピューティング能力は現時点ではまだ十分に活用されているとは言えません。さらに、エッジコンピューティングの優位性は次の 4 点にあります。1）データのローカライズにより、クラウドストレージとプライバシーの問題を解決する。2）コンピューティングのローカライズにより、クラウドコンピューティングの過負荷問題を解決する。3）通信コストの低減により、インタラクションとユーザー体験の問題を解決する。4）分散コンピューティングにより、障害回避と高度なパーソナライゼーションを実現する。

1.2 レコメンデーションシステムの課題

モバイル時代に完全に移行した現在、情報過多の問題を解決するため、ますます多くのレコメンデーションシーンが登場しています。特にリスト形式のレコメンデーションを主体とする情報フィードレコメンデーションが代表的です。モバイルタオバオの情報フィードを例に取ると、「あなたが好きそうなもの」のシーンに入るユーザーは、興味が明確でない場合がよくあります。ユーザーは閲覧時に明確なプロダクトニーズを持たないことが多いですが、ショッピングプロセスの中で徐々に購入したいプロダクトを発見していきます。レコメンデーションシステムは、ユーザーの閲覧過程でさまざまなタイプの商品をクライアントに配信し、ユーザーに選択肢を提示します。レコメンデーションシステムはこの過程でユーザーの興味の変化を捉え、ユーザーの興味にさらに合致したプロダクトをレコメンドします。しかし、ユーザーの興味が変化したときに、レコメンデーションシステムは即座に対応できるでしょうか？

従来のレコメンデーションシステムのアプローチは、クライアントからのリクエストを受けてクラウドサーバーのプロダクトランキングをトリガーし、ランキング済みのプロダクトをユーザーに送信し、端末側でそれに合わせてプロダクトを提示するというものでした。この方式には 2 つの問題があります。

レコメンデーションシステムの意思決定の遅延：クラウドサーバーの QPS 制約により、情報フィードのレコメンデーションはページングリクエストの形式で行われます。その結果、クラウド側のレコメンデーションシステムがエンドユーザーにレコメンドする内容を調整する機会が少なくなり、ユーザーの興味の変化にタイムリーに対応できません。下図に示すように、ユーザーが 4 番目のプロダクトとのインタラクションで「バイク」を好まないことを示しても、ページングリクエストは 50 プロダクト単位でしか行われないため、ページ後方の他の「バイク」プロダクトをタイムリーに調整できません。

ユーザー行動のリアルタイム認識の遅延：現在、レコメンデーションシステムのパーソナライゼーションは、ユーザーとプロダクトのインタラクション行動を特徴として表現していますが、ユーザーの行動は実際にはクライアント側で発生します。レコメンデーションシステムモデルがユーザーの行動特徴を取得するには、端末側のデータをサーバーに送信する必要があり、これにより遅延問題が生じます。下図に示すように、ユーザー行動の遅延は 10 秒〜 1 分に達する可能性があります。同時に、ネットワーク帯域幅の遅延問題により、他の多数の詳細なユーザー行動（プロダクトのリアルタイム露出、ユーザーのスワイプジェスチャーなど）をモデル化できません。

以上の通り、現在のレコメンデーションシステムの課題は、ユーザーの嗜好の変化と、レコメンデーションシステムによるユーザー認識およびコンテンツ調整のタイミングが一致しておらず、レコメンドされるコンテンツがユーザーがその瞬間に求めているものではないという点にあります。

1.3 エッジコンピューティング + レコメンデーションシステム

エッジコンピューティングの優位性は、エッジノード（ここではモバイル端末を指す）が「自律的思考」能力を持つことで、一部の意思決定と計算がクラウドに依存しなくなり、端末側でよりリアルタイムかつ戦略的に結果を出せる点にあります。リアルタイム性について言えば、5G 時代の到来により低レイテンシ特性が端末とクラウド間のインタラクション時間を大幅に短縮しますが、だからといって端末インテリジェンスを活用した低コストの意思決定と迅速な応答の実現に影響するものではありません。もう一つの優位性は、クラウドとより密接に連携できることです。さらに、ユーザーの意図を秒単位で感知して端末側で意思決定できるため、プロダクトとユーザーの距離がさらに近づき、よりリアルタイムなインタラクションが生まれています。新しいコンテンツをフィードバックするのではなく、ユーザーが特定の意図を示したときに、その意図に合致したコンテンツをどのように提供すべきかを考える必要があります。

端末側の EdgeRec レコメンデーションシステムは、エッジコンピューティングのリアルタイム認識とリアルタイムフィードバックを活用し、現在のクライアントサーバーアーキテクチャのレコメンデーションシステムが抱えるリアルタイム認識とリアルタイムフィードバック能力の不足を解決します。EdgeRec レコメンデーションシステムは、デバイス側ユーザー意図認識、デバイス側再ランキング、デバイス側リアルタイムカード挿入などの機能を提供します。ユーザーの意図を端末側で秒単位に感知して意思決定し、その意図に合致したフィードバックを提供することで、ユーザーのクリック意欲と閲覧意欲が向上し、ウォーターフロー全体の体験が一新されます。

2. デバイス側アルゴリズムモデル
2.1 概要

下図 (a) に示すように、EdgeRec のエンドツーエンドレコメンデーションアルゴリズムモデルは、主に「デバイス側リアルタイムユーザー認識」と「デバイス側リアルタイム再ランキング」の 2 つのモジュールで構成されます。このうち、「デバイス側リアルタイムユーザー認識」は異種ユーザー行動シーケンスモデリングとしてモデル化され、「アイテム露出 (IE) 行動シーケンスモデリング」と「アイテムページビュー (IPV) 行動シーケンスモデリング」の 2 つの部分から成り立ちます。「デバイス側リアルタイム再ランキング」は、行動アテンションネットワーク (BAN) を用いた再ランキングとしてモデル化されます。以下では、これら 2 つのモジュールについて詳しく説明します。

2.2 デバイス側リアルタイムユーザー認識

2.2.1 意義

まず、パーソナライズされた検索とレコメンデーションにおいて、「千人千面」は特徴のパーソナライゼーションから生まれます。「パーソナライゼーション」は主にユーザーの行動データに依存します。DIN [1] などの先行研究を参照すると、いずれもユーザーが最近インタラクションしたアイテムのシーケンスをモデル化し、パーソナライゼーションモデルの入力としています。しかし、これまでの研究では一般的にユーザーとプロダクト間の「ポジティブフィードバック」のインタラクション（クリック、購入など）のみを考慮し、「ネガティブフィードバック」のインタラクション（露出など）はほとんど考慮されてきませんでした。確かに「ポジティブフィードバック」の特徴は比較的明確でノイズも少ないですが、ユーザーとプロダクト間のリアルタイムの「ネガティブフィードバック」インタラクションも非常に重要だと私たちは考えています。直感的な例を挙げると、あるカテゴリのプロダクトがリアルタイムで複数回露出された後、そのカテゴリのプロダクトのクリック率は大幅に低下します。

一方で、「パーソナライゼーションモデル」に関するこれまでの研究は、一般的にユーザーと「インタラクション」したプロダクトの特徴のみを考慮していました。この文のキーワードは「インタラクション対象プロダクト」です。しかし、ユーザーとプロダクト間の「インタラクションアクション」も実際には非常に重要です。たとえば、プロダクトをクリックした後の詳細ページでのユーザーの行動は、そのプロダクトへの真の嗜好を反映しており、実データには「疑似」クリックが存在する可能性があります。具体的には、ユーザーがあるプロダクトをクリックしなかったとしても、そのプロダクトに対するユーザーの露出が非常に集中していた、つまりプロダクトの露出持続時間が非常に長かった場合、この状況は必ずしもクリックなしがユーザーが好まないことを意味するとは限りません。特に現在、情報フィードレコメンデーションページのプロダクト画像表示がますます大型化し、さまざまなキーワードが表示され、動画の自動再生も可能になっています。クリックは一部のユーザーにとって非常に「贅沢な」ポジティブフィードバックになっているかもしれません。

最後に、レコメンデーションシーンにおけるユーザーの「リアルタイム行動」も非常に重要だと私たちは考えています。たとえば、ユーザーがリアルタイムでクリックして好ましくないというネガティブフィードバックを示した場合や、あるカテゴリがリアルタイムで複数回露出されたにもかかわらずクリックされなかった場合、これらはいずれもその瞬間のユーザーの嗜好を反映しています。したがって、レコメンデーションシステムはユーザーの嗜好をリアルタイムでモデル化し、タイムリーに調整する能力を備える必要があります。

以上の通り、デバイス側リアルタイムユーザー認識の意義は次の 5 点に集約されます。

2.2.2 リアルタイム行動特徴システム

上記の分析に基づき、現在のクラウドレコメンデーションアルゴリズムのユーザー認識モデリングと比較して、デバイス側リアルタイムユーザー認識には以下の特徴が必要です。1）「ポジティブフィードバック依存」から「ポジティブ・ネガティブ両フィードバック重視」への進化、2）「インタラクション対象プロダクト」から「プロダクトとのインタラクションの程度」への進化、3）「準リアルタイムインタラクション」から「超リアルタイムインタラクション」への進化。これら 3 つの特徴は端末側の特徴として反映される必要があります。上記 3 つの特徴に基づき、私たちはタオバオクライアントの BehaviX チームと共同で、情報フィードレコメンデーションシステム向けのリアルタイムユーザー行動特徴システムを設計しました。下図に示すように、端末側のリアルタイムユーザー行動特徴は主に「(a) プロダクト露出行動」と「(b) プロダクト詳細ページ行動」の2 つの部分から成り立ちます。

2.2.3 異種行動シーケンスのモデリング

ここでの異種性には 2 つの側面があります。第一に、「ユーザー行動 (Action)」と「インタラクション対象プロダクト (Item)」の異種性です。第二に、「ウォーターフロー（露出）行動（アイテム露出 (IE) 行動）」と「アイテムページビュー (IPV) 行動」の異種性です。まず、モデル入力の構成について説明します。1）ユーザー行動をペア として定義し、行動シーケンスをリスト () として定義します。2）アイテム露出 (IE) 行動シーケンスでは、「item」は露出されたアイテム、「action」はウォーターフロー内でのユーザーのそのアイテムに対するインタラクション（露出時間、スクロール速度、スクロール方向など）です。3）アイテムページビュー (IPV) 行動シーケンスでは、「item」はクリックされたアイテム、「action」は詳細ページでのユーザーのそのアイテムに対するインタラクション（滞在時間、カート追加の有無、お気に入り登録の有無など）です。

上記モデル図 (a) は、異種ユーザー行動シーケンスモデリングのネットワーク構造図のフレームワークを示しています。ここでは 2 つのポイントに注目します。1）「プロダクト露出行動シーケンス (IE 行動シーケンス)」と「プロダクト詳細ページ行動シーケンス (IPV 行動シーケンス)」をまず個別にモデル化し、最後に（必要に応じて）統合します。ここでの主な考慮点は、クリック行動は一般的に比較的スパースであるのに対し、露出行動は非常に多いため、最初に 1 つの行動シーケンスに統合してからモデル化すると、モデルが露出行動に支配される可能性が高いということです。2）プロダクト特徴 (Item) と行動アクション特徴 (Action) を先にエンコードしてから、統合 (Fusion) を行います。ここでの主な考慮点は、プロダクト特徴と行動アクション特徴は異種入力であるため、下流タスクが特定のプロダクトに注意を払う必要がある場合、同種入力へのアテンションのみが意味を持つということです。後ほど、デバイス側再ランキングモデルについて説明する際に、この問題に改めて触れます。

ここでは、プロダクト特徴シーケンス（IE Item Sequence および IPV Item Sequence を含む）を GRU ネットワークでエンコードし、行動アクション特徴シーケンス（IE Action Sequence および IPV Action Sequence を含む）を恒等関数で直接エンコードします。プロダクトシーケンス埋め込み（IE Item Embedding および IPV Item Embedding を含む）と行動シーケンス埋め込み（IE Action Embedding および IPV Action Embedding を含む）の統合 (Fusion) には、シンプルな Concat 操作を使用して、行動シーケンス埋め込み（IE Behavior Embedding および IPV Behavior Embedding を含む）を取得します。

2.3 デバイス側再ランキング

2.3.1 意義

デバイス側再ランキングはデバイス側レコメンデーションの基盤であり、リアルタイムにプロダクトのレコメンド順序を変更する能力を持ちます。デバイス側再ランキングは、ユーザーのローカルドメインにおけるレコメンデーション最適化、つまり現在のページのレコメンデーション結果内での最適化と見なせます。デバイス側再ランキングはリアルタイムユーザー認識に依存し、リアルタイムのポジティブ／ネガティブフィードバック（露出、詳細ページ）およびより詳細なユーザー行動特徴に基づいて、情報フィード内のランキング済みプロダクトを継続的に再排序し、情報フィードのリアルタイム認識 + リアルタイムレコメンデーションを真に実現します。

再ランキングのタスクには、検索とレコメンデーションの両分野で多くの先行研究があります。これらの研究の核心は、実際にはコンテキスト認識ランキングです。ここでのコンテキストは、ソート対象アイテム間のコンテキストを指します。コンテキストの構築モジュールは多様で、RNN、Transformer、または手動定義のグローバル特徴 + DNN などがあります。

端末側の EdgeRerank のリアルタイム再ランキングも同様にコンテキスト認識ランキングに基づいていますが、ここでのコンテキストはソート対象アイテム間のコンテキストだけでなく、リアルタイムユーザー行動（アイテムのリアルタイム露出、アイテムのリアルタイムクリック、ユーザーインタラクション行動）のコンテキストも含みます。これらのコンテキスト情報を通じて、EdgeRerank は次のことが可能です。既にランキング済みの内容を把握し、その前のランキングに対するユーザーの行動も把握した上で、ソート対象プロダクトのコンテキストを考慮して最適なランキング方法を決定します。以下では、デバイス側再ランキングのモデルフレームワークに焦点を当てます。これを行動アテンションネットワーク (BAN) を用いた再ランキングと呼びます。

2.3.2 行動アテンションネットワークを用いた再ランキング

上記モデル図 (a) は、行動アテンションネットワークを用いた再ランキングのネットワーク構造図のフレームワークを示しています。背景で述べたように、EdgeRerank は 2 種類のコンテキスト情報を考慮します。ソート済みプロダクト間のコンテキストのモデル化には、引き続き一般的なシーケンスモデリング手法を使用し、GRU ネットワークを導入してプロダクトコレクションをエンコードします。ユーザーのリアルタイム行動のコンテキストを考慮するために、ここでも一般的な手法、すなわちアテンション（ターゲットアテンションとも呼ばれる）を使用します。リアルタイムユーザー認識における異種行動シーケンスモデリングの入力をリコールします。ユーザー行動はペア として定義され、行動シーケンスはリスト () として定義されます。ここで「商品」はユーザーがインタラクションするアイテムを指し、「アクション」はユーザーがそのアイテムとインタラクションする行動を指します。上記ネットワーク図から分かるように、アテンションはソート対象のプロダクトと行動シーケンス内のプロダクトに作用し、これは実際にはプロダクト間の関係です。アテンションに詳しい方なら (Query, Key, Value) の三つ組をご存知でしょう。このモデルでは、Query はソート対象プロダクトのエンコード結果（候補アイテム埋め込み）、Key は行動シーケンス内のプロダクトのエンコード結果（IE Item Embedding および IPV Item Embedding を含む）、Value は行動シーケンス統合後の埋め込み結果（IE Behavior Embedding および IPV Behavior Embedding を含む）です。平易に説明すると、ソート対象プロダクトコレクションのあるプロダクトについて、まずユーザーがインタラクションしたプロダクトの特徴を把握し、類似の特徴を持つプロダクトに注目してサイト上での実際のパフォーマンスを確認し、これらを総合して当該プロダクトのランキングの判断基準とします。

3. 実験効果
3.1 オフライン実験

デバイス側リアルタイムユーザー認識をコンテキストとしてデバイス側再ランキングに導入する有効性を検証するため、まずオフライン実験を実施しました。比較方法と実験結果を下表に示します。


ここで、baseline はデバイス側のリアルタイムユーザー行動コンテキストを考慮しない再ランキングを意味します。w/ IE および w/ IPV は、それぞれプロダクト露出行動とプロダクト詳細ページ行動のみをコンテキストとして考慮した場合を意味します。All は完全なモデルを意味します。

3.2 オンライン効果

独身の日に、EdgeRec レコメンデーションシステムは端末側でクリック重視および取引重視の再ランキング機能を提供しました。タオバオのホームページの「あなたが好きそうなもの」で 5 億回実行されました。EdgeRec を有効にしなかった場合と比較して、クリック重視の端末側再ランキングプロダクトのクリック数は 10% 増加し、取引重視の端末側再ランキングプロダクトの取引額は 5% 増加しました。EdgeRec はプロダクトレコメンデーションの精度を向上させ、ユーザーの意図に対してよりタイムリーなフィードバックを提供します。その最も顕著な表れは、情報フィードページの最後尾のカードのクリック率が大幅に向上したことです。

4. まとめ

EdgeRec はエッジコンピューティングの方向性におけるレコメンデーションアルゴリズムの最初の試みです。得られたビジネス結果から判断して、その発展の可能性は非常に大きいと言えます。デバイス側のコンピューティング能力を活用することで、より深いモデルがデバイス側で推論を実行できるようになり、デバイス側でモデルを実行してクラウド側でのリアルタイム行動取得の難しさとリアルタイムなポリシー調整能力の不足を補えます。さらに、デバイス側のコンピューティング能力はモデル推論だけでなく、デバイス側でのトレーニングにも活用でき、各ユーザー専用の個別モデルをトレーニングすることで、デバイス側インテリジェンスのさらなる発展の余地をもたらします。