Generation and Analysis of Personalized Recommendation Reasons for Knowledge

1. はじめに

テキスト生成システムは、知識ベースのパーソナライズドレコメンデーション理由を生成できます。ここには主に以下の課題があります。1. 生成されるコピーは文法的に正しく、表現が自然である必要がある。2. 食品の推薦理由など、知識に基づく表現は他フィールドの表現（たとえばおもちゃの説明でよく使われる「アセンブルしやすい」など）を使用してはならない。3. 推薦シナリオでのテキスト生成はできる限りパーソナライズされるべきである。同一の製品カテゴリ（現在は物理カテゴリですが、将来的にはグラフ埋め込みに基づく興味カテゴリに置き換える予定です）でも、異なるユーザーグループがそれぞれ異なる推薦理由を得られます。

従来のテキスト生成は主に伝統的な RNN ベースの Seq2Seq+Attention（Sutskever et al., 2014; Bahdanau et al., 2014; Luong et al., 2015）フレームワークに基づいていました。このモデルは最初に機械翻訳で使用され、その後徐々に主要なテキスト生成クラスのタスクに拡張されました。現在、機械翻訳の分野ではいくつかの変化が起きており、学界と産業界はより高速で高性能な Transformer フレームワークを好む傾向にあります。私たちは推薦理由生成のシナリオに Transformer アーキテクチャ（Vaswani et al., 2017）をいち早く導入し、ベースラインレベルで従来の RNN ベースの Seq2Seq よりも優れた性能を達成しました。上記の 2 つの課題、すなわち知識導入とパーソナライズドレコメンデーションに対応するため、Transformer アーキテクチャに基づく新しいモデル KOBE（KnOwledge-Based pPersonalized text generation system）を提案します。下図は現在のタスクとモデルの実行フローを簡単に説明しています。

以下、第 2 章で現在の問題を定義し、第 3 章で基礎モデルのアーキテクチャと KOBE モデルの具体的な実装を詳述し、第 4 章で実験結果のレポートとテーマシナリオへのアプリケーションを紹介します。

2. 問題定義

現在の推薦シナリオでは、問題定義は従来と比べて変化しています。推薦理由への知識導入とパーソナライゼーションを実現するため、特徴属性と知識を導入します。特徴属性とは、製品の特定の側面（外観、品質など）を指します。各製品について、入力 x のほかに、対応する特徴属性 image.png も入力に含まれます。l は特徴カテゴリの総数を表し、各特徴カテゴリには複数の具体的な特徴が存在します。後述のモデル実装の章で、特徴属性のソースについて詳しく紹介します。これらの特徴属性は類似製品に頻繁に関心を示すユーザーのタグとなり得るため、システムはこの情報を利用してよりパーソナライズされたコピーの追求が可能です。

さらに、外部ナレッジベースを使用して、入力アイテムと関連知識をリンクさせます。テキスト記述付きの外部ナレッジベース CN-DBpedia を使用しました。このナレッジベースでは、各固有表現に関連するプレーンテキストの記述があります。各製品について、ナレッジベースから対応する知識 w を抽出します。

これに基づき、私たちの問題は次のように定式化されます。製品名 x とその対応する特徴属性 a および関連知識 w を入力とし、システムはこの製品のために関連知識を組み込んだパーソナライズされた推薦理由 y を生成する必要があります。

3. KOBE モデル設計

KOBE のモデルアーキテクチャは従来の RNN ベースの Seq2Seq とは異なり、機械翻訳タスクで SOTA 性能を達成した Transformer フレームワーク（Vaswani et al, 2017）を使用しています。従来の RNN ベースの Seq2Seq は長距離依存関係の捕捉において自己注意ほど効果的ではないことを考慮し、自己注意機構に基づく Transformer モデルを手法の基盤としています。ベースライン比較では、Transformer は RNN ベースの Seq2Seq よりも優れた性能を示しました。以降のセクションでは、まず Transformer モデルを紹介し、次にこのモデルを基盤としてパーソナライゼーション関連の特徴と外部知識をどのように導入して KOBE モデルを完成させるかを説明します。下図は KOBE モデルの基本的なフレームワークを示しています。

3.1. Transformer

Transformer 自体もエンコーダーデコーダーフレームワークに基づくモデルであり、Seq2Seq の一種とも見なせます。RNN ベースの Seq2Seq とは異なり、エンコーダーとデコーダーの両方の実装が自己注意機構に基づいており、RNN アーキテクチャを使用していません。ここではエンコーダーとデコーダーの実装を簡単に説明します。

エンコーダーは複数の自己注意層（通常 6 層、大規模モデルを実装する場合は層数を増やせます）で構成されています。エンコーダーはテキストシーケンスの入力 x を受け取り、単語埋め込み層を通じて単語埋め込みシーケンス image.png に変換します。このモデルは RNN とは異なり、入力のシーケンス関係を直接捉えられないため、e に位置エンコーディングを追加してからエンコーダーの自己注意層に送り込みます。

各自己注意層は主に自己注意機構と全結合層で構成され、内部では残差接続とレイヤー正規化を使用しています。ここでは第 1 層を例に説明します。注意機構は次のように表現できます。

ここで、mathbf{Q}、mathbf{K}、mathbf{V} はそれぞれ注意機構の入力を表します。自己注意機構では、これら 3 つはすべて入力 e の線形変換であり、image.png です。自己注意は次のように表現できます。

ここで d は隠れ層のサイズ、およびマルチヘッドアテンションメカニズムにおけるヘッドのサイズを表します。マルチヘッドアテンションメカニズムは入力を複数のヘッドに分割し、それぞれで注意計算を実行してから、各自の出力を結合します。

自己注意モジュールの後、全結合層（FFN）が前の出力を変換します。具体的な実装は次の通りです。

デコーダーの実装はエンコーダーと類似しており、多層の自己注意層を使用しています。異なる点は、デコーダーがエンコーダーとデコーダーを接続するためのコンテキストアテンションを追加していることです。具体的な実装は自己注意の実装と似ており、K と V をエンコーダー出力 h の線形変換に置き換えるだけです。

次のセクションでは、属性融合モジュールと知識組込モジュールを含む KOBE モデルに焦点を当て、パーソナライズされた推薦関連の特徴と外部知識を元のフレームワークにどのように導入するかを説明します。

3.2. 属性融合

Transformer や RNN ベースの Seq2Seq を含むベースラインモデルには、生成テキストの多様性が不十分であるという問題があります。これらのモデルは通常、比較的幅広く曖昧な表現を使用し、表現が単一化され、内容が類似して単調になりがちです。この問題を緩和するため、パーソナライズドレコメンデーション関連の特徴属性を導入します。主に 2 つの側面に焦点を当てています。1 つ目は aspect で、製品の特定の側面（外観、品質など）を指します。2 つ目は user category、すなわち製品に適合するユーザーグループです。たとえば、メカニカルキーボードに対応するユーザーグループはテクノロジー愛好家です。この方法により、モデルはスタイルや内容のレベルを含め、異なるユーザーグループが好むテキストを生成できます。以下では、これらの特徴のソースと、属性融合モジュールを通じてモデルにどのように統合するかを説明します。

aspect については、モデルが与えられた aspect に基づいて対応する推薦理由を生成できるようにしたいと考えています。たとえば「品質」が与えられた場合、モデルは製品の品質を説明する推薦理由を生成するべきです。しかし、トレーニングセットのサイズが大きいため、aspect が明確にラベル付けされた大量の推薦理由を取得することは困難です。ヒューリスティックな方法を使用し、まずラベル付きデータセットで CNN ベースのテキスト分類器をトレーニングします。この分類器は入力された推薦理由を対応する aspect に分類でき、その後この分類器を使用して大量のラベルなしデータにラベルを付けます。これにより、トレーニングセットのすべてのサンプルが独自の aspect を得ます。user category については、データマートのユーザー特徴の嗜好と興味のデータを使用し、これらのラベルをユーザーカテゴリとして扱います。クリック行動や滞在時間などのユーザーの暗黙的フィードバックを使用してデータにラベルを付け、各サンプルが対応するユーザーカテゴリを得られるようにします。データ準備完了後、属性融合モジュールを使用してこれらを有機的に統合します。

具体的な実装では、異なる単語埋め込み層を使用して aspect と user category の単語埋め込み表現 image.png および image.png をそれぞれ取得し、その後両者を平均して属性の表現 image.png を得ます。次に、この属性の表現を製品タイトルの単語埋め込みシーケンス e の各時点の単語埋め込みテーブル ${e_{i}} に加算し、新しい単語埋め込みシーケンスを得てから Transformer モデルに送り込みます。

3.3. 知識組込

テキスト生成のもう一つの一般的な問題は情報量の不足です。ベースラインモデルが生成する推薦理由は比較的単調で、情報が不十分であり、特に関連知識を伝える能力に欠けます。読者にとって、読みたい推薦理由には有効な情報、すなわち有用な知識が含まれているべきです。この問題を考慮し、製品関連の知識をテキスト生成モデルに組み込むための知識組込モジュールを設計しました。これにより、モデルが生成する推薦理由はより「説得力のある」ものになります。

知識をエンコードするため、新しい知識エンコーダーを作成します。このエンコーダーも自己注意機構に基づくエンコーダーであり、具体的なモデル構造は前述のエンコーダーと一致しています。前述のエンコーダーの動作と同様に、知識エンコーダーは入力知識を新しい表現 u にエンコードします。これで、製品タイトル表現 h と関連知識表現 u を得ました。

アイテムタイトル表現と関連知識表現の効果的な組み合わせを実現するため、双方向アテンションメカニズム（Seo et al., 2016）を実装しました。これは「タイトルから知識へのアテンション」と「知識からタイトルへのアテンション」に分かれ、それぞれ異なる機能を持ちます。タイトルから知識へのアテンションはタイトルに関連する知識を取得でき、知識からタイトルへのアテンションは知識に関連するタイトルの内容を捕捉できます。この部分のアテンションでは、まず両者の類似度を計算し、次に重みに従って取得対象の内容の重み付き合計を行います。類似度の計算は次の通りです。

4. 春節クラウドテーマ実践

春節期間中、私たちは春節クラウドテーマプロジェクトで KOBE モデルをデプロイし、各カテゴリに対応するパーソナライズされた推薦理由を提供しました。生成された推薦理由の表現は自然で、カテゴリと製品特性に応じて製品関連知識に合致する記述を選択でき、興味深い表現を含むことができることがわかります。以下はオンライン効果の概略図とデモ動画です。

5. 結果と展望

推薦理由の生成は、古典的な推薦システムが特定の製品を推薦する解釈とは異なる場合がありますが、上述の推薦理由生成技術は徐々に成熟してきました。コンテンツの消費が現在のトレンドであり、E コマースプラットフォームのコンテンツ化には大きな展望があります。コンテンツ生成の探求において、プラットフォームに何らかの助けをもたらせればと考えています。