Knowledge Graph Prediction and Interpretation Based on Interactive Embedding

まとめ

知識グラフ埋め込みアルゴリズムは、エンティティと関係を連続ベクトル空間に対応付ける手法です。多くの知識グラフ埋め込みアルゴリズムが提案され、知識グラフ関連タスクで成果を上げていますが、エンティティと関係間の交差相互作用に関する議論は十分ではありません。交差相互作用とは、関係推論のプロセスにおいてエンティティと関係が互いに影響を及ぼし合う現象を指します。つまり、予測対象の関係がエンティティ情報の選択に影響を与え、逆にエンティティが持つ情報が予測対象の関係に影響を及ぼします。推論の過程において、交差相互作用は人間の関係推論プロセスにも広く見られる現象です。

本論文では、エンティティと関係間の交差相互作用を明示的にモデル化する知識グラフ推論アルゴリズム CrossE を提案します。CrossE は、各エンティティと関係に対して汎用的な埋め込み表現だけでなく、複数の相互作用埋め込み表現も学習することで、エンティティと関係間の相互作用情報をより十分に捉え、より正確な関係推論を実現します。同時に、予測結果の説明可能性という観点から知識グラフ埋め込み結果の分析も行います。

研究背景

知識グラフは、(頭エンティティ, 関係, 尾エンティティ) のトリプル形式で多数の事実を格納し、検索、質問応答、推薦など多くの人工知能タスクに応用されています。知識グラフ埋め込み手法は、エンティティと関係のベクトル空間表現を学習するもので、それぞれエンティティ埋め込み、関係埋め込みと呼ばれ、通常はベクトルまたはマトリックスの形式で提示されます。近年、RESCAL、TransE、NTN、DistMult などの効果的なグラフ埋め込み手法が提案され、知識グラフ補完、質問応答、関係抽出などのタスクで広く利用されています。

交差相互作用とは、関係推論のプロセスにおいてエンティティと関係が互いに影響を及ぼし合う現象で、関係からエンティティへの相互作用と、エンティティから関係への相互作用に分類されます。交差相互作用は関係推論において広く見られる現象です。以下の図を例に、交差相互作用について説明します。

図に示す知識グラフが既知であると仮定し、(X, isFatherOf, ？) を予測します。エンティティ X には 6 つのトリプルが関連しており、うち 4 つ（赤色系統）は現在の予測関係 isFatherOf に関連していますが、残りの 2 つ（青色系統）は X の職業情報を記述しており、現在の予測とは関係ありません。これは関係からエンティティへの相互作用、すなわち予測対象の関係がエンティティの情報選択に影響を与える現象を示しています。一方、関係 isFatherOf には図中に 2 つの推論パス（濃い赤と薄い赤で表現）が存在しますが、エンティティ X にとっては hasWife と hasChild を含む推論パスのみが利用可能です。これはエンティティから関係への相互作用、すなわちエンティティが持つ情報が関係の推論パス選択に影響を与える現象を示しています。

交差相互作用を考慮すると、特定のトリプルにおけるエンティティと関係の埋め込みは交差相互作用の効果を反映すべきであり、異なるトリプルに対して異なるものになるはずです。しかし、従来の知識グラフ埋め込み手法はいずれも交差相互作用を考慮せず、エンティティと関係に対して共通の埋め込みを学習するだけであるため、合理的ではありません。そこで本論文では、交差相互作用を明示的に考慮する新しい埋め込み手法 CrossE を提案します。

アルゴリズムの説明

CrossE は、エンティティと関係の汎用的な埋め込みを学習するだけでなく、相互作用行列を通じてトリプル環境に応じて変化する相互作用埋め込みも生成します。CrossE の全体アプローチを下図に示します。

ここで、E はエンティティ行列で各行がエンティティの埋め込み表現を表し、C は相互作用行列で各行が知識グラフ内の関係に対応し、R は関係埋め込み行列で各行が関係の埋め込み表現を表します。尾エンティティの予測プロセスでは、まずエンティティ行列から現在の頭エンティティの埋め込み表現 h を取得し、関係行列から現在の関係の埋め込み表現 r を取得し、相互作用行列から現在の関係に関連する相互作用ベクトル c_r を取得します。計算プロセスにおいて、h は c_r と相互作用して h の相互作用埋め込みを得て、r は h および c_r と相互作用して r の相互作用表現を得ます。次にバイアスベクトルを加算して活性化関数を通じて、予測対象の尾エンティティの埋め込みを取得し、実際の尾エンティティ t と比較して最終的なトリプルスコアを算出します。具体的な数式は以下の通りです。

訓練目的として対数尤度損失関数を採用しました。モデル内でエンティティと関係に対して多くの相互作用埋め込みを導入していますが、これらはすべて計算により求められ、パラメータ数の増加は相互作用行列 C のみに起因することがわかります。

実験

実験では、リンク予測の性能と予測結果の解釈可能性という 2 つの観点から埋め込みの効果を評価します。

リンク予測の実験では、WN18、FB15k、FB15k-237 の 3 つの標準データセットで CrossE をテストしました。エンティティと関係の間の交差相互作用を効果的に捉えているため、CrossE は難易度の高い FB15k データセットで優れた性能を示し、FB15k-237 ではより顕著な改善を達成しました。実験結果は以下の通りです。

また、予測結果に説明を提供するという観点からも CrossE を評価しました。本論文でいう説明とは、頭エンティティと尾エンティティ間の特定のパスを指します。頭尾エンティティの 2 次範囲内のすべての可能なパスと構造を網羅した上で、6 つの類推構造を提案し、知識グラフ内でこれらの類推構造を検索することで予測結果に対する説明を導き出します。モデルの説明能力を評価するため、Recall と AvgSupport の 2 つの指標を提案します。Recall は類推構造を通じて説明可能な予測結果が全予測結果に占める割合を示し、AvgSupport は説明可能な予測結果の平均サポート度を示します。サポート度とは、知識グラフ内に存在する頭エンティティと尾エンティティ間の類似構造のインスタンス数を指します。一般的に、説明能力に優れた埋め込みモデルはエンティティの埋め込み品質が高いため、Recall と AvgSupport の両方が高くなります。

CrossE は相互作用埋め込みの恩恵により、Recall と AvgSupport を組み合わせることで予測結果をより良く説明できます。具体的な結果は以下の通りです。

FB15k-237 データセットにおける CrossE の結果から、6 タイプの類推構造に関する説明例も提示します。

上記の説明は、モデルの判断が正しいかどうかを理解するのに有効であり、説明が必要とされる理由の一つです。

結論

交差相互作用は知識グラフ推論のプロセスで捉えられるべき普遍的な現象です。そこで、エンティティと関係の交差相互作用を明示的にシミュレートする埋め込みモデル CrossE を設計しました。実験の結果、交差相互作用を捉えることでモデルの推論能力が効果的に向上することが確認されました。特に複雑で難易度の高いデータセットでその効果が顕著です。本論文では、予測結果に対する説明を提供するという新しい観点から埋め込みモデルを評価し、2 つの評価指標を提案しました。実験結果から、埋め込みモデルの予測能力と説明能力は直接的に関連していないことがわかりました。予測能力に優れたモデルが必ずしも説明能力に優れているわけではなく、これらは異なる評価次元です。本研究が他の研究者の参考となることを期待します。