Why is it said that Ali engineers know fashion best

I. はじめに

ファッション分野において、コーディネートの生成とレコメンデーションはますます重要な役割を果たしている。
コーディネートは通常、複数のファッション商品で構成され、視覚的な調和と論理的な整合性が求められる。
従来のプロダクトレコメンデーションとは異なり、コーディネートレコメンデーションの前提は、まずコーディネートを生成することであり、このプロセスには多くの課題が伴う。
そのため、コーディネートの生成にはファッションエキスパートの関与が不可欠である。
2018 年 3 月時点で、150 万人のコンテンツクリエーターが Taobao に参加している。
しかし、生成されたコーディネートの総数と Taobao チャンネルが必要とするコーディネート数の間には依然として大きなギャップがある。
本稿の焦点は、この人手を要する問題を解決することにあり、Taobao の各ユーザーに対してパーソナライズされたコーディネートを自動生成することを目的としている。


コーディネートの生成とレコメンデーションには 2 つの要件がある。
(1) コーディネート生成は視覚的に調和が取れていること、(2) コーディネートレコメンデーションはパーソナライズされていることである。
1 つ目の要件は、しばしば相性指標で測定される。
初期の研究では商品ペア間の相性を計算していたが、最近の研究では深層ネットワークを用いて相性の問題に取り組んでいる。
2 つ目の要件は、レコメンデーションされたコーディネートがユーザーの個人的な嗜好に合致しているか（パーソナライゼーション）を評価する。
従来の研究では、ユーザーが衣服の画像などのクエリを明示的に提供し、それに合う他の商品をレコメンデーションしていた。
我々の研究は、ユーザーの明示的な入力を必要とせず、過去の行動を学習することで自動的にパーソナライズされたコーディネートを生成することに焦点を当てている。


従来の研究では、これら 2 つの要件は通常別々に対処されていた。
我々はコーディネート生成とコーディネートレコメンデーションを橋渡しし、1 つのアーキテクチャで両方の要件を満たすことを目指している。
具体的には、ユーザーの過去の行動から嗜好を捉え、それに基づいてパーソナライズされた合理的なコーディネートを生成する。
相性の要件に対して、自己注意を用いて各商品と他のすべての商品との関連性を学習する FOM モデルを提案する。
マスキングタスクを設計し、コーディネート内の 1 つの商品をマスクして、他の商品に基づいてマスクされた商品をモデルに予測させる。
パーソナライゼーションの要件に対して、Transformer のエンコーダーデコーダーフレームワークを用いてユーザーの過去の行動とコーディネートの相性をモデル化する POG モデルを提案する。
最後に、POG モデルを中核とする「Dida」プラットフォームを構築し、Taobao の iFashion チャンネルにおけるパーソナライズされたコーディネートの制作を支援している。


主な貢献は以下の 4 点である。

POG モデルを提案した。
これはパーソナライズされたエンコーダーデコーダー構造を持ち、コーディネートの相性とユーザーのパーソナライゼーションを同時に考慮できるモデルである。

オフライン評価において、他の手法と比較して有意な改善を達成した。
FITB（穴埋め）を 68.79%（相対増加 5.98%）、CP（コーディネート相性予測）を 86.32%（相対増加 25.81%）まで向上させた。

POG モデルを実際のオンラインプラットフォーム「Dida」にデプロイした。
オンライン実験の結果、従来の CF 手法と比較して POG は CTR（クリック率）を 70% 向上させた。

実験で使用したすべてのデータセットを提供した。
101 万組のコーディネート、58.3 万件のコーディネート商品、357 万人のユーザー、合計 2 億 8,000 万件のクリックを含む。


2. データセット

Taobao のファッションエキスパートは毎日数千件のコーディネートを生成している。
これらのコーディネートはすべて公開前に手動レビューを経ている。
論文執筆時点で、合計 143 万件のコーディネートが作成・レビュー済みであった。
最も一般的な 80 のリーフカテゴリ（セーター、コート、T シャツ、ブーツ、イヤリングなど）を選択し、低頻度のリーフカテゴリは除外した。
コーディネート内の商品数を再計算し、3 商品以下のコーディネートを除去した。
その結果、合計 101 万組のコーディネートと 58.3 万件の商品が残った。


さらに、iFashion チャンネルにおける過去 3 か月間のユーザーのクリック行動も集計した。
40 件以上のコーディネートを閲覧した 357 万人のユーザーをアクティブユーザーと定義した。
各ユーザーのクリック行動について、コーディネートクリックをノードとし、それ以前に 10 件以上の単品クリックがある場合に記録した。
トレーニングデータは、このコーディネートクリックとその前の最大 50 件の単品クリックで構成される。
最終的に 1,920 万組のトレーニングデータ（446 万件の商品と 12.7 万件のコーディネート）を得た。
データセット内の各商品には、白背景画像、タイトル、リーフカテゴリ情報が含まれている。


我々の知る限り、このデータセットは詳細なデータ情報を含む公開可能なコーディネートデータセットの中で最大規模である。
また、コーディネートに関するユーザー行動データを提供する初のデータセットでもある。
データセットは公開済みであり、具体的なデータを以下の表に示す。


3. モデル

3.1 マルチモーダルモデリング

各商品 f に対して、その特徴を表現する非線形埋め込みを計算する。
特徴のソースは主に視覚情報とテキスト情報である。
本稿では 3 つのソースからの情報を使用する。
(1) CNN モデルを用いて商品の白背景画像から抽出したベクトル、(2) TextCNN を用いて商品タイトルから抽出したベクトル、(3) Alibaba Behemoth プラットフォームから抽出した商品の Graph Embedding ベクトルである。


埋め込み空間において、類似商品間の距離を近づけ、異なる商品間の距離を広げることを目指す。
そのため、商品画像、テキスト、協調フィルタリングから得られたベクトルを結合し、全結合層を経た後、トリプレット損失を用いて埋め込みを学習する。
各商品に対して、同じリーフカテゴリの商品を正例、異なるリーフカテゴリの商品を負例として定義し、トリプレット損失の計算は以下のようになる。


損失を最小化することで、商品とその正例インスタンスの距離が、負例インスタンスとの距離より必ず小さくなるようにする。


3.2 FOM モデル

コーディネートはファッション商品のセットで構成され、各商品は他の商品に対して異なる関係性の重みを持つ。
商品間の関連性を捉えるため、双方向 Transformer エンコーダーの構造に基づくマスキングタスクを設計した。
コーディネート内の 1 つの商品をマスクし、複数の候補商品から空白を埋めさせることで、マスクされた商品と他の商品の関係を学習させる。
コーディネート内の各商品が強制的に自身の文脈商品を学習するため、2 商品間のコーディネートの相性が自己注意機構によって学習される。


コーディネートの集合 F、F={f1,...,ft,...fn} が与えられたとき、[MASK] という特殊トークンを用いてマスクされた商品を表現し、他のマスクされていない商品はマルチモーダル埋め込みで表現する。
コーデ全体の入力を Fmask と表現すると、FOM モデルの損失は以下のように表現される。


Pr(.) はモデルが正しいマスク商品を選択する確率を表す。


モデルのアーキテクチャ図を以下に示す。
このモデルは Transformer エンコーダーをベースにしているが、position embedding は使用しない。
コーディネート内の商品を順序付きシーケンスではなく集合として扱うためである。
まず、Fmask が 2 層の全結合ネットワーク（変換層と定義）を通過して H0 を得て、それを Transformer エンコーダー構造に接続する。
Transformer エンコーダーには複数の層が含まれる。
各層には、Multi-Head 自己注意（MH）サブ層と Position-wise Feed-Forward Network（PFFN）サブ層が含まれる。


l 個のサブ層を経た後、gmask を [MASK] 入力に対応する出力とし、gmask の上に softmax 層を追加してマスク商品の真値を取得する確率を計算する。


ここで、hmask は変換層から得られたマスク商品の埋め込みである。
全商品に対して softmax を計算することも可能だが、実際には計算量が大きすぎるため、このコーディネートに出現しない 3 つの商品をランダムに選択し、マスク商品の真値と合わせて softmax のスコアリングセットを構成する。


3.3 POG モデル

商品のコーディネート相性を学習した後、ユーザー固有のパーソナライズ情報を同時に組み込んで、パーソナライズされかつ合理的なコーディネートを生成する方法を検討する。
翻訳問題で一般的に用いられるエンコーダーデコーダー構造を活用し、ユーザーの過去の行動をパーソナライズされたコーディネートセットに「変換」する。
ユーザーがクリックした商品シーケンスを U={u1,...ui,...um}、ユーザーがクリックしたコーディネートを F={f1,...ft,...fn} で表現する。
各ステップで、既に生成されたコーディネート商品とユーザーのクリック商品シーケンスに基づいて、次に生成すべきコーディネート商品を予測する。
したがって、各 (U,F) ペアに対して、POG の目的関数は以下のように記述できる。


Pr(.) は、前のコーディネート商品とユーザー行動を条件とした t+1 番目のコーディネート商品を生成する確率を表す。


モデルのアーキテクチャ図を以下に示す。
POG では、エンコーダーがユーザーのクリック商品を入力として受け取る。
[START] という特殊記号を与えられ、デコーダーは各ステップでコーディネート商品の生成を開始する。
各ステップで、モデルは前のステップの出力を入力として再帰的に受け取る。
生成プロセスは [END] という特殊記号に遭遇すると停止する。
エンコーダーを Per ネットワーク、デコーダーを Gen ネットワークと名付けた。
Per ネットワークはユーザー固有の情報を提供し、Gen ネットワークは Per から伝達されるパーソナライズ情報と自身のコーディネート相性情報の両方を考慮する。


Per ネットワークでは、2 層の全結合ネットワーク（変換層）の後に p 層の Transformer エンコーダー構造が続く。
Gen ネットワークは、まず事前学習済みの FOM として初期化される。
Gen ネットワークでは、変換層の後に q 層の Transformer デコーダー構造が続く。
Transformer デコーダーの各層は 3 つのサブ層から成る。
1 つ目は Masked Multi-Head 自己注意（MMH）サブ層である。
このマスクの設計により、現在のステップで生成される商品はそれ以前のステップで生成された商品の情報のみを収集できる。
2 つ目は MH サブ層で、Per ネットワークからユーザーのパーソナライズ情報を取り込む。
3 つ目は PFFN サブ層である。


トレーニングログでは、ユーザーがクリックした商品を Per の入力とし、ユーザーがクリックしたコーディネート内の商品を Gen のグラウンドトゥルースとする。ht+1 を t+1 番目のステップのグラウンドトゥルスの変換層ベクトルと定義すると、t+1 番目の商品を予測する確率は以下のようになる。

ここでも同様に、ランダムに選択した 3 つの商品と正解商品を組み合わせて softmax の計算対象を構成する。

予測フェーズでは、各ステップの出力 vt に対して、候補プールから最も近い商品ベクトルを検索して出力とする。[END] トークンが出現すると生成プロセスが終了する。

3.4 Dida プラットフォーム

POG をオンラインプラットフォーム「Dida」にデプロイした。Dida プラットフォームは、商品選定、コーディネート生成、画像合成、パーソナライズレコメンデーションなどの機能を備え、100 万規模の商品プールをサポートする。本論文の執筆時点で、100 万件以上のコーディネートがプラットフォーム上で生成されており、毎日約 600 万件のコーディネートが AI により生成され、約 540 万人のユーザーがパーソナライズされたコーディネートを閲覧している。

4. 実験
4.1 コーディネートの相性

相性評価に関する従来の研究では、FITB と CP の 2 つの指標がよく用いられた。
FITB：複数の選択肢から、他の商品と合理的なコーディネートを構成できる正解を選ぶ。
CP：専門家が作成したコーディネートを正例、ランダムに選択した商品で構成したコーディネートを負例とし、モデルが正しいコーディネートかどうかを判定する。

4.1.1 マルチモーダル比較

FITB と CP の両実験において、テキスト単独のモダリティが最も高い性能を示すことがわかった。画像モダリティと CF モダリティを追加すると、いずれも結果に好影響を与える。

4.1.2 複数モデル比較

以前のモデル（F-LSTM、Bi-LSTM、SetNN）と比較した。なお、F-LSTM と Bi-LSTM はシーケンスベースのモデルであり、入力を順序付きシーケンスとして扱う。SetNN と FOM はセットベースのモデルであり、入力の順序を指定しない。順序ありの入力と順序なしの入力の 2 種類の実験を行った。

FITB 実験では、シーケンスベースのモデルは入力順序に敏感だが、セットベースのモデルは影響を受けない。F-LSTM と Bi-LSTM はいずれも順序ありの入力でより良い性能を示す。FOM は順序の有無に関わらず全モデル中で最高の性能を示し、順序なしでは 2 位の Bi-LSTM より 18.04%、順序ありでは 2 位の Bi-LSTM より 5.98% 高い結果であった。

CP 実験でも、シーケンスベースのモデルは入力順序に敏感である。順序なし入力では FOM が 2 位の Bi-LSTM より 34.90% 高く、順序あり入力では FOM が 2 位の Bi-LSTM より 25.81% 高い結果であった。

4.2 パーソナライズレコメンデーション

オンライン実験によりパーソナライズレコメンデーションの有効性を検証した。比較対象は F-LSTM と Bi-LSTM である。SetNN は生成能力がないため対象外とした。生成されたコーディネートはランダムにユーザーに配信され、これを RR と呼ぶ。従来の単品レコメンデーション手法との比較のため、各商品をトリガーとしてコーディネートを生成し、CF 手法で各ユーザーの最も好む商品を計算して、その商品とトリガーのコーディネートを配信する手法を設計した。この手法を CF と呼ぶ。各手法のオンライン CTR を 7 日間にわたり記録した。結果は以下の通りである。

図から、どのモデルを使用しても CF 手法の CTR が RR より高く、POG 手法の CTR が CF より高いことがわかる。