CTR estimates what to do

背景

Alibaba のターゲティング広告チームは、ユーザーが多様な興味を持ちつつ、特定のプロダクトに対してはその一部の興味が行動に影響を与えることに着目し、DIN[1] ネットワークを提案しました。さらに、ユーザーの抽象的な興味表現を抽出し、興味の推移を捉えるため、DIEN[2] モデルを提案しました。DIN と DIEN はいずれもオンラインシステムの性能上の制約を受けており、ユーザー行動のシーケンス長は 50 に限定されています。より豊富な行動データはより多くの情報を提供しますが、オンラインへの負荷も増大します。そこで、アルゴリズムとシステムの協調設計という観点からソリューションを提案しました。

アルゴリズム側では、Memory Network の考え方を借用し、次世代 CTR 予測モデル MIMN（Multi-channel user Interest Memory Network）を提案しました。MIMN はユーザーの超長行動シーケンスを読み取り、多様な興味を抽出・要約してメモリネットワークに格納します。システム側では、ユーザーの興味計算を担う独立した UIC モジュールを設計し、興味計算を広告リクエストから切り離しました。UIC+MIMN フレームワークは、Alibaba の精密ターゲティングディスプレイ広告シナリオで顕著な成果を上げています。

過去の行動データに基づくユーザーの潜在的な興味のマイニングは、CTR 予測モデリングの重要な要素となっています。興味モデリングの分野では新たなアルゴリズムが次々と登場し、オフライン実験環境でその有効性が検証されていますが、実際の産業実装では大半の手法が大きな課題に直面しています。産業界のサービスの多くはリアルタイムでの応答を求められます。たとえば、クリック率推定サービスは高同時リクエストに直面し、極めて短い時間で応答を完了する必要があります。長いユーザー行動シーケンスデータを前に、既存の興味モデリングアルゴリズムのオンライン推論モジュールはいずれもレイテンシとストレージの圧力にさらされています。

産業界の現在の主流 CTR 推定技術でモデル化できるユーザーシーケンス長は、一般的に 100 以内です。しかし、Alibaba の E コマースシナリオでは、ユーザーの行動は非常に豊富で、わずか 60 日間の平均行動長は 1,000 を超えます。これらのデータには非常に豊富な情報が含まれています。異なる日数のユーザー行動の平均長を統計的に調べ、異なる長さのユーザー行動を導入した際の CTR 予測モデルのオフライン性能を実験した結果を図 1 に示します。シンプルな DNN モデルで 1,000 長のユーザー行動情報を使用すると、100 長と比較して約 0.6% の AUC 向上が得られます。この 0.6% のオフライン向上は、オンラインビジネスにとって非常に大きな意味を持ちます。

上記の課題を解決するため、本論文ではアルゴリズムとシステムの協調設計の観点から新しいモデリング手法を設計しました。

アルゴリズム側：Memory Network の考え方を借用し、次世代 CTR 予測モデル MIMN（Multi-channel user Interest Memory Network）を提案しました。MIMN はユーザーの超長行動シーケンスを読み取り、多様な興味を抽出・要約してメモリネットワークに格納します。さらに、MIMN はメモリ使用率を効果的に向上させるメモリ使用率正則化を設計し、同時にユーザーの異なる興味トラックの推移を捉える興味誘導構造を導入しています。

システム側：ユーザーの興味計算を担う独立した UIC モジュールを設計しました。UIC モジュールの更新計算はユーザーのリアルタイムの新行動によってトリガーされ、広告のクリック率推定計算とは非同期で実行されます。

本論文で提案する MIMN+UIC の協調設計ソリューションは、行動シーケンス長がユーザー興味モデリング技術に課すボトルネック制約を打破しました。Alibaba のディスプレイ広告シナリオで、1,000 を超える超長ユーザー行動シーケンスのモデリングを実現しました。本技術は本番システムに実際にデプロイされ、顕著なオンライン効果向上を達成しています。

システム側 - リアルタイム CTR 推定システム
図 2 (A) に Alibaba のディスプレイ広告ビジネスの現在のリアルタイム推定システムフレームワークを示します。CTR 推定システムは、厳しい時間制約の中で候補セットに対するクリック確率を推定し、返す必要があります。

産業界の E コマースレコメンデーションの分野では、ユーザー行動が大量のストレージを占め、当システムでは 90% のストレージがユーザー行動です。より長いユーザー行動シーケンスの導入は、より多くのストレージ容量を消費します。レコメンデーションシステムで低レイテンシと高スループットを維持するため、ユーザー行動データは分散ストレージシステム（Alibaba の Tair など）に格納されます。しかし、このような分散ストレージシステムはコストが高く、大量のデータには対応できません。シーケンスモデリングの考え方をそのまま採用し続ければ、超長ユーザー行動データはより大きな課題をもたらします。DIEN モデル構造を使用して 1,000 長のユーザー行動をモデル化すると、500 QPS で 200 ms かかり、Alibaba のディスプレイ広告シナリオビジネスでは許容できません。したがって、既存のシステムとモデルを直接使用して長期ユーザー行動シーケンスをモデル化することは実現不可能です。

上記の課題を解決するため、システム部分ではユーザー興味計算を処理する独立した UIC モジュールを設計しました。図 2 (B) に UIC モジュールの導入と RTP システムの再設計を示します。図 2 (A) と図 2 (B) の違いはユーザー興味計算部分にあります。図 2 (B) では、UIC サービスがユーザーの興味状態の最新の表現を提供します。ユーザーの興味状態は新しい行動に応じて変化し、クリック率推定リクエストとは切り離されています。そのため、ユーザーの興味推論計算はクリック率のリアルタイム計算より前に完了でき、UIC モジュールは CTR 推定スコアリングサービスにとって時間コストかかりません。

アルゴリズム側 - マルチトラックユーザー興味メモリネットワーク
長期シーケンスデータのモデリングはよく知られたアルゴリズム上の課題です。単純な RNN ネットワーク（RNN、GRU、LSTM）ではより長いシーケンスデータのモデル化が困難なため、Attention 構造を導入して長期シーケンスデータの表現を強化します。しかし実際の計算では、RNN+Attention の構造はすべての過去の行動データを格納する必要があり、オンラインシステムに大きなストレージ圧力をもたらします。

NTM のメモリモデリングの考え方を借用し、MIMN モデルを提案しました。メモリ構造の工夫により、MIMN モデルはインクリメンタルに実行でき、UIC モジュールに実装され、オンラインリアルタイムサービスに適しています。UIC は生のユーザー行動の代わりに抽象ベクトルを格納しますが、ストレージの圧力によりメモリサイズは限られています。そこで、メモリストレージの使用率を効果的に向上させるメモリ使用率正則化を設計し、同時にユーザーの異なる興味トラックの推移を捉える興味誘導構造を導入しました。

メモリ使用率を効果的に向上させるため、メモリ使用率正則化を提案し、異なるメモリスロット間の書き込み分散を制約することを目的としています。
image.png は時刻 1 から時刻 t までの書き込み重みの合計を表します。そのうち、image.png は時刻 c での書き込み後の重みを表します。

M はスロット数を表し、image.png により異なるメモリスロットの使用率の分散を低減できます。

NTM アルゴリズムのメモリは通常、生データ情報を格納するために使用されますが、高次情報の捕捉は失われます。ユーザーの興味をより良く捉えるため、MIMN は記憶誘導ユニット（MIU）を設計し、ユーザーの興味の推移を捕捉します。各メモリスロットは MIU においてユーザーの興味トラックとして扱われます。時刻 t で MIU は K 個の興味軌道を選択して推移計算を行い、各軌道は GRU 構造を採用して推移計算を実行します。

ここで、image.png は元の興味メモリ記録であり、image.png は行動埋め込みベクターです。Attention 構造を使用してユーザー表現を捕捉するのとは異なり、MIMN は広告を使用して関連するユーザーの興味を捕捉する必要がなく、追加メモリを使用して格納およびマイニングを行います。ユーザーは多様な興味を持ち、メモリベースのモデルフレームワークはユーザーの興味に対してインクリメンタルな更新を実行でき、シーケンス行動モデリングの長さに制限がなくなります。

MIMN のオンライン実装を図 3 に示します。MIU と NTM の計算は UIC サーバーに実装されています。新しいユーザー行動が到着すると、UIC はインクリメンタルにユーザーの興味を計算し、Tair に更新します。広告リクエスト到着後、ユーザーの興味表現は Tair から直接取得され、CTR 推定に使用されます。

実験

Amazon（書籍）と Taobao の公開データセット、および Alimama の精密ディスプレイ広告の本番データセットで詳細な実験を行い、UIC&MIMN 協調設計の有効性を検証しました。使用したデータ規模は以下の通りです。

公開データセット実験：
Amazon データセットの書籍カテゴリで実験を行い、トレーニングセットとテストセットはユーザー単位でランダムに分割します（つまり、テストセットのユーザーはトレーニングセットに出現しません）。ユーザーが書いたレビューを時系列でソートし、前の T-1 件のレビューを使用して T 件目のレビューが発生するかどうかを予測します。Taobao データセットも同様に処理し、前の T-1 件のクリックを使用してユーザーの T 件目のクリックを予測します。実験結果は以下の通りです。

すべてのモデルに対して、Adam 最適化手法を使用し、初期学習率は 0.001 です。埋め込み次元は 16 に設定しています。

本番データセット実験：

本番データセットでは、49 日間の広告インプレッションおよびクリックサンプルをトレーニングセットとし、翌日をテストセットとします。MIMN 以外のモデルは、ユーザーの過去 14 日間の行動をシーケンスモデリングの入力として使用します。MIMN は過去 60 日間のユーザー行動データを使用し、長さを 1,000 に切り詰めます。

本番データセットでは、現在の本番環境での最高性能モデルである DIEN とのみ比較を行い、1% のオフライン向上を達成できます。

本番環境：
MIMN&UIC アーキテクチャを Alibaba のディスプレイ広告ビジネスにデプロイしました。本番環境での最高性能モデルである DIEN と比較して、オンライン CTR は 7.5% 向上し、RPM は 6% 向上しました。UIC アーキテクチャのおかげで、複雑な MIMN アルゴリズム構造をオンラインに投入でき、オンラインのスループットとレイテンシ性能は DIEN と比較して向上しています。図 4：

さらに、モデルの投入過程で多くの困難に遭遇し、それらを経験としてまとめました。

UIC サーバーと RTP サーバーのモデルパラメータ同期問題
MIMN アルゴリズムはユーザー興味抽出と CTR 推定の 2 つの部分で構成されています。オンライン計算では UIC と RTP の 2 つのサービスが関与するため、モデルパラメータの同期問題が発生します。表 3 で関連実験を行い、UIC と RTP サーバーのモデルパラメータに 1 日分の差異があっても、モデルのオフライン効果に影響がないことを実証しました。当システムはインクリメンタルトレーニング手法を採用しており、モデルパラメータは毎時更新されるため、パラメータ不整合のリスクを大幅に低減します。

大型プロモーション時のデータ変動
E コマースシーンでは、最も有名なダブルイレブンプロモーションなどの大型プロモーションが頻繁に行われます。このような場合、データの分布やユーザー行動は通常と大きく異なります。プロモーション期間のユーザー行動を導入してユーザーの興味を特徴付けた結果を比較しました。表 3 から、オフライン効果に 0.2% の低下が見られることが確認できます。

初期化戦略
UIC はユーザー行動をインクリメンタルに計算できますが、長期のユーザー行動を蓄積するには多くの時間がかかります。そこで初期化メカニズムを設定しました。モデルが学習したユーザーの 120 日間の行動の興味表現をエクスポートし、初期化として Tair に格納します。

ロールバックメカニズム

行動データの汚染やオンライン効果の問題などのオンライン障害を防止するため、ブレークポイント保存メカニズムを設定しました。毎日深夜 0 時にユーザーの興味状態をエクスポートしてオフラインストレージに保存します。障害発生後、直近のオフラインストレージをロードします。