How Taobao embraces the era of short video

1 はじめに

1.1 ショート動画ビジネスの急成長

ショート動画とは、一般に 5 分未満の動画コンテンツを指す。ユーザー時間の断片化、モバイルインターネットとスマートフォンの急速な普及、そして低い制作ハードルにより、ショート動画は近年広く注目を集めてきた。2011 年の誕生から、2015 年の Kuaishou と Meipai の突然の台頭、2016 年の Douyin と火山動画の急成長まで、ショート動画はさらに多くのユーザーの注目とトラフィックを集め、ユーザーの情報収集習慣を大きく変えてきた。

現在、ショート動画の月間アクティブユーザー数は約 4 億人に達し、1 人あたりの日平均視聴時間は 60 分を超えている。さまざまなユーザータイプをカバーし、ユーザーのソーシャル、動画視聴、ゲーム、ニュースなどのアプリ利用時間を圧迫している。

1.2 淘宝のショート動画の現状

現在、淘宝内の動画数は 2 億 6,000 万以上に達する。多くの淘宝/Tmall 商品ヘッダー画像が静止画像からショート動画に変更され、商品の使い方や詳細をあらゆる角度から紹介している。大量の購入者レビューが動画形式を採用し、ユーザーにより信頼性の高い直感的な購入判断材料を提供。ライブ配信のトップ配信者は精力的なファン獲得能力と販売力を発揮し、クリエイター動画は精彩に制作されさまざまな形式でユーザーにより快適なブラウジング体験を提供している。動画数とユーザーニーズの急増は、動画レコメンデーションアルゴリズムにより高い課題を提起している。

本稿では、過去 6 ヶ月間の動画レコメンデーションアルゴリズムの実践について、Wow Video とホームページの「あなたにおすすめ」動画の 2 つのシナリオで簡単に紹介する。
3.jpg
Wow Video は、中上位の購買力を持ったファッション感度の高い若年ユーザーを対象とした動画プロダクトであり、アパレル、美容、食品、赤ちゃん、ペット、デジタル、フィットネスなどさまざまなフィールドをカバーしている。コンテンツプールは数十万のクリエイター動画と数十万のプロダクト動画で構成され、すべて品質スクリーニングと人によるレビューを経ており、さまざまなスタイルと精彩な制作が特徴である。

「あなたにおすすめ」動画はクラウドテーマ機能の重要な構成要素である。「あなたにおすすめ」のウォーターフォールフィードでは、ユーザーの嗜好に応じて一定の頻度で動画が配信される。コンテンツプールは主に数百万のプロダクト動画で構成され、品質ルールでスクリーニングされた上で、主にユーザーを購入へと誘導する機能を担っている。

上記 2 つのシナリオのウォーターフォールフィードでは、動画をクリックすると全画面乗っ取りページに遷移し、関連商品のブラウジング、クリエイターページへの移動、いいね、コメント、共有、そして下方向へのスクロールで続きをブラウジングできる。

1.3 動画レコメンデーションアルゴリズムフレームワーク

動画レコメンデーションアルゴリズムの全体フレームワークはプロダクトレコメンデーションと基本的に同様であり、以下の部分で構成される。

リコールは、ユーザーの直近の行動に基づき数千の候補セットを取得する。
ランキングは、一般に粗ランキングと精ランキングに分けられる。粗ランキングは大まかなモデルで候補セットに初期スコアを付け、数百件までに切り詰める。精ランキングは複雑度の高いモデルであり、複数の異なる目標モデルの融合である場合もある。候補セットにより精密なスコアリングを行い、約 100 件までに切り詰める。
ビジネス戦略、つまりユーザー体験に基づく重複排除や分散配置の戦略である。
本稿ではまず動画特徴システムについて紹介し、その後このフレームワークに沿って動画レコメンデーションを紹介する。動画レコメンデーションがプロダクトレコメンデーションと異なる部分に焦点を当てる。

2. 動画特徴システム
構築した動画特徴システムは、主に ID 特徴、プロダクト汎化特徴、動画統計特徴、動画コンテンツ特徴、ラベル特徴などからなる。

ID 特徴は動画 ID、作成者 ID などから構成される。
プロダクトの汎化特徴は、主に動画に紐づく商品から得られる。たとえば、商品 ID、カテゴリ ID、仮想カテゴリ ID、店舗 ID、ブランド ID、商品の性別、購買力、プロダクトラベルなどである。
動画統計特徴は、シーン別、カテゴリ別、作成者別などの異なるディメンションでの統計的再生率、平均再生時間、有効再生率などを指す。
動画コンテンツ特徴は、キーフレーム画像特徴と音声特徴であり、動画の内容やスタイルをより細かく記述できる。
動画タグの特徴は、マルチタグ分類モデルに基づくスケーラブルなメッシュ型タグアーキテクチャであり、所属カテゴリや汎コンテンツディメンションの関連タグをカバーしている。これらのタグの組み合わせは動画コンテンツの凝縮された記述となっている。現在、主にアパレル分野でのラベルシステムを運用しており、継続的に改善を進めている。

3. 動画ベースのリコール

3.1 RankI2V リコール

淘宝動画の特徴は、大半の動画が関連商品に紐付いていることである。そのため、当初の動画リコールは商品レコメンデーションの i2i リコールをそのまま活用し、i2i2v リコールに拡張した。つまり、ユーザーが直近にクリック/保存/購入した商品セットをトリガーアイテムセットとして、それに似た候補商品セットを見つけ、さらに動画と商品の関係性に基づいて候補動画セットを探し、人気度の高い動画から順にリコールする。同様に、c2i は c2i2v に、seller2i は seller2i2v に拡張可能である。このバージョンの利点は、既存フレームワークとデータを十分に活用でき、素早くオンラインできることである。しかし欠点も明らかである。同一商品が複数の動画に関連付く場合があり、これらの動画の特定ユーザーに対する価値を評価できない。商品への興味が動画への興味を意味するわけではなく、大きなギャップがある。動画におけるユーザー行動情報（視聴時間、いいね、注目など）が全く活用されておらず、この情報こそが最も価値が高いのである。

そこで、RankI2V リコール方式を実装し、商品から動画を直接リコールする。主なアイデアは以下の通りである。全画面乗っ取りページの再生ログでサンプルを構築し、滞在時間をラベルとして、トリガー商品・動画関連商品・動画自身の特徴を組み合わせ、GBDT モデルで商品と動画の関係性を直接スコアリングする。

1）サンプルの構築：

前述の i2i2v リコールの基盤上で、ユーザーが動画を視聴するたびにログからトリガー商品・視聴した動画・視聴時間を取得する
異常データをクリーニングした後、短い視聴時間を負のサンプル（視聴しなかったものと同等）、長い再生時間を正例とし、実際の再生時間を正例の重みとする
同一ユーザーと同一トリガーアイテムに対して、正例と負のサンプルの両方がサンプルセットに含まれるようにリサンプリングを行う
2）特徴セットの構築。主に 3 つの部分からなる：

トリガー商品の特徴。カテゴリ、価格、人気度、動的评价などの自然属性、およびサイト全体の異なるタイムスライスでのインプレッション・クリック指標、販売者・カテゴリなどのディメンションでの指標など
動画の特徴。サイト全体/Wow Video シーンでそれぞれ、カテゴリ別、パブリッシャー別、異なる時間ディメンションで集計した、インプレッション数、クリック数、有効再生率、完了率、平均視聴時間/人均再生時間など
商品と動画の類似関係。同一カテゴリに属するか、同一販売者に属するか、商品と動画関連商品の類似度スコアなど

3）モデル：

GBDT モデルをペアワイズ損失でトレーニングする
2 つのシナリオのオンライン実験において、RankI2V は第 1 版のプロダクトベースのリコール方式（i2i2v など）よりも有意に優れている。実験データは以下の通り：

Wow Video ウォーターフォールページのオンライン時、平均再生時間が約 10% 増加、1 人あたりの再生時間が 5% 以上増加、pCTR が 5% 以上上昇、uCTR も有意に上昇し、有意なポジティブ効果が確認された。

全画面乗っ取りページのオンライン時、1 回あたりの平均再生時間が有意に増加し、1 人あたりの再生時間も有意に増加し、有意なポジティブ効果が確認された（全画面ページシーンでは CTR ではなく再生時間のみを注視）。

「あなたにおすすめ」動画のオンライン時、CTR が約 10% 上昇し、有意なポジティブ効果が確認された。

3.2 RankV2V リコール

プロダクトを用いた動画リコールの利点は、ユーザーが商品上で豊かかつ多様な行動を取り、より良好なトリガーセットを得られることである。しかし、動画にとってより自然な方法は動画で動画をリコールすることである。なぜなら、ユーザーの商品に対する嗜好と動画に対する嗜好は必ずしも一致しないからである。RankI2V の考え方を参考に、RankV2V リコールアルゴリズムも実装した。

まず、トリガー動画とリコール動画の関係性を得るために、サイト全体の動画再生ログに基づき、有効視聴時間を目標とした CF v2v リコールモデルのバージョンを導入し、協調フィルタリングで計算する。一定期間運用し、十分な再生行動データが蓄積された後、RankV2V モデルのトレーニングを開始する。主なアイデアは、全画面乗っ取りページの再生ログでサンプルを構築し、滞在時間をラベルとして、トリガー動画とリコール動画の特徴を組み合わせ、GBDT モデルで動画間の関係性をスコアリングする。
1）サンプルの構築：

前述の CF v2v リコールの基盤上で、ユーザーが動画を視聴するたびにログからトリガー動画・視聴した動画・視聴時間を取得する
異常データをクリーニングした後、短い視聴時間を負のサンプル、長い再生時間を正例とし、実際の再生時間を正例の重みとする
同一ユーザーと同一トリガー動画に対して、正例と負のサンプルの両方がサンプルセットに含まれるようにリサンプリングを行う
2）特徴セットの構築。主に 3 つの部分からなる：

トリガー動画の特徴。サイト全体/Wow Video シーンでそれぞれ、カテゴリ別、パブリッシャー別、異なる時間ディメンションで集計した、インプレッション数、クリック数、有効再生率、完了率、平均視聴時間など
リコール動画の特徴。トリガー動画と同様に集計
トリガー動画とリコール動画の類似関係。同一カテゴリに属するか、同一販売者に属するかなど
3）モデル：

GBDT モデルをペアワイズ損失でトレーニングする
オンライン実験において、RankV2V のリコール結果数は RankI2V より少ない（ユーザーの動画上の行動は商品上の行動よりはるかに少なく、トリガーセットがはるかに小さいため）が、指標は RankI2V よりも明らかに優れている。サイト全体の動画漏出量が増加し、ユーザーの動画行動がさらに充実するにつれて、RankV2V のパフォーマンスも相応に向上すると予想される。

「あなたにおすすめ」動画のオンライン後、CTR が約 15% 急上昇した。その中で、RankV2V 単独のクリック率はベンチマークバケットよりも約 50% 高く、有意なポジティブ効果が顕著である。

3.3 Realtime-based Interest

プロダクトレコメンデーションと比較して、動画レコメンデーションではリアルタイム性能がより重要である。特に全画面乗っ取りページのようなシーンでは、ユーザーは一度に 1 つの動画にしか没入しない。2、3 本の動画が連続してユーザーの興味を捉えられなければ、ユーザーは非常に簡単に離脱してしまう。この心理に対応するため、全画面乗っ取りページに以下の 4 つのリアルタイムトリガーを導入した。

ウォーターフォールフィードで、ユーザーがある動画をクリックして全画面ページに入る際、この動画はユーザーの現在のブラウジング意図を強く反映するため、この動画をトリガーセットに追加する。
ウォーターフォールフィードでクリックされた動画には関連商品情報もある。この商品もユーザーが現在興味を持っている商品である確率が高いため、この商品もトリガーセットに追加する。
全画面ページで下方向にスクロールして次のページに入る際、ユーザーは前のページのおすすめ動画に対して再生、いいね、コメント、フォローなどの行動を取っている。これらの行動はユーザーの現在のブラウジング興味と次のページの表示結果に対する期待を反映する。正の行動があった動画をトリガーセットに追加する。これは最もリアルタイム性の高い方法である。
リアルタイムログに基づいて、サイト全体のユーザーの動画視聴行動を収集し（数十秒から数分の遅延あり）、正の行動があった動画をトリガーセットに追加する。
実験の結果、最終的なリコール優先順位は以下のように決定された。4 つのリアルタイムトリガー方式は同等であり、他のリコール方式よりも優先度が高い。

全画面遷移ページのオンライン時、1 回あたりの平均視聴時間が 10% 以上増加し、1 人あたりの視聴時間が約 15% 増加し、顕著なポジティブ効果が確認された。

Wow Video フィードのオンライン時、pCTR が有意に上昇し、uCTR は横ばい、1 回あたりの平均滞在時間が有意に増加し、1 人あたりの滞在時間も有意に増加し、顕著なポジティブ効果が確認された。

実験結果から、没入型全画面ページの効果がウォーターフォールページよりも有意に高いことがわかる。ウォーターフォールは 1 回に表示される数が多く、ユーザーの選択の幅が広いのに対し、全画面ページは 1 回に 1 つずつの表示であり、ユーザーの興味に常時ヒットすることがより高く求められるからである。同時に、4 つのリアルタイムリコール方式の中では、3 番目のリコール方式の指標が他よりも優れており、リアルタイム性が強いほどリコール効率も良いことが示されており、これは最初の仮説と一致している。

4. 動画ランキング

4.1 粗ランキングモデル

マルチチャネルリコール後、システムはユーザーが興味を持つ可能性のある動画コレクションを取得する。同時に、リコールの精度をさらに向上させるため、マルチチャネルでリコールされた動画を统一的にランキングし、候補動画コレクションを絞り込む必要がある。このプロセスは、BE マルチウェイリコール後に特徴を削減したモデルで実行される。

動画粗ランキングモデルは、CTR または滞在時間を目標としてモデルトレーニングと予測を行う。GBDT をポイントワイズまたはペアワイズ方式で実装する。

CTR を主な最適化目標とする GBDT モデルは、ユーザーが動画をクリックしたかどうかをラベルとして、ポイントワイズ方式でトレーニングする。特徴は主にコンテキスト特徴、ユーザー特徴、動画属性特徴、動画フィードバック統計特徴などのディメンションを含む。動画フィードバック統計特徴の中で、時間情報を用いて算出したクリック率特徴がより高い重みを持つ。
滞在時間を目標とする動画粗ランキングモデルは、離散化した滞在時間をトレーニング目標として、ペアワイズ方式でトレーニングし、特徴により多くの滞在時間カテゴリの統計特徴を追加する。
実験効果

「あなたにおすすめ」動画で CTR の GBDT モデルに接続して CTR の LR モデルを置き換えたところ、CTR が 10% 以上増加した。
「あなたにおすすめ」没入ページ滞在時間の GBDT モデルで、PV 再生時間が約 30% 増加、UV 再生時間が 30% 以上増加した。
全画面動画ページ滞在時間の GBDT モデルを接続したところ、1 回あたりの平均再生時間が約 10% 増加し、1 人あたりの平均再生時間も有意に向上した。

4.2 精ランキングモデル

精ランキングは、異なる目標のモデルで動画をスコアリングする。粗ランキングと比較して、精ランキングは特徴の面でより豊かで完全であり、同時に異なる目標の同一モデル、または同一目標の異なるモデルを組み合わせてスコアを共同算出する。

動画精ランキングモデルは主に 3 つのモデルで構成される。CTR を目標とする XFTRL と GBDT、および滞在時間を目標とする GBDT である。最終スコアは 3 つのモデルの予測を組み合わせる。

CTR 最適化目標の XFTRL モデルは、特徴は主にコンテキストディメンション特徴、ユーザーディメンション、プロダクトディメンション、動画ディメンションの ID クラスと離散属性クラスの特徴、およびこれらのディメンションの組み合わせ交差特徴を含む。その中で、ユーザー ID、動画 ID、過去 x 日間のユーザーのお気に入りカテゴリ ID top3 と動画対応プロダクトのカテゴリ ID の組み合わせ特徴がモデルで良好な効果を示した。

CTR 最適化目標の GBDT モデルは、特徴の面で、粗ランキングの既存のコンテキスト特徴、ユーザー特徴、動画属性特徴、動画フィードバック統計特徴に加えて、過去 x 日間のシーン全体の動画を作成者別・カテゴリ別に集計した統計特徴を追加し、同時に動画フィードバックの統計特徴をより多くの統計特徴で補強した。特徴集中では、シーン内の CTR クラスの重みが比較的高く、モデルがこのシーンで人気度の高い動画を推薦する傾向が見られる。

CTR モデルと比較して、滞在時間最適化目標の GBDT モデルは、過去 x 日間の動画滞在時間の作成者別・カテゴリ別の統計特徴を追加している。ラベルは離散化した滞在時間である。特徴セットでは、このシーンでの動画の再生人気度と動画作成者の平均再生人気度がモデル内で高い重みを持っている。
実験効果

「あなたにおすすめ」動画で CTR の XFTRL モデルを最適化した後、CTR が有意に向上。RankI2V を接続後は約 10% の増加、合計で約 15% の増加。
「あなたにおすすめ」動画の CTR の GBDT モデルを最適化した後、CTR が有意に向上。
「あなたにおすすめ」動画の滞在時間の GBDT モデルで、滞在時間が 10% 以上増加。

5. ビジネス戦略
レコメンデーションシステムのアルゴリズムはクリック率と滞在時間を最適化する一方で、良好なユーザー体験と制御可能なトラフィックも確保する必要がある。

5.1 体験最適化

良好なユーザー体験を実現するため、動画レコメンデーションでは多様な最適化を行ってきた。同時に、集中度、類似度、動画発見性の 3 つのディメンションを観測指標として体験最適化に追加した。集中度と類似度は主にページ内体験を測定し、動画発見性はページ間体験を測定する。

ページ内再マッチング：各リクエストで仮想カテゴリ、リーフカテゴリ、動画タグのページ内再マッチングを行い、同一の仮想カテゴリ/リーフカテゴリ/ラベルの動画がページ上で連続して表示されないようにする。ページ内再マッチングの導入後、PV はやや減少、クリック率が上昇、動画集中度と類似度が有意に増加し、ユーザーが感じる多様化が有意に改善された。

ページ間サプレッション：リアルタイムの動画インプレッションとクリックを収集し、直近 x 日間にクリックされなかった仮想カテゴリ/リーフカテゴリ/ラベルを適切にフィルタリングする。ページ間サプレッションの導入後、PV と CTR はほぼ同等で、インプレッション発見性が向上し、類似動画の複数日連続露出が減少した。

リアルタイムブラックリストフィルタリング：評判の悪い動画や自己体験の悪い動画について、作成者やタイトルをブラックリストに追加し、オンラインでリアルタイムにフィルタリングする。導入後、体験が向上し、関連する評判の問題が減少した。

購入済みフィルタリング：ユーザーが購入した商品と同一カテゴリの動画をフィルタリングする。購入済みフィルタリングの導入後、PV と CTR はやや減少し、ユーザー体験の多様化がさらに向上した。

インプレッションフィルタリング：リアルインプレッションの収集には数分の遅延が生じる可能性があるため、リアルタイムデータベースで偽インプレッションログを記録し、リアルインプレッションと偽インプレッションの両方で動画をフィルタリングする。導入後、CTR はやや減少したが、連続重複露出の現象が明らかに解消された。

6. 結論

プロダクトレコメンデーションと比較して、動画レコメンデーションアルゴリズムにはまだ大きな発展の余地がある。たとえば、現在試みているマルチタグ分類、画像・音声特徴を用いたマルチモーダル動画埋め込み、およびリアルタイム探索興味のモデリングなどである。興味のある方の連絡と、より多くの指摘を歓迎する。