目的
Artificial Intelligence Recommendation (AIRec) サービスへの初期アクセスが完了した後、AIRec サービスを利用することによるレコメンデーション効果の向上を評価し、AIRec ポリシーと独自のレコメンデーションポリシーとの違いを比較できます。
また、AIRec のポリシー運用ツールを使用して、ビジネス要件を満たすことができます。AIRec が提供する A/B テスト機能を使用してレコメンデーション効果を評価し、A/B テストの結果に基づいてポリシーを最適化できます。
評価メトリクス
ビジネス改善の観点から、レコメンデーションアルゴリズムは以下の目的を達成するために使用されます。
1. パーソナライズされたレコメンデーションを実装し、各ユーザーの好みに基づいてアイテムをフィルタリングすることで、ユーザーのアイテム閲覧意欲を高めます。
2. ユーザーが興味を持つアイテムをレコメンデーションすることで、ユーザー定着率を向上させ、好みのアイテムが表示されないことによるユーザー離脱を防ぎます。
3. ユーザーが興味を持ち、購入する可能性のあるアイテムを表示します。ユーザーはアイテムをクリックして詳細を表示し、その後購入する可能性があります。これにより、ユーザーのコンバージョン率と売上が向上します。
したがって、AIRec は主に以下のメトリクスに焦点を当て、改善を図ります。
PV_CTR： クリックスルー率 (CTR)。計算式：クリック総数 / インプレッション総数。重複レコードもカウントされます。
UV_CTR： アイテムをクリックしたユーザーの割合。計算式：アイテムをクリックしたユーザー数 / ページを閲覧したユーザーの総数。
PV_CVR： コンバージョン率 (CVR)。計算式：購入数 / クリック数。
UV_CVR： コンバージョンしたユーザーの割合。計算式：アイテムを購入したユーザー数 / アイテムをクリックしたユーザー数。
アクティブアイテム数： 指定された期間内にユーザーが操作したアイテムの総数。
GMV： 指定された期間内の売上総額。計算式：購入アイテム数 × アイテムの単価。
上記のメトリクスは、現在のビジネスシナリオにおいて、レコメンドされたアイテムに対するユーザーの興味、および閲覧・購入意欲を直接的かつ正確に反映します。これらのメトリクスに基づいて、レコメンデーションアルゴリズムとポリシーの妥当性を評価できます。
さらに多くのメトリクスを改善したい場合は、お問い合わせください。
参照： トラフィックの切り替えを実行し、レコメンデーション効果を確認する
評価方法
AIRecポリシーと独自のレコメンデーションポリシーの比較：
AIRec と独自のアルゴリズムまたは手動ポリシーとの違いを評価するには、A/B テストを使用します。十分なトラフィック量を持つ、バランスの取れた 2 つのトラフィックグループを設定します。各グループについて、日次の PV_CTR、UV_CTR、PV_CVR、UV_CVR を追跡します。その後、このデータを折れ線グラフにプロットして、パフォーマンストレンドを可視化できます。
2 つのグループの 行動データ を AIRec にアップロードできます。行動データと一緒に trace_id フィールドをアップロードすることで、ユーザーが属するグループを識別します。これにより、AIRec コンソールの [Effect Analysis] ページで、AIRec ポリシーと独自のレコメンデーションポリシーとのメトリクスの違いを表示できます。ポリシーのレコメンデーション効果を視覚的に評価することが可能になります。
異なるAIRecポリシーの比較：
異なる AIRec ポリシーと運用ツールを使用してレコメンデーション効果を評価したい場合は、1 つのポリシーを調整してから、同じシナリオで調整前後の同じメトリクスを比較できます。たとえば、今週と先週のレコメンデーション効果を比較できます。信頼できる結果を得るために、他のポリシーなどの変数が変更されていないことを確認してください。
また、AIRec は、Algorithm Configuration Edition の AIRec インスタンス向けに、実験プラットフォームに基づく A/B テスト機能を提供します。A/B テストを実行してレコメンデーション効果を評価し、A/B テストの結果に基づいてレコメンデーションポリシーとフィルタリングアルゴリズム構成を調整できます。異なる構成の実験に異なるトラフィックを割り当て、異なる構成のレコメンデーション効果を表示することで、正確で信頼できるデータを取得できます。
評価範囲
データ：
評価を、レコメンドされたアイテムが表示されるタブ、ページ、モジュールなど、AIRec を使用する適用領域に限定してください。すべての比較メトリクスは、これらの定義された領域からのみ取得してください。
時間：
AIRec ポリシーと独自のレコメンデーションポリシーを比較する場合は、両方のグループにトラフィックを割り当て、少なくとも 1 か月間メトリクスを観察する必要があります。異なる AIRec ポリシーを比較する場合は、たとえば、先週と今週のように、同じ長さの異なる期間でメトリクスを観察して比較することをお勧めします。また、特定のイベントによって結果が影響を受けることを防ぐために、継続して観察することをお勧めします。
評価基準
評価の正確性と信頼性を確保するために、可能な限り変数を制御する必要があります。アルゴリズムを唯一の変数とします。評価基準には以下が含まれますが、これらに限定されません。
1. 同じアイテムプールと同じ基本ポリシーが使用されていることを確認してください。
テストグループのアイテムプールは、コントロールグループのアイテムプールと同じである必要があります。これは、信頼できる A/B テスト結果を得るための基礎です。
また、離散化や露出ブロッキングなどの基本的な表示ポリシーも同じである必要があります。
2. イベントトラッキングデータが同じ基準に基づいて収集されていることを確認してください。
レコメンデーション効果を比較する場合、イベントトラッキングデータが同じ基準に基づいて収集されていることを確認する必要があります。これにより、信頼できる比較結果を得ることができます。
履歴データを使用して異なる期間のレコメンデーション効果を比較する場合は、AIRec が異なる期間で同じ基準に基づいてイベントトラッキングデータを収集しているかどうかを確認する必要があります。AIRec が異なる基準に基づいてデータを収集している場合は、データを修正できるかどうかを確認する必要があります。また、データを AIRec にアップロードし、A/B テストを実行して比較することもできます。
3. トラフィックが両方のグループにランダムに割り当てられていることを確認してください。
効果比較の公平性を確保するために、トラフィックをランダムに割り当てる必要があります。特定の行動を持つユーザーを 1 つのコントロールグループに割り当てることはできません。ランダム割り当ての原則に従う必要があります。ユーザーは実験開始前にテストグループにランダムに割り当てられます。実験が終了するまで、ユーザーが属するテストグループを変更することはできません。
さらに、単一ユーザーの行動が結果を歪めることを防ぐために、ユーザーベースは十分に大きい必要があります。参加者が多いほど、信頼性が高くなります。
4. 実験が同じシナリオで実行され、同じポリシーを使用していることを確認してください。
たとえば、ホームページシナリオでは、AIRec がレコメンドしたアイテムとそうでないアイテムは、同じ位置に表示される必要があります。
基本的な運用ポリシーが同一であることを確認してください。これには、露出ブロッキング、多様性ルール、画像付きアイテムのみを使用するかどうかなどの設定が含まれます。AIRec と比較実験の両方で構成するポリシーは、同じである必要があります。
最適化方法
ポリシーまたはアルゴリズムを最適化することで、AIRec のレコメンデーション効果を最適化できます。
ポリシー最適化
ポリシー最適化とは、AIRec が提供するポリシー構成機能と運用ツールを使用して、レコメンデーション結果を調整またはカスタマイズすることを指します。ポリシー最適化は通常、レコメンデーション結果の多様性の向上、特定のアイテムのピン留め、スロットリングの実装など、特定のビジネス効果や運用目的を達成するために実行されます。ポリシー最適化は、ユーザーの閲覧体験を向上させるために実行することもできます。
アルゴリズム最適化
アルゴリズム最適化とは、AIRec フィルタリングアルゴリズムのパラメーター値を変更することで、レコメンデーション結果を最適化することを指します。アルゴリズムは、実験プラットフォーム機能に基づいて最適化されます。Algorithm Configuration Edition の AIRec インスタンスのみが、アルゴリズム最適化に対応しています。
アルゴリズム最適化に関する個別の要件がある場合は、検討のため、お問い合わせください。
ポリシー最適化手順：
1. インスタンスベースのポリシー最適化：
インスタンスベースのポリシー最適化は、インスタンスのすべてのシナリオで有効になります。
ポリシー構成：
インスタンスのポリシーは、AIRec コンソールで [運用アシスタント] > [Policy Configuration] の順に選択した後に表示されるページで構成できます。
[Policy Configuration] ページの [Global Policies] には 2 つの部分が含まれます。重複排除ルール を使用して、ユーザーのインプレッション行動 (デフォルト：3 日間) またはクリック行動 (デフォルト：7 日間) に基づいてコンテンツをフィルタリングし、頻繁に訪問するユーザーに新鮮な体験を提供します。各ルールは個別に切り替えることができます。[Business Metric Definitions] を使用して、新しいアイテムを定義します。たとえば、過去 7 日間に公開されたアイテムを新しいアイテムとして分類し、この定義を体験最適化ルールにリンクします。
表示ポリシー：疲労度ルールを構成して、短期間内にインプレッションとクリックがあったアイテムが繰り返しレコメンドされることを防ぎ、レコメンドできるアイテムがない場合に、システムがインプレッションとクリックがあったアイテムをレコメンドできるようにします。
品質管理ポリシー：各アイテムに対して、公開、非公開、重み付け、削除、表示などの操作を実行できます。
スロットリング：
トラフィックスキューを実装して、特定の条件でフィルタリングされたアイテムのレコメンデーション重みを増減できます。これにより、これらのアイテムのインプレッション数と CTR を増減できます。スロットリングは、高品質のアイテムを宣伝するために使用できます。
スロットリングポリシーは、インスタンスまたは特定のシナリオに適用できます。
スロットリングポリシーは、AIRec コンソールで [運用アシスタント] > [Throttling] の順に選択した後に表示されるページで構成できます。
2. シナリオベースのポリシー最適化：
シナリオベースのポリシー最適化は、現在のシナリオでのみ有効です。
シナリオのポリシーを構成するには、AIRec コンソールで [運用アシスタント] > [Scenario Building] の順に選択し、対象シナリオの [Actions] 列にある [Configure] をクリックします。
アイテムフィルタリングルール：シナリオを 作成 するときにフィルタリングモードを指定した場合は、アイテムフィルタリングルールを使用して、シナリオでレコメンドされるアイテムの選択元となるアイテムプールを指定できます。AIRec は、フィルタリング条件を満たすアイテムをリアルタイムで更新します。このページでフィルタリング条件を編集して、シナリオでレコメンドされるアイテムがビジネス要件を満たすようにできます。
運用ルール：現在のシナリオの疲労度ルールや多様性ルールなどのポリシーをカスタマイズおよび調整できます。多様性ルールに関しては、指定されたレコメンデーションアイテムの割合を設定し、フィールドベースの離散化ルールを構成できます。
3. リクエストベースのポリシー最適化：
各リクエストのレコメンデーション結果をカスタマイズすることもできます。レコメンデーションフィルタリングとアイテムのピン留め機能を利用できます。
レコメンデーションフィルタリング：
アイテムデータの一部のフィールドを使用して、レコメンデーション結果をフィルタリングできます。レコメンデーションフィルタリングは、ユーザーが指定された条件を満たすアイテムを表示したいビジネスシナリオで使用されます。
レコメンデーションフィルタリング機能を使用する場合は、レコメンデーションのリクエストに filter パラメーターを追加する必要があります。詳細は、次をご参照ください：
アイテムのピン留め：
AIRec のアイテムのピン留め機能を使用して、レコメンデーションページの上部に表示するアイテムを指定できます。
レコメンデーション結果のリクエストでパラメーターを指定して、リクエストでピン留めされたアイテムをレコメンドするかどうかを決定できます。
アルゴリズム最適化手順 (Algorithm Configuration Edition)：
各シナリオ の実験機能を個別に有効にできます。また、フィルタリングアルゴリズムをカスタマイズできます。実験機能は、グローバルではなく、シナリオに対してのみ有効または無効にできます。
アルゴリズムを最適化するには、AIRec コンソールで [オンライン実験プラットフォーム] > [Experiment Parameter Settings] の順に選択し、対象の実験の [Actions] 列にある [Details] をクリックします。
A/B テスト：A/B テストシナリオでは、異なる実験を作成し、各実験のフィルタリングアルゴリズムに対して異なるポリシーを構成できます。次に、各実験にトラフィックを割り当て、異なる構成のレコメンデーション効果を確認します。A/B テストの結果を継続的に比較することで、最適な構成を見つけることができます。
トラフィックバケット：各シナリオのトラフィックを、指定されたルールに基づいて 10 または 20 のトラフィックバケットに分割できます。これらのトラフィックバケットは、異なる実験にランダムに割り当てられ、異なるポリシーの効果を小規模にテストできます。
実験構成：各実験について、各フィルタリングアルゴリズムとその子アルゴリズムの使用、パラメーター、優先度をカスタマイズできます。詳細については、関連トピックを参照してください。
アルゴリズム最適化に関する個別の要件がある場合は、検討のため、お問い合わせください。
効果の観察
AIRec は、レコメンデーション効果を評価するための、上記の評価メトリクスに関する一連のレポートを提供します。AIRec コンソールの [Effect Analysis] ページでメトリクスを表示できます。詳細については、「トラフィックの切り替えを実行し、レコメンデーション効果を確認する」をご参照ください。
Algorithm Configuration Edition の AIRec インスタンスに対して実験プラットフォーム機能を使用する場合は、AIRec コンソールの [Experiment Effect Analysis] ページで、異なる実験における上記のメトリクスの比較チャートを表示することもできます。これにより、各実験の効果を便利に評価できます。詳細については、「実験パフォーマンス分析」をご参照ください。