目的
Artificial Intelligence Recommendation (AIRec) サービスへの初期アクセスが完了したら、AIRec サービスの使用によってもたらされる推奨効果の向上を評価および判断し、AIRec ポリシーと独自の推奨ポリシーの違いを比較できます。
さらに、AIRec のポリシー操作ツールを使用してビジネス要件を満たすことができます。 AIRec が提供する A/B テスト機能を使用して推奨効果を評価し、A/B テスト結果に基づいてポリシーを最適化できます。
評価指標
ビジネスの改善という点では、推奨アルゴリズムは次の目的を達成するために使用されます。
1. パーソナライズされた推奨を実装し、各ユーザーの好みに基づいてアイテムをフィルタリングして、アイテムを参照する意欲を高めます。
2. ユーザーが興味を持っているアイテムを推奨して、ユーザーの定着率を向上させ、好みのアイテムが見られないことによるユーザー離脱を防ぎます。
3. ユーザーが興味を持ち、購入する可能性のあるアイテムを表示します。 ユーザーはアイテムをクリックして詳細を表示し、アイテムを購入することに魅力を感じる場合があります。 これにより、ユーザーのコンバージョン率と売上が向上します。
したがって、AIRec は主に次の指標に焦点を当て、改善します。
PV_CTR: クリック率 (CTR)。 計算式: クリックの総数/インプレッションの総数。 重複レコードはカウントされます。
UV_CTR: アイテムをクリックしたユーザーの割合。 計算式: アイテムをクリックしたユーザー数/ページを閲覧したユーザーの総数。
PV_CVR: コンバージョン率 (CVR)。 計算式: 購入数/クリック数。
UV_CVR: コンバージョンしたユーザーの割合。 計算式: アイテムを購入したユーザー数/アイテムをクリックしたユーザー数。
アクティブなアイテム数: 指定された期間内にユーザーが操作を実行したアイテムの総数。
GMV: 指定された期間の売上高の合計値。 計算式: 購入したアイテム数 × アイテムの単価。
上記の指標は、推奨アイテムに対するユーザーの関心と、現在のビジネスシナリオでアイテムを参照および購入する意欲を直接的かつ真実に反映しています。 これらの指標に基づいて、推奨アルゴリズムとポリシーの合理性を評価できます。
より多くの指標を改善したい場合は、お問い合わせください。
参考: トラフィックの切り替えを実行し、推奨効果を確認する。
評価方法
AIRec ポリシーと独自の推奨ポリシーを比較する:
AIRec ポリシーと独自の推奨ポリシーの違いを評価する場合は、A/B テストを実行することをお勧めします。 2 つのグループを作成し、2 つのグループにトラフィックを割り当てる必要があります。 トラフィックの割り当ては均等でなければならず、各グループの一定量のトラフィックを維持する必要があります。 次に、毎日 2 つのグループの PV_CTR、UV_CTR、PV_CVR、および UV_CVR に関する指標統計を収集し、折れ線グラフを使用して効果指標の傾向を表示します。
2 つのグループの 行動データを AIRec にアップロードできます。 行動データと一緒にアップロードされる trace_id フィールドは、ユーザーが属するグループを識別します。 これにより、AIRec コンソールの効果分析ページで、AIRec ポリシーと独自の推奨ポリシーの指標の違いを確認できます。 これにより、ポリシーの推奨効果を視覚的に評価できます。
異なる AIRec ポリシーを比較する:
異なる AIRec ポリシーと操作ツールを使用して推奨効果を評価する場合は、1 つのポリシーを調整してから、同じシナリオで調整前後の同じ指標を比較できます。 たとえば、今週の推奨効果を先週の推奨効果と比較できます。 信頼できる結果を得るには、他のポリシーなどの変数は変更されないようにしてください。
さらに、AIRec は、実験プラットフォームに基づいて、アルゴリズム構成エディションの AIRec インスタンスに A/B テスト機能を提供します。 A/B テストを実行して推奨効果を評価し、A/B テスト結果に基づいて推奨ポリシーとフィルタリングアルゴリズム構成を調整できます。 異なる構成の実験に異なるトラフィックを割り当て、異なる構成の推奨効果を表示することにより、正確で信頼できるデータを取得できます。
評価範囲
データ:
効果評価に使用されるデータの範囲は、AIRec によって推奨されるアイテムのタブ、ページ、モジュールの指標など、アプリで生成される AIRec 関連データに限定されます。
時間:
AIRec ポリシーと独自の推奨ポリシーを比較する場合は、両方のグループにトラフィックを割り当て、少なくとも 1 か月間指標を観察する必要があります。 異なる AIRec ポリシーを比較する場合は、先週と翌週など、同じ長さの異なる期間の指標を観察して比較することをお勧めします。 また、特定の適時性イベントによる結果への影響を防ぐために、継続的な観察を実行することをお勧めします。
評価基準
評価の正確性と信頼性を確保するには、できるだけ変数を制御する必要があります。 アルゴリズムは唯一の変数として使用されます。 評価基準には、次の基準が含まれますが、これらに限定されません。
1. 同じアイテムプールと基本ポリシーが使用されていることを確認します。
テストグループのアイテムプールは、コントロールグループのアイテムプールと同じである必要があります。 これは、信頼できる A/B テスト結果を得るための基礎となります。
さらに、離散化やインプレッションブロックなどの基本的な表示ポリシーは同じである必要があります。
2. イベント追跡データが同じ基準に基づいて収集されていることを確認します。
推奨効果を比較する場合は、イベント追跡データが同じ基準に基づいて収集されていることを確認する必要があります。 これにより、信頼できる比較結果を得ることができます。
履歴データを使用して異なる期間の推奨効果を比較する場合は、AIRec が異なる期間で同じ基準に基づいてイベント追跡データを収集するかどうかを確認する必要があります。 AIRec が異なる基準に基づいてデータを収集する場合は、データが修正できるかどうかを確認する必要があります。 また、データを AIRec にアップロードして、比較のために A/B テストを実行することもできます。
3. トラフィックが両方のグループにランダムに割り当てられていることを確認します。
効果比較の公平性を確保するために、トラフィックはランダムに割り当てる必要があります。 特定の行動を持つユーザーを 1 つのコントロールグループに割り当てることはできません。 ランダム割り当ての原則に従う必要があります。 ユーザーは実験開始前にテストグループにランダムに割り当てられます。 実験が終了するまで、ユーザーが属するテストグループを変更することはできません。
さらに、ユーザーの数が一定量に維持され、ユーザーの慣例に反する行動によって実験の精度が影響を受けるのを防ぐ必要があります。 したがって、ユーザーの数が多いほど、結果は信頼性が高くなります。
4. 実験が同じシナリオで実行され、同じポリシーを使用していることを確認します。
たとえば、ホームページのシナリオでは、AIRec によって推奨されるアイテムと AIRec によって推奨されないアイテムは同じ位置に表示する必要があります。
さらに、AIRec アルゴリズムポリシーを使用する実験とその他の比較実験では、インプレッションブロック、多様性ルール、画像付きアイテムのみを使用するかどうかなど、同じ基本操作ポリシーを使用する必要があります。
最適化方法
ポリシーまたはアルゴリズムを最適化することにより、AIRec の推奨効果を最適化できます。
ポリシーの最適化
ポリシーの最適化とは、AIRec が提供するポリシー構成機能と操作ツールを使用して推奨結果を調整またはカスタマイズすることです。 ポリシーの最適化は通常、推奨結果の多様性の向上、特定のアイテムの最上位への固定、調整の実装など、特定のビジネス効果と運用目的を達成するために行われます。 ポリシーの最適化は、ユーザーのブラウジングエクスペリエンスを向上させるためにも実行できます。
アルゴリズムの最適化
アルゴリズムの最適化とは、AIRec フィルタリングアルゴリズムのパラメーターの値を変更することにより、推奨結果を最適化することです。 アルゴリズムは、実験プラットフォーム機能に基づいて最適化されます。 アルゴリズムの最適化は、アルゴリズム構成エディションの AIRec インスタンスのみでサポートされています。
アルゴリズムの最適化に関してパーソナライズされた要件がある場合は、お問い合わせください。
ポリシーの最適化手順:
以下では、AIRec のポリシー最適化の機能と手順について説明します。
1. インスタンスベースのポリシー最適化:
インスタンスベースのポリシー最適化は、すべてのシナリオのインスタンスに有効です。
ポリシー構成:
AIRec コンソールで [運用アシスタント] > [ポリシー構成] を選択した後に表示されるページで、インスタンスのポリシーを構成できます。
表示ポリシー: 露出およびクリックされたアイテムが短期間に繰り返し推奨されないように疲労ルールを構成し、推奨できるアイテムがない場合にシステムが露出およびクリックされたアイテムを推奨できるようにすることができます。
品質管理ポリシー: 各単一アイテムに対して、公開と非公開、重み付け、削除、表示などの操作を実行できます。
参考:
調整:
トラフィックの歪みを実装して、特定の条件でフィルタリングされたアイテムの推奨ウェイトを増減できます。 これにより、これらのアイテムのインプレッション数と CTR を増減できます。 調整は、高品質のアイテムを宣伝するために使用できます。
調整ポリシーは、インスタンスに適用することも、特定のシナリオで適用することもできます。
AIRec コンソールで [運用アシスタント] > [調整] を選択した後に表示されるページで、調整ポリシーを構成できます。
参考:
2. シナリオベースのポリシー最適化:
シナリオベースのポリシー最適化は、現在のシナリオでのみ有効です。
AIRec コンソールで [運用アシスタント] > [シナリオ構築] を選択し、シナリオの [アクション] 列の [構成] をクリックした後に表示されるページで、シナリオのポリシーを構成できます。
アイテムフィルタリングルール: シナリオの 作成時にフィルタリングモードを指定した場合、アイテムフィルタリングルールを使用して、シナリオで推奨されるアイテムが選択されるアイテムプールを指定できます。 AIRec は、フィルタリング条件を満たすアイテムをリアルタイムで更新します。 このページでフィルタリング条件を編集して、シナリオで推奨されるアイテムがビジネス要件を満たすようにすることができます。
操作ルール: 現在のシナリオの疲労ルールや多様性ルールなどのポリシーをカスタマイズおよび調整できます。 多様性ルールに関しては、指定された推奨アイテムの割合を設定し、フィールドベースの離散化ルールを構成できます。
参考:
3. リクエストベースのポリシー最適化:
各リクエストの推奨結果をカスタマイズすることもできます。 推奨フィルタリングとアイテム固定機能がサポートされています。
推奨フィルタリング:
アイテムデータの一部のフィールドを使用して、推奨結果をフィルタリングできます。 推奨フィルタリングは、ユーザーが指定された条件を満たすアイテムを表示したいビジネスシナリオで使用されます。
推奨フィルタリング機能を使用するには、推奨のリクエストに filter パラメーターを追加する必要があります。 参考:
推奨フィルタリング機能を使用してフィードストリームのフィルタリングをカスタマイズする
アイテムの固定:
AIRec のアイテム固定機能を使用して、推奨ページの上部に表示するアイテムを指定できます。
推奨結果のリクエストでパラメーターを指定して、リクエストで固定アイテムを推奨するかどうかを決定できます。
参考:
アルゴリズムの最適化手順 (アルゴリズム構成エディション):
各シナリオで実験機能を個別に有効にできます。 フィルタリングアルゴリズムのカスタム調整を実行することもできます。 実験機能は、グローバルではなく、シナリオに対してのみ有効または無効にできます。
[オンライン実験プラットフォーム] > [実験パラメーター設定] を選択し、実験の [アクション] 列の [詳細] をクリックした後に表示されるページで、アルゴリズムの最適化を実行できます。
A/B テスト: A/B テストシナリオでは、異なる実験を作成し、各実験のフィルタリングアルゴリズムに異なるポリシーを構成できます。 次に、各実験にトラフィックを割り当て、異なる構成の推奨効果を確認します。 A/B テスト結果を比較し続けることで、最適な構成を見つけることができます。
トラフィックバケット: 各シナリオのトラフィックを、指定されたルールに基づいて 10 または 20 のトラフィックバケットに分割できます。 これらのトラフィックバケットは、異なる実験にランダムに割り当てられ、異なるポリシーの効果を小規模でテストできます。
実験構成: 各実験について、各フィルタリングアルゴリズムとその子アルゴリズムの使用法、パラメーター、および優先順位をカスタマイズできます。 詳細については、関連トピックをご覧ください。
実験の作成などの操作の詳細については、次のトピックを参照してください。
アルゴリズムの最適化に関してカスタム要件がある場合は、評価についてお問い合わせください。
効果の観察
AIRec は、推奨効果を評価するための一連の評価指標に関するレポートを提供します。 AIRec コンソールの効果分析ページで指標を表示できます。 詳細については、「トラフィックの切り替えを実行し、推奨効果を確認する」をご参照ください。
アルゴリズム構成エディションの AIRec インスタンスに実験プラットフォーム機能を使用する場合は、AIRec コンソールの [実験効果分析] ページで、異なる実験における前述の指標の比較チャートを表示することもできます。 これにより、各実験の効果を簡単に評価できます。 詳細については、「実験効果分析」をご参照ください。