A/B テストレポートでは、各実験バリアントが検索品質およびユーザー行動に与える影響を確認できます。OpenSearch では、5 つのメトリックカテゴリ（コアメトリック、トラフィックメトリック、行動メトリック、トランザクションメトリック、ユーザー分析メトリック）を追跡します。
結果の解釈に先立って
レポートから結論を導き出す前に、以下の点をご確認ください。
データ遅延： レポートはデフォルトで前日のデータを表示します。行動データをアップロードした場合、そのデータは翌日以降のレポートに反映されます。
日付範囲： 日付ピッカーを使用して、特定の日付または期間を選択します。各メトリックカテゴリには 7 日間のトレンドチャートが含まれており、メトリック横のチャートアイコンをクリックすると、そのトレンドビューが開きます。
データ依存関係： 行動データ（クリック、お気に入り登録、購入など）を必要とするメトリックは、データ収集機能を有効化し、対応する行動データをアップロードした後にのみ利用可能です。
レポートの表示
左側のナビゲーションウィンドウで、[レポート統計] > [A/B テスト] を選択します。[アプリケーション名] ドロップダウンリストからアプリケーション、実験グループ、実験の順に選択します。メトリックカテゴリのタブをクリックし、日付ピッカーを使用して期間を設定します。
コアメトリック
コアメトリックは、検索ボリューム、ユーザーのエンゲージメント、検索結果の品質を包括的に把握するための高レベルな指標です。行動データやトランザクションデータを詳細に分析する前に、各実験バリアントの全体的な健全性を評価するために使用します。
| メトリック | 定義 | 計算式 | 依存条件 |
|---|---|---|---|
| 検索 PV | ページングリクエストを含む、成功した検索リクエストの数。PV は page view（ページビュー）を意味します。 | 成功応答を受け取ったリクエスト数 | — |
| 検索 UV | 検索結果ページを訪問したユーザー数。UV は unique visitor（ユニーク訪問者）を意味します。ユーザーは、検索回数に関わらず 1 回のみカウントされます。 | ユニークユーザー数 | user_id（検索リクエスト内） |
| ページング率 | 全検索リクエストに対するページングリクエストの割合。高い値は、ユーザーが 1 ページ目で目的の情報を得られていない可能性を示します。 | ページングリクエスト数 ÷ 検索 PV | — |
| 無結果率 | 全検索リクエストに対する、結果がゼロ件であった検索リクエストの割合。高い値は、取得（retrieval）におけるギャップを示すサインです。 | 結果ゼロ件のリクエスト数 ÷ 検索 PV | — |
| PV-CTR | 検索結果のクリック率（CTR）。検索リクエスト単位で測定されます。 | IPV ÷ 検索 PV | データ収集機能；クリック行動データ |
| UV-CTR | ユーザー単位で測定された CTR。複数回検索を行うユーザーの影響を平滑化することで、PV-CTR を補完します。 | IPV_UV ÷ 検索 UV | データ収集機能; クリック行動データ |
| TOP5 PV-CTR | 検索結果の 1 ページ目の上位 5 件のアイテムの CTR。検索結果上部のランキング品質を評価する際に使用します。 | 上位 5 件へのクリック数 ÷ 検索 PV | データ収集機能；クリック行動データ |
| 検索 PV 1 人当たり | ユーザー 1 人あたりの平均検索リクエスト数。高い値は、ユーザーが積極的に検索している一方で、結果の取得に苦労している可能性を示します。 | 検索 PV ÷ 検索 UV | user_id（検索リクエスト内） |
| 翌日保持率 | 連続する 2 日間に検索を行ったユーザー数と、前日に検索を行ったユーザー数の比率。ユーザーの定着度（stickiness）を示します。 | 検索 UV(t−1) と検索 UV(t) の共通ユーザー数 ÷ 検索 UV(t−1) | user_id（検索リクエスト内） |
トラフィックメトリック
トラフィックメトリックは、検索ボリューム、クエリの多様性、エラー率を細分化して分析します。コアメトリックと併用することで、検索負荷の状況を把握し、取得（retrieval）に関する問題を特定できます。
| メトリック | 定義 | 計算式 | 依存条件 |
|---|---|---|---|
| 検索 PV | ページングリクエストを含む、成功した検索リクエストの数。 | 成功応答を受け取ったリクエスト数 | — |
| 検索 UV | 検索結果ページを訪問したユーザー数。 | 固有ユーザー数 | user_id（検索リクエスト内） |
| 検索 PV 1 人当たり | ユーザー 1 人あたりの平均検索リクエスト数。 | 検索 PV ÷ 検索 UV | user_id（検索リクエスト内） |
| アイテムインプレッション数 | 検索結果におけるアイテムの露出回数。ページングリクエスト後に同一アイテムが新しいページに再表示された場合も、新たな露出としてカウントされます。行動データが利用可能な場合は、アップロードされたデータに基づいてインプレッションをカウントします。それ以外の場合は、検索結果内のアイテム総数を用います。 | アイテムインプレッション数（行動データがない場合は検索結果のアイテム総数） | データ収集機能；アイテムインプレッション行動データ（精度向上のため） |
| クエリ数 | すべてのユーザーにわたるクエリの合計数（ユーザー単位で重複排除済み）。同一ユーザーによる同一クエリは 1 回のみカウントされ、異なるユーザーによる同一クエリはそれぞれ 1 回ずつカウントされます。raw_query がリクエストに存在する場合は、その値が使用されます。存在しない場合はデフォルトインデックス値が使用され、デフォルトインデックスが未設定の場合はクエリは空となります。 | ユーザーごとの重複排除済みクエリ数の合計 | user_id（検索リクエスト内）；raw_query フィールド（任意） |
| クエリ数 1 人当たり | ユーザー 1 人あたりの平均重複排除済みクエリ数。 | クエリ数 ÷ 検索 UV | user_id（検索リクエスト内） |
| 独立クエリ数 | すべてのユーザーにわたる、異なるクエリの総数。複数のユーザーが同一クエリを送信した場合でも、1 回のみカウントされます。クエリの多様性を示します。 | ユーザー間での重複排除後のクエリ数 | raw_query フィールド（任意） |
| ページング率 | 全検索リクエストに対するページングリクエストの割合。 | ページングリクエスト数 ÷ 検索 PV | — |
| 無結果率 | 全検索リクエストに対する、結果がゼロ件であった検索リクエストの割合。 | 結果ゼロ件のリクエスト数 ÷ 検索 PV | — |
| 低結果率 | 全検索リクエストに対する、結果が 5 件以下であった検索リクエストの割合。 | 結果 ≤5 件のリクエスト数 ÷ 検索 PV | — |
| リクエストエラー回数 | エラー応答（例：速度制限によるエラー）を受け取った検索リクエストの数。急増は、スケールアウトが必要であることを示す可能性があります。 | エラー応答を受け取ったリクエスト数 | — |
| リクエストエラー率 | 失敗したリクエスト数と全リクエスト数の比率。 | リクエストエラー回数 ÷ (検索 PV + リクエストエラー回数) | — |
行動メトリック
行動メトリックは、ユーザーが検索結果に対して行う操作（クリック、お気に入り登録、ショッピングカートへの追加、いいね、コメント）を追跡します。すべての行動メトリックは、データ収集機能が有効化されており、対応する行動データがアップロードされている必要があります。
| メトリック | 定義 | 計算式 | 依存条件 |
|---|---|---|---|
| IPV | 検索結果内のアイテムに対するクリック数。 | アイテムクリック数の合計 | データ収集機能；クリック行動データ |
| IPV_UV | 検索結果内のアイテムを少なくとも 1 件クリックしたユーザー数。各ユーザーは 1 回のみカウントされます。 | クリックしたユーザーの異なるユーザー数 | データ収集機能；クリック行動データ；user_id |
| IPV 1 人当たり | ユーザー 1 人あたりの平均アイテムクリック数。 | IPV ÷ 検索 UV | データ収集機能；クリック行動データ；user_id |
| PV-CTR | 検索結果のクリック率（CTR）。検索リクエスト単位で測定されます。 | IPV ÷ 検索 PV | データ収集機能；クリック行動データ |
| UV-CTR | ユーザー単位で測定された CTR。 | IPV_UV ÷ 検索 UV | データ収集機能；クリック行動データ |
| アイテム-CTR | アイテム単位の CTR — 公開されたアイテムがクリックされる頻度。 | IPV ÷ アイテムインプレッション数 | データ収集機能；クリック行動データ |
| クリック済み PV の割合 | ユーザーが少なくとも 1 件の検索結果をクリックした検索リクエストの割合。 | クリック済み検索リクエスト数 ÷ 検索 PV | データ収集機能；クリック行動データ |
| TOP3 PV-CTR | 1 ページ目の上位 3 件のアイテムの CTR。 | 上位 3 件へのクリック数 ÷ 検索 PV | データ収集機能；クリック行動データ |
| TOP5 PV-CTR | 1 ページ目の上位 5 件のアイテムの CTR。 | 上位 5 件へのクリック数 ÷ 検索 PV | データ収集機能；クリック行動データ |
| TOP10 PV-CTR | 1 ページ目の上位 10 件のアイテムの CTR。 | 上位 10 件へのクリック数 ÷ 検索 PV | データ収集機能；クリック行動データ |
| コレクション数 | ユーザーが検索結果からアイテムをお気に入りに追加した回数。 | お気に入り追加回数の合計 | データ収集機能；お気に入り行動データ；bhv_type = collect |
| お気に入り転換率 | お気に入り追加回数と全検索リクエスト数の比率。 | コレクション数 ÷ 検索 PV | データ収集機能；お気に入り行動データ；bhv_type = collect |
| 追加購入数 | ユーザーが検索結果からアイテムをショッピングカート（またはブックシェルフ、プレイリスト）に追加した回数。 | カート追加回数の合計 | データ収集機能；カート行動データ；bhv_type = cart |
| 追加購入転換率 | カート追加回数と全検索リクエスト数の比率。 | 追加購入数 ÷ 検索 PV | データ収集機能；カート行動データ；bhv_type = cart |
| いいね数 | ユーザーが検索結果内のアイテムに「いいね」を付けた回数。 | いいね数の合計 | データ収集機能；いいね行動データ；bhv_type = like |
| 類似コンバージョン レート | いいね数と全検索リクエスト数の比率。 | いいね数 ÷ 検索 PV | データ収集機能；いいね行動データ；bhv_type = like |
| コメント数 | ユーザーが検索結果内のアイテムについてコメントを投稿した回数。 | コメント数の合計 | データ収集機能；コメント行動データ；bhv_type = comment |
| コメント転換率 | コメント数と全検索リクエスト数の比率。 | コメント数 ÷ 検索 PV | データ収集機能；コメント行動データ；bhv_type = comment |
トランザクションメトリック
トランザクションメトリックは、検索結果が購入にどれだけ効果的に結びついているかを測定します。すべてのトランザクションメトリックは、アップロードされた行動データに bhv_type = buy が含まれている必要があります。
| メトリック | 定義 | 計算式 | 依存条件 |
|---|---|---|---|
| 検索経由 GMV | 検索結果経由で行われた購入の商品総売上高（GMV）。 | トランザクション金額の合計 | データ収集機能；購入行動データ；bhv_type = buy |
| 検索ガイド ディール UV | 検索結果経由で購入を行ったユーザー数。各ユーザーは 1 回のみカウントされます。 | 購入ユーザーの異なるユーザー数 | データ収集機能；購入行動データ；bhv_type = buy；user_id |
| 検索経由顧客単価 | 購入ユーザー 1 人あたりの平均トランザクション金額。 | 検索経由 GMV ÷ 検索経由購入 UV | データ収集機能；購入行動データ；bhv_type = buy |
| 注文転換率 | 検索結果ページを訪問したユーザーのうち、購入を行ったユーザーの割合。 | 検索経由購入 UV ÷ 検索 UV | データ収集機能；購入行動データ；bhv_type = buy |
| クリック率 | 検索結果をクリックしたユーザーのうち、その後購入を行ったユーザーの割合。 | 検索経由購入 UV ÷ IPV_UV | データ収集機能；購入行動データ；bhv_type = buy |
ユーザー分析メトリック
ユーザー分析メトリックは、長期的なエンゲージメントおよびユーザー離脱の状況を把握するための指標です。
| メトリック | 定義 | 計算式 | 依存条件 |
|---|---|---|---|
| 翌日保持率 | 連続する 2 日間に検索を行ったユーザー数と、前日に検索を行ったユーザー数の比率。 | 検索 UV(t−1) と検索 UV(t) の共通ユーザー数 ÷ 検索 UV(t−1) | user_id（検索リクエスト内） |
| 離脱ユーザー率 | 検索結果ページを訪問したが、いずれのアイテムもクリックしなかったユーザーの割合。高い値は、取得（retrieval）品質の低下または不適切なランキングを示唆します。 | (検索 UV − IPV_UV) ÷ 検索 UV | データ収集機能；クリック行動データ；user_id |