OpenSearch:A/Bテストレポート

指標

定義

計算方法

依存関係

説明

検索PV

成功した検索リクエストの数。PVはページビューの略です。検索リクエストには、ページングリクエストが含まれます。

成功レスポンスを受信した各検索リクエストをカウントします。

当日の成功した検索リクエストの数を計算します。

検索UV

検索結果ページにアクセスしたユーザーの数。UVはユニークビジターの略です。

ユーザーが検索結果ページに何回アクセスしたかに関係なく、各ユーザーを1回だけカウントします。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。

当日に検索リクエストを送信したユーザーの数を計算します。

ページ遷移率

すべての検索リクエストに対するページングリクエストの比率。

ページングリクエストの数を検索PVで割ります。

検索取得と検索結果の並べ替えの効果を評価するために、すべての検索リクエストに対するページングリクエストの比率を計算します。

結果なし率

結果にアイテムが含まれていない検索リクエストの、すべての検索リクエストに対する比率。

結果にアイテムが含まれていない検索リクエストの数を検索PVで割ります。

検索取得の効果とコンテンツの多様性を評価するために、結果にアイテムが含まれていない検索リクエストの、すべての検索リクエストに対する比率を計算します。

PV-CTR

検索結果のクリック率（CTR）。

IPVを検索PVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索取得と検索結果の並べ替えの効果を評価するために、検索結果のCTRを計算します。

UV-CTR

ユーザーのCTR。

IPV_UVを検索UVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索取得と検索結果の並べ替えの効果を評価するために、ユーザーのCTRを計算します。

TOP5 PV-CTR

検索結果の上位5つのアイテムのCTR。これらのアイテムは、検索結果の最初のページの最初の5つのアイテムです。

検索結果の上位5つのアイテムのクリック数を検索PVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索結果の並べ替えの効果を評価するために、検索結果の上位5つのアイテムのCTRを計算します。

一人当たりの検索PV

ユーザー1人当たりの平均成功検索リクエスト数。

検索PVを検索UVで割ります。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。

ユーザー1人当たりの平均成功検索リクエスト数を計算します。検索リクエストが多いほど、ユーザーは検索に興味を持っているが、期待する結果を得るために何度も検索する必要があることを示しています。

翌日リテンション率

2日連続で検索リクエストを送信したユーザーの、前日に検索リクエストを送信したユーザーに対する比率。

検索UV（t-1）と検索UV（t）の積集合を検索UV（t-1）で割ります。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。

ユーザーの粘着性を示します。

指標

定義

計算方法

依存関係

説明

検索PV

成功した検索リクエストの数。検索リクエストには、ページングリクエストが含まれます。

成功レスポンスを受信した各検索リクエストをカウントします。

当日の成功した検索リクエストの数を計算します。

検索UV

検索結果ページにアクセスしたユーザーの数。

ユーザーが検索結果ページに何回アクセスしたかに関係なく、各ユーザーを1回だけカウントします。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。

当日に検索リクエストを送信したユーザーの数を計算します。

一人当たりの検索PV

ユーザー1人当たりの平均成功検索リクエスト数。

検索PVを検索UVで割ります。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。

ユーザー1人当たりの平均成功検索リクエスト数を計算します。検索リクエストが多いほど、ユーザーは検索に興味を持っているが、期待する結果を得るために何度も検索する必要があることを示しています。

アイテムインプレッション

アイテムの表示回数。アイテムとは、検索結果ページの商品またはコンテンツを指します。現在のページのアイテムが、ページングリクエストまたは読み込みプロセス後に新しいページに表示される場合、アイテムの2回目の表示は新しいアイテムの表示としてカウントされます。

データ収集機能が有効になっていて、アイテムの表示に関するデータがアップロードされている場合、この指標では各アイテムの表示がカウントされます。そうでない場合、この指標では検索結果のアイテムの総数がカウントされます。

精度の向上のため、データ収集機能と、アップロードされたアイテムの表示に関する行動データに依存します。データ収集機能が無効になっているか、アイテムの表示に関する行動データがアップロードされていない場合、精度は低くなります。

当日の検索結果におけるアイテムの表示回数を計算します。

クエリ数

ユーザーごとに重複排除した後の、すべてのユーザーからのクエリの総数。各ユーザーについて、ユーザーが複数回実行した同じクエリは1回だけカウントされます。

各ユーザーから重複排除されたクエリの数を集計します。2人のユーザーによって実行された同じクエリは2回カウントされます。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。検索リクエストにraw_queryフィールドが含まれている場合、生のクエリが使用されます。そうでない場合、デフォルトインデックスの値がクエリとして使用されます。デフォルトインデックスが指定されていない場合、クエリは空です。

ユーザーごとに重複排除した後の、すべてのユーザーからのクエリの総数を計算します。重複排除により、ページングリクエストと繰り返し検索の重複カウントを防ぎます。

一人当たりのクエリ数

ユーザー1人当たりの平均重複排除クエリ数。

クエリ数を検索UVで割ります。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。

ユーザー1人当たりの平均重複排除クエリ数を計算します。重複排除により、ページングリクエストと繰り返し検索の重複カウントを防ぎます。

独立クエリ数

すべてのユーザーからの独立クエリ数。

重複排除後のすべてのユーザーからのクエリ数をカウントします。複数のユーザーによって実行された同じクエリは1回だけカウントされます。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるraw_queryフィールドに依存します。この依存関係はオプションです。検索リクエストにraw_queryフィールドが含まれている場合、生のクエリが使用されます。そうでない場合、デフォルトインデックスの値がクエリとして使用されます。デフォルトインデックスが指定されていない場合、クエリは空です。

クエリの多様性を示します。

ページ遷移率

すべての検索リクエストに対するページングリクエストの比率。

ページングリクエストの数を検索PVで割ります。

検索取得と検索結果の並べ替えの効果を評価するために、すべての検索リクエストに対するページングリクエストの比率を計算します。

結果なし率

結果にアイテムが含まれていない検索リクエストの、すべての検索リクエストに対する比率。

結果にアイテムが含まれていない検索リクエストの数を検索PVで割ります。

検索取得の効果とコンテンツの多様性を評価するために、結果にアイテムが含まれていない検索リクエストの、すべての検索リクエストに対する比率を計算します。

結果が少ない率

結果に5つ以下のアイテムしか含まれていない検索リクエストの、すべての検索リクエストに対する比率。

結果に5つ以下のアイテムしか含まれていない検索リクエストの数を検索PVで割ります。

検索取得の効果とコンテンツの多様性を評価するために、結果に5つ未満のアイテムしか含まれていない検索リクエストの、すべての検索リクエストに対する比率を計算します。

リクエストエラー回数

検索リクエストは送信されたが、スロットリングなどの理由でエラーレスポンスを受信した回数。

エラーメッセージを受信した各リクエストをカウントします。

アプリケーションを調整する必要があるかどうかを示します。たとえば、アプリケーションをスケールアウトする必要がある場合があります。

リクエストエラー率

すべての検索リクエストに対する、失敗した検索リクエストの比率。リクエストは、スロットリングなどの理由で失敗しました。

リクエストエラー回数を、検索PVとリクエストエラー回数の合計で割ります。

アプリケーションを調整する必要があるかどうかを示します。たとえば、アプリケーションをスケールアウトする必要がある場合があります。

指標

定義

計算方法

依存関係

説明

IPV

検索結果のアイテムのクリック数。

検索結果のアイテムのクリックをカウントします。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索結果のアイテムのクリック数を計算します。

IPV_UV

検索結果ページでアイテムをクリックしたユーザーの数。

ユーザーが検索結果でアイテムを何回クリックしたかに関係なく、各ユーザーを1回だけカウントします。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。アップロードされるデータでは、user_idフィールドを指定する必要があります。

検索結果でアイテムをクリックしたユーザーの数を計算します。

一人当たりのIPV

ユーザー1人当たりの検索結果のアイテムの平均クリック数。

IPVを検索UVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。アップロードされるデータでは、user_idフィールドを指定する必要があります。

ユーザー1人当たりの検索結果のアイテムの平均クリック数を計算します。

PV-CTR

検索結果のCTR。

IPVを検索PVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索取得と検索結果の並べ替えの効果を評価するために、検索結果のCTRを計算します。

UV-CTR

ユーザーのCTR。

IPV_UVを検索UVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索取得と検索結果の並べ替えの効果を評価するために、ユーザーのCTRを計算します。

アイテムCTR

アイテムのCTR。アイテムとは、検索結果ページの商品またはコンテンツを指します。

IPVをアイテムインプレッションで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索取得と検索結果の並べ替えの効果を評価するために、検索結果のCTRを計算します。

クリックされたPVの割合

すべての検索リクエストに対する、結果がユーザーによってクリックされた検索リクエストの比率。

結果がユーザーによってクリックされた検索リクエストの数を検索PVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索取得と検索結果の並べ替えの効果を評価するために、検索結果のCTRを計算します。

TOP3 PV-CTR

検索結果の上位3つのアイテムのCTR。これらのアイテムは、検索結果の最初のページの最初の3つのアイテムです。

検索結果の上位3つのアイテムのクリック数を検索PVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索結果の並べ替えの効果を評価するために、検索結果の上位3つのアイテムのCTRを計算します。

TOP5 PV-CTR

検索結果の上位5つのアイテムのCTR。これらのアイテムは、検索結果の最初のページの最初の5つのアイテムです。

検索結果の上位5つのアイテムのクリック数を検索PVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索結果の並べ替えの効果を評価するために、検索結果の上位5つのアイテムのCTRを計算します。

TOP10 PV-CTR

検索結果の上位10個のアイテムのCTR。これらのアイテムは、検索結果の最初のページの最初の10個のアイテムです。

検索結果の上位10個のアイテムのクリック数を検索PVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。

検索結果の並べ替えの効果を評価するために、検索結果の上位10個のアイテムのCTRを計算します。

お気に入り登録数

ユーザーが検索結果からお気に入りにアイテムを追加した回数。

ユーザーが検索結果からアイテムをお気に入りに追加するたびにカウントします。

データ収集機能と、アップロードされたアイテムをお気に入りに追加することに関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はcollectである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーがお気に入りにアイテムを追加するように導く効果を評価します。

お気に入りへのコンバージョン率

すべての検索リクエストに対する、ユーザーが検索結果からアイテムをお気に入りに追加した回数の比率。

お気に入り登録数をクリック数で割ります。

データ収集機能と、アップロードされたアイテムをお気に入りに追加することに関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はcollectである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーがお気に入りにアイテムを追加するように導く効果を評価します。

追加購入

ユーザーが検索結果からショッピングカートにアイテムを追加した回数。

ユーザーが検索結果からショッピングカートにアイテムを追加するたびにカウントします。

データ収集機能と、アップロードされたショッピングカート、本棚、またはプレイリストにアイテムを追加することに関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はcartである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーがショッピングカートにアイテムを追加するように導く効果を評価します。

アドオンコンバージョン率

すべての検索リクエストに対する、ユーザーが検索結果からショッピングカートにアイテムを追加した回数の比率。

追加購入を検索PVで割ります。

データ収集機能と、アップロードされたショッピングカート、本棚、またはプレイリストにアイテムを追加することに関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はcartである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーがショッピングカートにアイテムを追加するように導く効果を評価します。

いいね！

ユーザーが検索結果のアイテムに「いいね！」をした回数。

ユーザーが検索結果のアイテムに「いいね！」をするたびにカウントします。

データ収集機能と、アップロードされたアイテムに「いいね！」をすることに関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はlikeである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーが検索結果のアイテムに「いいね！」をするように導く効果を評価します。

いいね！コンバージョン率

すべての検索リクエストに対する、ユーザーが検索結果のアイテムに「いいね！」をした回数の比率。

いいね！を検索PVで割ります。

データ収集機能と、アップロードされたアイテムに「いいね！」をすることに関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はlikeである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーが検索結果のアイテムに「いいね！」をするように導く効果を評価します。

コメント数

ユーザーが検索結果のアイテムにコメントを投稿した回数。

ユーザーが検索結果のアイテムにコメントを投稿するたびにカウントします。

データ収集機能と、アップロードされたコメントの投稿に関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はcommentである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーがコメントを投稿するように導く効果を評価します。

コメントコンバージョン率

すべての検索リクエストに対する、ユーザーが検索結果のアイテムにコメントを投稿した回数の比率。

コメント数を検索PVで割ります。

データ収集機能と、アップロードされたコメントの投稿に関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はcommentである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーがコメントを投稿するように導く効果を評価します。

指標

定義

計算方法

依存関係

説明

検索ガイドGMV

ユーザーが検索結果に基づいて行った購入の総商品売上高（GMV）。

取引金額を集計します。

データ収集機能と、アップロードされたユーザーの購入に関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はbuyである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーが購入するように導く効果を評価します。

検索ガイド取引UV

検索結果に基づいて購入したユーザーの数。

ユーザーが検索結果に基づいて何回購入したかに関係なく、各ユーザーを1回だけカウントします。

データ収集機能と、アップロードされたユーザーの購入に関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はbuyである必要があります。アップロードされるデータでは、user_idフィールドを指定する必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーが購入するように導く効果を評価します。

検索ガイド顧客単価

検索結果に基づいて購入したユーザーの間での、ユーザー1人当たりの平均取引金額。

検索ガイドGMVを検索ガイド取引UVで割ります。

データ収集機能と、アップロードされたユーザーの購入に関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はbuyである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーが購入するように導く効果を評価します。

注文コンバージョン率

検索結果ページにアクセスしたすべてのユーザーに対する、検索結果に基づいて購入したユーザーの比率。

検索ガイド取引UVを検索UVで割ります。

データ収集機能と、アップロードされたユーザーの購入に関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はbuyである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーが購入するように導く効果を評価します。

クリックスルー率

検索結果のアイテムをクリックしたすべてのユーザーに対する、検索結果のアイテムをクリックした後に購入したユーザーの比率。

検索ガイド取引UVをIPV_UVで割ります。

データ収集機能と、アップロードされたユーザーの購入に関する行動データに依存します。アップロードされるデータでは、bhv_typeフィールドの値はbuyである必要があります。

検索の取得、検索結果の並べ替え、および検索結果が、ユーザーが購入するように導く効果を評価します。

指標

定義

計算方法

依存関係

説明

翌日リテンション率

2日連続で検索リクエストを送信したユーザーの、前日に検索リクエストを送信したユーザーに対する比率。

検索UV（t-1）と検索UV（t）の積集合を検索UV（t-1）で割ります。

ユーザーがAPI操作を呼び出したり、OpenSearch SDKを使用したりしてリクエストを送信するときに、検索リクエストで指定されるuser_idフィールドに依存します。

ユーザーの粘着性を示します。

離脱ユーザー率

検索結果ページにアクセスしたすべてのユーザーに対する、検索結果のアイテムをクリックしなかったユーザーの比率。

UVとIPV_UVの差を検索UVで割ります。

データ収集機能と、アップロードされたユーザーのクリックに関する行動データに依存します。アップロードされるデータでは、user_idフィールドを指定する必要があります。

検索取得と検索結果の並べ替えの効果を評価します。