Le rapport de test A/B montre l'impact de chaque variante d'expérience sur la qualité de la recherche et le comportement des utilisateurs. OpenSearch assure le suivi de cinq catégories de métriques : les métriques principales, les métriques de trafic, les métriques comportementales, les métriques transactionnelles et les métriques d'analyse des utilisateurs.
Avant d'interpréter les résultats
Examinez les points suivants avant de tirer des conclusions du rapport :
Décalage des données : par défaut, le rapport affiche les données de la veille. Une fois les données comportementales chargées, le rapport en tient compte à partir du lendemain.
Plage de dates : utilisez le sélecteur de date pour choisir un jour ou une période spécifique. Chaque catégorie de métriques inclut un graphique de tendance sur 7 jours ; cliquez sur l'icône du graphique située à côté d'une métrique pour afficher sa tendance.
Dépendances des données : les métriques qui nécessitent des données comportementales (clics, favoris, achats) ne sont disponibles qu'après activation de la fonctionnalité de collecte de données et chargement des données comportementales correspondantes.
Afficher le rapport
Dans le volet de navigation de gauche, choisissez Report Statistics > A/B Test. Sélectionnez une application dans la liste déroulante Application Name, puis sélectionnez un groupe d'expériences et une expérience. Cliquez sur l'onglet d'une catégorie de métriques et utilisez le sélecteur de date pour définir la période.
Métriques principales
Les métriques principales offrent une vue d'ensemble du volume de recherche, de l'engagement des utilisateurs et de la qualité des résultats. Utilisez ces métriques pour évaluer l'état général de chaque variante d'expérience avant d'analyser les données comportementales ou transactionnelles.
| Métrique | Définition | Formule | Dépendance |
|---|---|---|---|
| Search PV | Nombre de requêtes de recherche réussies, y compris les requêtes de pagination. PV signifie « page view » (affichage de page). | Nombre de requêtes ayant reçu une réponse de réussite | — |
| Search UV | Nombre d'utilisateurs ayant consulté les pages de résultats de recherche. UV signifie « unique visitor » (visiteur unique). Chaque utilisateur n'est compté qu'une seule fois, quel que soit le nombre de recherches effectuées. | Nombre d'utilisateurs distincts | user_id dans les requêtes de recherche |
| Page turning rate | Ratio des requêtes de pagination par rapport à toutes les requêtes de recherche. Un taux élevé peut indiquer que les utilisateurs ne trouvent pas ce qu'ils cherchent dès la première page. | Requêtes de pagination ÷ Search PV | — |
| No-results rate | Ratio des recherches n'ayant retourné aucun résultat par rapport à toutes les requêtes de recherche. Un taux élevé signale des lacunes dans la récupération des données. | Requêtes sans résultat ÷ Search PV | — |
| PV-CTR | Taux de clics (CTR) des résultats de recherche, mesuré par requête de recherche. | IPV ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de clics |
| UV-CTR | CTR mesuré par utilisateur. Il complète le PV-CTR en atténuant l'effet des utilisateurs effectuant de nombreuses recherches. | IPV_UV ÷ Search UV | Fonctionnalité de collecte de données ; données comportementales de clics |
| TOP5 PV-CTR | CTR des cinq premiers éléments de la première page des résultats de recherche. Utilisez cette métrique pour évaluer la qualité du classement en haut des résultats. | Clics sur les 5 premiers éléments ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de clics |
| Search PV per capita | Nombre moyen de requêtes de recherche par utilisateur. Une valeur élevée peut signifier que les utilisateurs sont engagés mais rencontrent des difficultés pour trouver des résultats. | Search PV ÷ Search UV | user_id dans les requêtes de recherche |
| Next day retention rate | Ratio des utilisateurs ayant effectué une recherche deux jours consécutifs par rapport aux utilisateurs ayant effectué une recherche la veille. Indique la fidélisation des utilisateurs. | Intersection de Search UV(t-1) et Search UV(t) ÷ Search UV(t-1) | user_id dans les requêtes de recherche |
Métriques de trafic
Les métriques de trafic détaillent le volume de recherche, la diversité des requêtes et les taux d'erreur. Utilisez-les conjointement avec les métriques principales pour comprendre la charge de recherche et identifier les problèmes de récupération.
| Métrique | Définition | Formule | Dépendance |
|---|---|---|---|
| Search PV | Nombre de requêtes de recherche réussies, y compris les requêtes de pagination. | Nombre de requêtes ayant reçu une réponse de réussite | — |
| Search UV | Nombre d'utilisateurs ayant consulté les pages de résultats de recherche. | Nombre d'utilisateurs distincts | user_id dans les requêtes de recherche |
| Search PV per capita | Nombre moyen de requêtes de recherche par utilisateur. | Search PV ÷ Search UV | user_id dans les requêtes de recherche |
| Item impressions | Nombre d'expositions d'éléments dans les résultats de recherche. Si un élément réapparaît sur une nouvelle page après une requête de pagination, cela compte comme une nouvelle exposition. Lorsque les données comportementales sont disponibles, les expositions sont comptées à partir des données chargées ; sinon, le nombre total d'éléments dans les résultats est utilisé. | Nombre d'expositions d'éléments (ou nombre total d'éléments de résultat si aucune donnée comportementale) | Fonctionnalité de collecte de données ; données comportementales d'exposition d'éléments (pour une meilleure précision) |
| Query number | Total des requêtes pour tous les utilisateurs, dédupliqué par utilisateur. La même requête effectuée par le même utilisateur n'est comptée qu'une fois ; la même requête effectuée par deux utilisateurs différents est comptée deux fois. Si raw_query est présent dans une requête, cette valeur est utilisée ; sinon, la valeur de l'index par défaut est utilisée ; si aucun index par défaut n'est défini, la requête est vide. |
Somme des requêtes dédupliquées par utilisateur | user_id dans les requêtes de recherche ; champ raw_query (facultatif) |
| Number of queries per capita | Nombre moyen de requêtes dédupliquées par utilisateur. | Query number ÷ Search UV | user_id dans les requêtes de recherche |
| Number of independent queries | Nombre de requêtes distinctes pour tous les utilisateurs. La même requête soumise par plusieurs utilisateurs n'est comptée qu'une fois. Indique la diversité des requêtes. | Nombre de requêtes après déduplication inter-utilisateurs | Champ raw_query (facultatif) |
| Page turning rate | Ratio des requêtes de pagination par rapport à toutes les requêtes de recherche. | Requêtes de pagination ÷ Search PV | — |
| No-results rate | Ratio des recherches n'ayant retourné aucun résultat par rapport à toutes les requêtes de recherche. | Requêtes sans résultat ÷ Search PV | — |
| Low-results rate | Ratio des recherches ayant retourné cinq éléments ou moins par rapport à toutes les requêtes de recherche. | Requêtes avec ≤5 résultats ÷ Search PV | — |
| Request error times | Nombre de requêtes de recherche ayant reçu une réponse d'erreur (par exemple, en raison d'une limitation de débit). Une augmentation soudaine peut indiquer la nécessité d'une mise à l'échelle horizontale. | Nombre de requêtes ayant reçu une erreur | — |
| Request error rate | Ratio des requêtes échouées par rapport à toutes les requêtes. | Request error times ÷ (Search PV + Request error times) | — |
Métriques comportementales
Les métriques comportementales suivent l'interaction des utilisateurs avec les résultats de recherche : clics, favoris, ajouts au panier, mentions « J'aime » et commentaires. Toutes les métriques comportementales nécessitent l'activation de la fonctionnalité de collecte de données et le chargement des données comportementales correspondantes.
| Métrique | Définition | Formule | Dépendance |
|---|---|---|---|
| IPV | Nombre de clics sur des éléments dans les résultats de recherche. | Nombre de clics sur des éléments | Fonctionnalité de collecte de données ; données comportementales de clics |
| IPV_UV | Nombre d'utilisateurs ayant cliqué sur au moins un élément dans les résultats de recherche. Chaque utilisateur n'est compté qu'une seule fois. | Nombre d'utilisateurs distincts ayant cliqué | Fonctionnalité de collecte de données ; données comportementales de clics ; user_id |
| IPV per capita | Nombre moyen de clics sur des éléments par utilisateur. | IPV ÷ Search UV | Fonctionnalité de collecte de données ; données comportementales de clics ; user_id |
| PV-CTR | CTR des résultats de recherche, mesuré par requête de recherche. | IPV ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de clics |
| UV-CTR | CTR mesuré par utilisateur. | IPV_UV ÷ Search UV | Fonctionnalité de collecte de données ; données comportementales de clics |
| Item-CTR | CTR au niveau de l'élément — fréquence à laquelle un élément exposé est cliqué. | IPV ÷ Item impressions | Fonctionnalité de collecte de données ; données comportementales de clics |
| Percentage of clicked PV | Ratio des requêtes de recherche où les utilisateurs ont cliqué sur au moins un résultat. | Requêtes de recherche avec clics ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de clics |
| TOP3 PV-CTR | CTR des trois premiers éléments de la première page. | Clics sur les 3 premiers éléments ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de clics |
| TOP5 PV-CTR | CTR des cinq premiers éléments de la première page. | Clics sur les 5 premiers éléments ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de clics |
| TOP10 PV-CTR | CTR des dix premiers éléments de la première page. | Clics sur les 10 premiers éléments ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de clics |
| Number of collections | Nombre de fois où les utilisateurs ont ajouté des éléments des résultats de recherche à leurs favoris. | Nombre d'ajouts aux favoris | Fonctionnalité de collecte de données ; données comportementales de favoris ; bhv_type = collect |
| Favorite conversion rate | Ratio des ajouts aux favoris par rapport à toutes les requêtes de recherche. | Number of collections ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de favoris ; bhv_type = collect |
| Additional purchases | Nombre de fois où les utilisateurs ont ajouté des éléments des résultats de recherche au panier d'achat (ou à la bibliothèque ou à la playlist). | Nombre d'ajouts au panier | Fonctionnalité de collecte de données ; données comportementales de panier ; bhv_type = cart |
| Add-on conversion rate | Ratio des ajouts au panier par rapport à toutes les requêtes de recherche. | Additional purchases ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de panier ; bhv_type = cart |
| Likes | Nombre de fois où les utilisateurs ont aimé des éléments dans les résultats de recherche. | Nombre de mentions « J'aime » | Fonctionnalité de collecte de données ; données comportementales de mentions « J'aime » ; bhv_type = like |
| Like conversion rate | Ratio des mentions « J'aime » par rapport à toutes les requêtes de recherche. | Likes ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de mentions « J'aime » ; bhv_type = like |
| Number of comments | Nombre de fois où les utilisateurs ont publié des commentaires sur des éléments dans les résultats de recherche. | Nombre de commentaires | Fonctionnalité de collecte de données ; données comportementales de commentaires ; bhv_type = comment |
| Comment conversion rate | Ratio des commentaires par rapport à toutes les requêtes de recherche. | Number of comments ÷ Search PV | Fonctionnalité de collecte de données ; données comportementales de commentaires ; bhv_type = comment |
Métriques transactionnelles
Les métriques transactionnelles mesurent l'efficacité des résultats de recherche pour générer des achats. Toutes les métriques transactionnelles nécessitent la présence de bhv_type = buy dans les données comportementales chargées.
| Métrique | Définition | Formule | Dépendance |
|---|---|---|---|
| Search guide GMV | Volume brut de marchandises (GMV) des achats effectués à partir des résultats de recherche. | Somme des montants des transactions | Fonctionnalité de collecte de données ; données comportementales d'achat ; bhv_type = buy |
| Search guide deal UV | Nombre d'utilisateurs ayant effectué un achat à partir des résultats de recherche. Chaque utilisateur n'est compté qu'une seule fois. | Nombre d'utilisateurs acheteurs distincts | Fonctionnalité de collecte de données ; données comportementales d'achat ; bhv_type = buy ; user_id |
| Search guide customer unit price | Montant moyen de la transaction par utilisateur acheteur. | Search guide GMV ÷ Search guide deal UV | Fonctionnalité de collecte de données ; données comportementales d'achat ; bhv_type = buy |
| Order conversion rate | Ratio des utilisateurs ayant effectué un achat par rapport à tous les utilisateurs ayant consulté les pages de résultats de recherche. | Search guide deal UV ÷ Search UV | Fonctionnalité de collecte de données ; données comportementales d'achat ; bhv_type = buy |
| Click-through rate | Ratio des utilisateurs ayant effectué un achat après avoir cliqué sur un résultat de recherche par rapport à tous les utilisateurs ayant cliqué sur des résultats de recherche. | Search guide deal UV ÷ IPV_UV | Fonctionnalité de collecte de données ; données comportementales d'achat ; bhv_type = buy |
Métriques d'analyse des utilisateurs
Les métriques d'analyse des utilisateurs vous offrent une vue de l'engagement à long terme et de l'attrition des utilisateurs.
| Métrique | Définition | Formule | Dépendance |
|---|---|---|---|
| Next day retention rate | Ratio des utilisateurs ayant effectué une recherche deux jours consécutifs par rapport aux utilisateurs ayant effectué une recherche la veille. | Intersection de Search UV(t-1) et Search UV(t) ÷ Search UV(t-1) | user_id dans les requêtes de recherche |
| Lost user rate | Ratio des utilisateurs ayant consulté les pages de résultats de recherche mais n'ayant jamais cliqué sur aucun élément. Un taux élevé suggère une mauvaise qualité de récupération ou un classement peu pertinent. | (Search UV − IPV_UV) ÷ Search UV | Fonctionnalité de collecte de données ; données comportementales de clics ; user_id |