OpenSearch:Test A/B

La fonctionnalité de test A/B vous permet de valider les configurations d'algorithmes sur un petit échantillon de trafic avant de les appliquer à l'ensemble du trafic en ligne, évitant ainsi que des modifications non testées n'affectent négativement vos services. Vous pouvez créer des tests pour les configurations d'analyse des requêtes, de tri grossier et de tri fin.

1. Flux de travail de base pour configurer un test A/B

Nous vous recommandons d'activer la collecte des données de clics avant de configurer un test A/B afin d'obtenir des métriques plus complètes. Si vous utilisez cette fonctionnalité pour la première fois, suivez les étapes ci-dessous pour configurer et lancer un test :

1. Démarrez le processus de création du test :

Dans la console OpenSearch, accédez à Feature Extensions > A/B Test dans le volet de navigation de gauche. Cliquez sur Create pour commencer à créer un test A/B.

2. Créez un groupe de test :

Un groupe de test vous permet d'exécuter des tests sur l'analyse des requêtes, le tri grossier, le tri fin et la prédiction de catégorie. Le nom du groupe de test sert uniquement à l'affichage et peut être modifié. Il ne doit pas dépasser 30 caractères. Le champ Test Application affiche le nom de l'application actuelle. Après avoir saisi les informations, cliquez sur Next pour accéder à la configuration du test.

3. Créez un test :

Une fois le groupe de test créé, cliquez sur Create Test pour ajouter des tests spécifiques au groupe. Vous pouvez créer un maximum de 20 tests par groupe de test, avec un maximum de 10 tests exécutés en ligne simultanément. Par défaut, la page inclut un test de base nommé Online Performance (Baseline) avec l'ID 0, qui reçoit 100 % du trafic.

3.1 Nom du test : Définissez un nom personnalisé pour le test, qui ne doit pas dépasser 30 caractères. Après avoir saisi le nom du test, la zone de configuration des Sort policy types and policies apparaît à droite. 3,2 Ajouter une configuration :

Vous pouvez configurer des tests pour l'analyse des requêtes, le tri grossier et le tri fin en sélectionnant les règles existantes dans la boîte de dialogue de configuration.

Lorsque vous sélectionnez un type et une politique d'analyse des requêtes :

• Si vous sélectionnez « Custom », les options disponibles correspondent à toutes les règles d'analyse des requêtes que vous avez créées pour l'application actuelle.

• La sélection de « Use Default Online Configuration » applique la logique en ligne existante et exclut cet élément de configuration du test.

Lorsque vous sélectionnez un type et une politique de tri :

La même logique s'applique aux types et politiques de tri. Étant donné que les politiques de tri à l'état « Configuring » peuvent encore être modifiées, ce qui affecterait les résultats des tests A/B en ligne, vous ne pouvez sélectionner que les politiques à l'état « Published ».

3,3 Trafic du test : L'allocation minimale de trafic pour un test est de 1 %. Pour un scénario unique, le trafic total alloué à tous les tests en ligne au sein du même groupe de test doit être inférieur ou égal à 100 %.

4. Finalisez la création du groupe de test :

Après avoir configuré le test, cliquez sur Next, puis sur Complete pour revenir à la page d'accueil du test A/B. Un message indiquant que le groupe de test a été créé avec succès s'affiche, accompagné de recommandations pour les étapes suivantes. Le groupe de test nouvellement configuré est à l'état « Pending ».

5. Démarrez le test :

Une fois le groupe de test créé, localisez-le et cliquez sur Start Testing dans la colonne Actions. Le statut du groupe de test passe à « Testing ».

6. Activez le test A/B :

Pour activer le test en ligne, spécifiez le paramètre abtest dans vos requêtes de recherche. Le paramètre abtest comprend deux parties : scene_tag et flow_divider. Sur la page Search Test de la console, vous pouvez saisir la valeur abtest dans la section Parameters pour appliquer le test.

Exemple d'URL de requête :

/v3/openapi/apps/160029126/search?query=query=default:'Shenzhen'&&config=start:0,hit:10,format:fulljson&abtest=scene_tag:test_1,flow_divider:123456

• scene_tag : Le nom du groupe de test. Définissez ce paramètre sur le nom d'un groupe de test que vous avez créé dans la console. Le trafic est ensuite acheminé vers les tests au sein de ce groupe.

• flow_divider : Obligatoire. Le système hache cette valeur pour distribuer le trafic des requêtes entre les tests selon l'allocation de trafic configurée. Nous vous recommandons d'utiliser un ID utilisateur unique. Si cela n'est pas possible, utilisez un ID d'appareil ou une adresse IP.

Remarque :

• Si vous utilisez un SDK pour accéder à OpenSearch, vous n'avez pas besoin d'encoder les valeurs de scene_tag et flow_divider si elles ne contiennent ni espaces ni ponctuation. Vous pouvez simplement appeler l'interface correspondante. Si les valeurs contiennent de la ponctuation, vous devez d'abord les encoder. Pour plus d'informations, consultez la section « Exemple pratique ».

• Si vous accédez à OpenSearch en effectuant des appels API, les valeurs de scene_tag et flow_divider doivent être encodées en URL. Le format final du paramètre abtest transmis à OpenSearch est abtest=urlencode(scene_tag:urlencode(\$scene),flow_divider:urlencode(\$value)), où urlencode est une fonction d'encodage URL.

• Pour plus d'informations, consultez la documentation FAQ sur les tests A/B.

2. Gérer les groupes de test et les tests

Gérer les groupes de test

La page d'accueil du test A/B affiche une liste de groupes de test avec les colonnes Test group name, Status, Creation time, Last modified time et Actions. Vous pouvez effectuer les opérations suivantes sur les groupes de test :

1. Démarrer le test :

Démarrez les groupes de test à l'état « Pending » ou « Stopped ».

2. Arrêter le test :

Arrêtez les groupes de test à l'état « Testing ».

3. Supprimer un groupe de test :

Supprimez n'importe quel groupe de test depuis la page d'accueil du test A/B.

Gérer les tests

Sur la page d'accueil du test A/B, cliquez sur Details dans la colonne Actions d'un groupe de test pour afficher ses tests. La liste des tests affiche le nom du test, le type et la politique d'analyse des requêtes, le type et la politique de tri, l'allocation de trafic et les actions. Vous pouvez effectuer les opérations suivantes sur les tests :

1. Modifier un test : Modifiez le nom du test, la configuration et l'allocation de trafic.

2. Supprimer un test : Lorsqu'un test est supprimé, ses informations de configuration sont retirées et le test n'est plus effectif en ligne.

3. Liste d'autorisation.

La fonctionnalité de liste d'autorisation vous permet d'attribuer un flow_divider spécifique à un test particulier pour faciliter l'évaluation de ses performances de recherche. Sur la page de configuration de la liste d'autorisation, saisissez une valeur flow_divider, cliquez sur Add, puis sur Save.

3. Détails du groupe de test A/B

Statut des données comportementales

Sur la page de détails du groupe de test, le statut des données comportementales peut être l'un des suivants :

• Not Activated : Aucune donnée comportementale n'est téléchargée pour l'application actuelle. (Cliquez ici pour plus de détails)

• Activated with No Data : La collecte de données comportementales est activée pour l'application actuelle, mais aucune donnée n'a été reçue.

• Data Abnormal : La vérification de la qualité a révélé que les données comportementales actuelles ne sont pas fiables en raison d'un nombre élevé de problèmes.

Statut du groupe de test

Sur la page de détails du groupe de test, le statut du groupe de test peut être l'un des suivants :

• Pending : Le groupe de test est prêt à démarrer. Ce statut est utilisé que le groupe n'ait jamais été exécuté ou qu'il ait été précédemment arrêté.

• Testing : Indique que le groupe de test a été démarré dans la console. Le nombre de jours écoulés depuis le démarrage du groupe de test est affiché.

• Stopped : Indique que le groupe de test est arrêté. La durée totale du test correspond au nombre total de jours pendant lesquels le groupe de test a été activement exécuté, en excluant les périodes d'arrêt.

Statistiques de données

Depuis la page de liste des groupes de test A/B, cliquez sur Details, ou accédez à « Report Statistics > A/B test report » pour consulter le rapport de données. Les données sont disponibles avec un décalage J+1 (les résultats d'aujourd'hui apparaissent demain). La console combine une page de comparaison des métriques principales avec un tableau de données de métriques détaillées. Vous pouvez sélectionner un type de métrique dans la liste déroulante et choisir plusieurs tests à comparer. Les métriques principales sont présentées sous forme de graphique linéaire affichant par défaut les données de la veille. Les métriques principales disponibles incluent le PV de recherche, l'UV de recherche, le taux de résultats nuls, le PV de recherche moyen par utilisateur, le nombre d'expositions, les requêtes de recherche et le nombre moyen de requêtes de recherche par utilisateur.

• Remarque : Le rapport de test A/B pour une journée donnée est disponible à 8 h 00 le lendemain. Même si vous arrêtez un test A/B dans la journée, vous pourrez toujours consulter les données du rapport antérieures à l'arrêt du test le jour suivant.

Un produit e-commerce utilise OpenSearch pour deux types de requêtes de recherche :

• Type 1 : Trafic de recherche provenant des utilisateurs finaux recherchant des produits par mot-clé. Le format de la requête est :

query=config=format:fulljson&&query=default:'infant formula'&&sort=price

• Type 2 : Trafic provenant d'appels effectués par d'autres services internes. Le format de la requête est :

query=config=format:fulljson&&query=cat_id:'1'|'2'|'3'&&sort=timestamp

Pour le premier type de trafic, vous souhaitez diviser le trafic en fonction des IDs de membre des utilisateurs finaux afin de comparer l'efficacité de différentes expressions de tri, modèles de prédiction de catégorie ou règles d'analyse des requêtes. L'utilisateur configure le test comme suit :

1. Créez un groupe de test et des tests dans la fonctionnalité de test A/B de la console. Lors de la création du groupe de test, nommez-le user_search.

2. Définissez les paramètres du test A/B dans la requête. Étant donné que le groupe de test dans la console est nommé user_search, la requête pour ce cas d'utilisation doit inclure les paramètres scene_tag:user_search et flow_divider:xxxx, où xxxx est l'ID de membre de l'utilisateur final.

2,1 En utilisant un SDK (L'exemple suivant utilise le SDK Java. L'utilisation du SDK PHP est similaire.) :

OpenSearch opensearch = new OpenSearch(accesskey, secret, host);
OpenSearchClient serviceClient = new OpenSearchClient(opensearch);
SearcherClient searcherClient = new SearcherClient(serviceClient);

searchParams = new SearchParams();

searchParams.setQueryString("default:'infant formula'");
searchParams.setFormat("json");
searchParams.addSort("price", "-");
searchParams.setAbtest(new Abtest().setSceneTag("user_search").setFlowDivider("Zhang San"));

aliyun-sdk-opensearch-3.4.1 (Java), opensearch-sdk-php-3.3.0 (PHP).

2,2 En utilisant l'API

i. query=config=format:fulljson&&query=default:'infant formula'&&sort=-price&abtest=scene_tag:user_search,flow_divider:%e5%bc%a0%e4%b8%89

ii. Encodez en URL la valeur de chaque paramètre de la requête (c'est-à-dire query, sort, abtest) :

query=config%3dformat%3afulljson&&query%3ddefault%3a'infant%20formula'

3. Après avoir terminé ces configurations, vous pouvez implémenter le test A/B pour le premier scénario de trafic.

Interface

Pour ouvrir le rapport statistique du test A/B, accédez à [Feature Extensions > A/B Test] et cliquez sur Report Statistics.

Vous pouvez également accéder directement à « Report Statistics > A/B test report ».

La page du rapport analyse les données selon cinq dimensions : core metrics, traffic metrics, behavioral metrics, conversion metrics et user analysis metrics. Vous pouvez filtrer les données par plage de dates et par test.

Pour obtenir des descriptions des métriques du rapport de test A/B, cliquez ici.