Platform For AI:How to integrate the A/B test system with your system

Iniciar sesión en la consola de PAI-Rec

En la consola de PAI-Rec, haga clic en Full-link Service en el panel de navegación izquierdo. En el asistente Service Initialization que aparece, configure sus espacios de trabajo.

Notas sobre la configuración:

1. Consulte los espacios de trabajo existentes de Platform for AI (PAI), DataWorks y MaxCompute en sus respectivas consolas. En la página principal de cada producto, haga clic en Console.

2. Cree un bucket de OSS en la consola de OSS antes de configurarlo aquí.

Otorgar acceso a MaxCompute

En la página Projects, busque el proyecto de MaxCompute que desea utilizar.

Si no aparece ningún proyecto, seleccione primero la región correcta.

En la columna Actions del proyecto, haga clic en Manage. Otorgue a PAI-Rec acceso directo y permisos de escritura sobre el proyecto de MaxCompute.

Para más detalles, consulte Service activation and initialization.

Crear un lab

1. Seleccione un entorno de ejecución y un escenario de recomendación.

2. Haga clic en Create Lab.

3. En el panel Create Lab, configure los siguientes parámetros:

Crear un grupo de experimentos

Cada capa de experimentos admite varios grupos de experimentos, y cada grupo puede contener varios experimentos. Utilice grupos distintos cuando varios ingenieros necesiten ejecutar experimentos en la misma capa (por ejemplo, con diferentes algoritmos de recuperación) sin interferir entre sí.

Grupo de prueba A/A (recomendado para experimentos nuevos):

Para validar que la configuración del experimento no tenga sesgos, cree un grupo de prueba A/A antes de ejecutar experimentos reales:

1. Seleccione entre 4 y 5 buckets para el experimento.

2. Asigne 2 buckets a un grupo sin ninguna política configurada. Ejecute estos buckets como prueba preliminar y supervise las métricas clave.

3. Utilice los dos grupos con métricas más similares para su prueba A/B real.

Parámetros adicionales del grupo de experimentos:

Crear un experimento

Haga clic en Create Experiment. De forma predeterminada, se crea primero un experimento base.

Estrategias de asignación de tráfico:

Después de configurar todos los parámetros, haga clic en Save.

SDK de Python

pip install https://aliyun-pairec-config-sdk.oss-cn-hangzhou.aliyuncs.com/python/aliyun_pairec_config_python_sdk-1.0.0-py2.py3-none-any.whl

export ALIBABA_CLOUD_ACCESS_KEY_ID=<your-access-key-id>
export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<your-access-key-secret>

import os
from alibabacloud_tea_openapi.models import Config
from api.api_scene import SceneApiService
from api.api_experiment_room import ExperimentRoomApiService
from api.api_layer import api_layer
from api.api_experiment_group import ExperimentGroupApiService
from api.api_experiment import ExperimentApiService
from client.client import ExperimentClient
from model.experiment import ExperimentContext
from api.api_crowd import CrowdApiService
from alibabacloud_pairecservice20221213.client import Client
from common.constants import ENVIRONMENT_PRODUCT_CONFIG_CENTER
from common.constants import ENVIRONMENT_PREPUB_CONFIG_CENTER
from common.constants import ENVIRONMENT_DAILY_CONFIG_CENTER

# Instance details — find these on the Basic Information page in the PAI-Rec console
instance_id = "<instance-id>"
region = "<region-id>"

# Read credentials from environment variables
access_id = os.environ['ALIBABA_CLOUD_ACCESS_KEY_ID']
access_key = os.environ['ALIBABA_CLOUD_ACCESS_KEY_SECRET']

if __name__ == '__main__':
    # Valid environments: ENVIRONMENT_PRODUCT_CONFIG_CENTER, ENVIRONMENT_PREPUB_CONFIG_CENTER, ENVIRONMENT_DAILY_CONFIG_CENTER
    experiment = ExperimentClient(
        instance_id=instance_id,
        region=region,
        access_key_id=access_id,
        access_key_secret=access_key,
        environment=ENVIRONMENT_PRODUCT_CONFIG_CENTER
    )

    # Build the request context
    # request_id: any unique identifier (auto-increment ID or UUID)
    # uid: the user ID to assign to an experiment
    experiment_context = ExperimentContext(
        request_id="<request-id>",
        uid="<user-id>",
        filter_params={}
    )

    # Match the user to an experiment in the specified scenario
    # Find the scenario name on the Recommendation Scenarios page
    experiment_result = experiment.match_experiment("<scenario-name>", experiment_context)

    # Log experiment assignment details
    print('info', experiment_result.info())

    # Store exp_id in your event tracking logs for metric calculation
    print('exp_id', experiment_result.get_exp_id())

    # Read experiment parameters to determine which algorithm variant to run
    print(experiment_result.get_experiment_params())
    print(experiment_result.get_experiment_params().get('url', 'not exist'))
    print(experiment_result.get_experiment_params().get('token', 'not exist'))

info exp_id=<exp_id> ...
exp_id <exp_id>
{'url': 'https://...', 'token': '...'}
https://...
...

SDK de Java

package com.aliyun.openservices.pairec;

import com.aliyun.openservices.pairec.api.ApiClient;
import com.aliyun.openservices.pairec.api.Configuration;
import com.aliyun.openservices.pairec.common.Constants;
import com.aliyun.openservices.pairec.model.ExperimentContext;
import com.aliyun.openservices.pairec.model.ExperimentResult;

public class ExperimentTest {
    static ExperimentClient experimentClient;

    public static void main(String[] args) throws Exception {
        // Instance details — find regionId and instanceId on the Basic Information page
        String regionId = "<region-id>";
        String instanceId = System.getenv("Instance ID"); // pai-rec instance ID

        // Read credentials from environment variables
        String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

        Configuration configuration = new Configuration(regionId, accessId, accessKey, instanceId);
        // Set the experiment environment
        configuration.setEnvironment(Constants.Environment_Product_Desc);

        ApiClient apiClient = new ApiClient(configuration);
        experimentClient = new ExperimentClient(apiClient);
        // Initialize the client
        experimentClient.init();

        // Build the request context
        ExperimentContext experimentContext = new ExperimentContext();
        experimentContext.setUid("<user-id>");
        experimentContext.setRequestId("<request-id>");

        // Match the user to an experiment in the specified scenario
        ExperimentResult experimentResult = experimentClient.matchExperiment("<scenario-name>", experimentContext);

        // Store exp_id in your event tracking logs for metric calculation
        System.out.println(experimentResult.getExpId());
        // Log experiment assignment details
        System.out.println(experimentResult.info());

        // Read experiment parameters to determine which algorithm variant to run
        System.out.println(experimentResult.getExperimentParams().getString("rank_version", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getString("version", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getString("recall", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getDouble("recall_d", 0.0));

        // Read parameters for a specific experiment layer by name
        System.out.println(experimentResult.getLayerParams("recall").getString("rank_version", "not exist"));
        System.out.println(experimentResult.getLayerParams("rank").getString("version", "not exist"));
    }
}

Registrar una tabla de datos

En la consola de PAI-Rec, vaya a Metric Management > Data Registration. Vincule una tabla de MaxCompute con su instancia de pruebas A/B. Establezca Data Table Name con un nombre que refleje el contexto del negocio.

Seleccione una tabla que contenga los campos obligatorios. Para conocer los requisitos de los campos, consulte Data registration and field configuration.

Si su proyecto de MaxCompute no tiene una tabla con todos los campos necesarios, cree una:

1. Inicie sesión en la consola de MaxCompute y cree una tabla de datos.

2. En DataWorks, cree una tabla de origen en MaxCompute para los informes de experimentos de pruebas A/B.

Después del registro, la tabla aparecerá en la lista de tablas de datos. Haga clic en View Fields en la columna Actions para revisar o editar las asignaciones de campos.

Tipos de métricas

PAI-Rec admite tres categorías de métricas:

Además, distinga entre:

• Métricas clave (KPI): los resultados principales que el experimento busca mejorar.

• Métricas obligatorias: indicadores que se deben supervisar durante la prueba. La función evaluada no debe afectarlos de manera negativa.

Configurar las métricas

En la página Metric Configurations, haga clic en Metrics. Configure los parámetros Recommendation Scenario y Metric Timeliness.

Las métricas de una sola dimensión se calculan a partir de una única agregación: conteo, conteo único, suma o promedio. Por ejemplo, los clics diarios y las visitas diarias son métricas de una sola dimensión.

En el parámetro Metric Definition:

• Page Views: cuenta cada visita a la página.

• Unique Visitors: cuenta a cada usuario una sola vez, en su primera visita.

Las métricas derivadas combinan varias métricas de una sola dimensión. Por ejemplo:

CTR = Daily clicks / Daily visits

Agregue primero los clics diarios y las visitas diarias como métricas de una sola dimensión. Después, defina el CTR como métrica derivada con la fórmula anterior.

Configurar grupos de métricas

Agrupe las métricas relacionadas para calcularlas y compararlas en conjunto.

1. En la pestaña Metric Groups, cree un grupo de métricas. Configure el parámetro Metric Selection para incluir las métricas deseadas.

2. Haga clic en Calculate en la columna Actions para iniciar el cálculo de métricas.

Calcular las métricas

En la pestaña Metric Groups de la página Metric Configurations, haga clic en Calculate en la columna Actions. Seleccione las métricas que desea calcular en el panel que aparece.

Supervise el progreso de los trabajos en la página Jobs. Cuando todos los trabajos terminen, el estado cambiará a Succeeded.

Consultar los informes

En la página Performance Reports, dentro de Experiment Platform, configure los parámetros y haga clic en Start Analysis.

• Detail Data: muestra las diferencias de métricas entre el experimento base y los experimentos normales.

• Trend Analysis: muestra cómo cambian las métricas seleccionadas durante el periodo del experimento.