Platform For AI:How to integrate the A/B test system with your system

PAI-Rec konsoluna giriş yapın

PAI-Rec konsolunda sol gezinme bölmesinde Full-link Service seçeneğine tıklayın. Görüntülenen Service Initialization sihirbazında çalışma alanlarınızı yapılandırın.

Yapılandırma notları:

1. Platform for AI (PAI), DataWorks ve MaxCompute'deki mevcut çalışma alanlarını ilgili konsollardan sorgulayın. Her ürünün ana sayfasında Console seçeneğine tıklayın.

2. Burada yapılandırmadan önce OSS konsolunda bir OSS paketi oluşturun.

MaxCompute erişimi verin

Projects sayfasında kullanmak istediğiniz MaxCompute projesini arayın.

Hiçbir proje görünmüyorsa önce doğru bölgeyi seçin.

Projenin Actions sütununda Manage seçeneğine tıklayın. PAI-Rec'e MaxCompute projesi üzerinde doğrudan erişim ve yazma izinleri verin.

Ayrıntılar için bkz. Hizmet etkinleştirme ve başlatma.

Laboratuvar oluşturun

1. Bir çalışma zamanı ortamı ve öneri senaryosu seçin.

2. Create Lab seçeneğine tıklayın.

3. Create Lab panelinde aşağıdaki parametreleri yapılandırın:

Deney grubu oluşturun

Her deney katmanında birden fazla deney grubu olabilir ve her grupta birden fazla deney bulunabilir. Aynı katmanda (örneğin, farklı geri çağırma algoritmaları) birbirini etkilemeden deney çalıştırmak isteyen birden fazla mühendis olduğunda ayrı gruplar kullanın.

A/A test grubu (yeni deneyler için önerilir):

Deney kurulumunuzun tarafsız olduğunu doğrulamak için gerçek deneyleri çalıştırmadan önce bir A/A test grubu oluşturun:

1. Deney için 4–5 paket seçin.

2. İlke yapılandırılmamış bir gruba 2 paket atayın. Bu paketleri kuru çalışma olarak çalıştırın ve temel ölçümleri izleyin.

3. Ölçümleri en benzer olan iki grubu gerçek A/B testiniz için kullanın.

Ek deney grubu parametreleri:

Deney oluşturun

Create Experiment seçeneğine tıklayın. Varsayılan olarak önce bir temel deney oluşturulur.

Trafik tahsis stratejileri:

Tüm parametreleri yapılandırdıktan sonra Save seçeneğine tıklayın.

Python SDK

pip install https://aliyun-pairec-config-sdk.oss-cn-hangzhou.aliyuncs.com/python/aliyun_pairec_config_python_sdk-1.0.0-py2.py3-none-any.whl

export ALIBABA_CLOUD_ACCESS_KEY_ID=<your-access-key-id>
export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<your-access-key-secret>

import os
from alibabacloud_tea_openapi.models import Config
from api.api_scene import SceneApiService
from api.api_experiment_room import ExperimentRoomApiService
from api.api_layer import api_layer
from api.api_experiment_group import ExperimentGroupApiService
from api.api_experiment import ExperimentApiService
from client.client import ExperimentClient
from model.experiment import ExperimentContext
from api.api_crowd import CrowdApiService
from alibabacloud_pairecservice20221213.client import Client
from common.constants import ENVIRONMENT_PRODUCT_CONFIG_CENTER
from common.constants import ENVIRONMENT_PREPUB_CONFIG_CENTER
from common.constants import ENVIRONMENT_DAILY_CONFIG_CENTER

# Instance details — find these on the Basic Information page in the PAI-Rec console
instance_id = "<instance-id>"
region = "<region-id>"

# Read credentials from environment variables
access_id = os.environ['ALIBABA_CLOUD_ACCESS_KEY_ID']
access_key = os.environ['ALIBABA_CLOUD_ACCESS_KEY_SECRET']

if __name__ == '__main__':
    # Valid environments: ENVIRONMENT_PRODUCT_CONFIG_CENTER, ENVIRONMENT_PREPUB_CONFIG_CENTER, ENVIRONMENT_DAILY_CONFIG_CENTER
    experiment = ExperimentClient(
        instance_id=instance_id,
        region=region,
        access_key_id=access_id,
        access_key_secret=access_key,
        environment=ENVIRONMENT_PRODUCT_CONFIG_CENTER
    )

    # Build the request context
    # request_id: any unique identifier (auto-increment ID or UUID)
    # uid: the user ID to assign to an experiment
    experiment_context = ExperimentContext(
        request_id="<request-id>",
        uid="<user-id>",
        filter_params={}
    )

    # Match the user to an experiment in the specified scenario
    # Find the scenario name on the Recommendation Scenarios page
    experiment_result = experiment.match_experiment("<scenario-name>", experiment_context)

    # Log experiment assignment details
    print('info', experiment_result.info())

    # Store exp_id in your event tracking logs for metric calculation
    print('exp_id', experiment_result.get_exp_id())

    # Read experiment parameters to determine which algorithm variant to run
    print(experiment_result.get_experiment_params())
    print(experiment_result.get_experiment_params().get('url', 'not exist'))
    print(experiment_result.get_experiment_params().get('token', 'not exist'))

info exp_id=<exp_id> ...
exp_id <exp_id>
{'url': 'https://...', 'token': '...'}
https://...
...

Java SDK

package com.aliyun.openservices.pairec;

import com.aliyun.openservices.pairec.api.ApiClient;
import com.aliyun.openservices.pairec.api.Configuration;
import com.aliyun.openservices.pairec.common.Constants;
import com.aliyun.openservices.pairec.model.ExperimentContext;
import com.aliyun.openservices.pairec.model.ExperimentResult;

public class ExperimentTest {
    static ExperimentClient experimentClient;

    public static void main(String[] args) throws Exception {
        // Instance details — find regionId and instanceId on the Basic Information page
        String regionId = "<region-id>";
        String instanceId = System.getenv("Instance ID"); // pai-rec instance ID

        // Read credentials from environment variables
        String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

        Configuration configuration = new Configuration(regionId, accessId, accessKey, instanceId);
        // Set the experiment environment
        configuration.setEnvironment(Constants.Environment_Product_Desc);

        ApiClient apiClient = new ApiClient(configuration);
        experimentClient = new ExperimentClient(apiClient);
        // Initialize the client
        experimentClient.init();

        // Build the request context
        ExperimentContext experimentContext = new ExperimentContext();
        experimentContext.setUid("<user-id>");
        experimentContext.setRequestId("<request-id>");

        // Match the user to an experiment in the specified scenario
        ExperimentResult experimentResult = experimentClient.matchExperiment("<scenario-name>", experimentContext);

        // Store exp_id in your event tracking logs for metric calculation
        System.out.println(experimentResult.getExpId());
        // Log experiment assignment details
        System.out.println(experimentResult.info());

        // Read experiment parameters to determine which algorithm variant to run
        System.out.println(experimentResult.getExperimentParams().getString("rank_version", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getString("version", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getString("recall", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getDouble("recall_d", 0.0));

        // Read parameters for a specific experiment layer by name
        System.out.println(experimentResult.getLayerParams("recall").getString("rank_version", "not exist"));
        System.out.println(experimentResult.getLayerParams("rank").getString("version", "not exist"));
    }
}

Veri tablosu kaydedin

PAI-Rec konsolunda Metric Management > Data Registration bölümüne gidin. Bir MaxCompute tablosunu A/B test örneğinizle ilişkilendirin. Data Table Name değerini iş bağlamını yansıtan bir ada ayarlayın.

Gerekli alanları içeren bir tablo seçin. Alan gereksinimleri için bkz. Veri kaydı ve alan yapılandırması.

MaxCompute projenizde tüm gerekli alanlara sahip bir tablo yoksa bir tane oluşturun:

1. MaxCompute konsoluna giriş yapın ve bir veri tablosu oluşturun.

2. DataWorks'te MaxCompute üzerinde A/B test deney raporları için bir kaynak tablo oluşturun.

Kayıttan sonra tablo veri tablosu listesinde görünür. Alan eşlemelerini incelemek veya düzenlemek için tablonun Actions sütununda View Fields seçeneğine tıklayın.

Ölçüm türleri

PAI-Rec üç kategori ölçümü destekler:

Ayrıca şunlar arasında ayrım yapın:

• Temel ölçümler (KPI'ler): Deneyin iyileştirmeyi hedeflediği birincil sonuçlar

• Zorunlu ölçümler: Bir test sırasında gözlemlenmesi gereken ölçümler; test edilen yetenek bunları olumsuz etkilememelidir

Ölçümleri yapılandırın

Metric Configurations sayfasında Metrics seçeneğine tıklayın. Recommendation Scenario ve Metric Timeliness parametrelerini ayarlayın.

Tek boyutlu ölçümler tek bir toplamadan hesaplanır: sayı, benzersiz sayı, toplam veya ortalama. Örneğin günlük tıklamalar ve günlük ziyaretler tek boyutlu ölçümlerdir.

Metric Definition parametresinde:

• Page Views: Her sayfa ziyaretini sayar

• Unique Visitors: Her kullanıcıyı ilk ziyaretinde bir kez sayar

Türetilmiş ölçümler birden fazla tek boyutlu ölçümü birleştirir. Örneğin:

CTR = Daily clicks / Daily visits

Önce günlük tıklamaları ve günlük ziyaretleri tek boyutlu ölçüm olarak ekleyin, ardından yukarıdaki formülü kullanarak CTR'yi türetilmiş bir ölçüm olarak tanımlayın.

Ölçüm gruplarını yapılandırın

İlgili ölçümleri bir araya getirerek bunları bir küme olarak hesaplayın ve karşılaştırın.

1. Metric Groups sekmesinde bir ölçüm grubu oluşturun ve Metric Selection parametresini istediğiniz ölçümleri içerecek şekilde ayarlayın.

2. Actions sütununda Calculate seçeneğine tıklayarak ölçüm hesaplamasını tetikleyin.

Ölçümleri hesaplayın

Metric Configurations sayfasının Metric Groups sekmesinde Actions sütununda Calculate seçeneğine tıklayın. Görüntülenen panelde hesaplanacak ölçümleri seçin.

Jobs sayfasında iş ilerlemesini izleyin. Tüm işler tamamlandığında durum Succeeded olarak değişir.

Raporları görüntüleyin

Experiment Platform altındaki Performance Reports sayfasında parametreleri yapılandırın ve Start Analysis seçeneğine tıklayın.

• Detail Data: Temel deney ile normal deneyler arasındaki ölçüm farklarını gösterir

• Trend Analysis: Seçili ölçümlerin deney süresi boyunca nasıl değiştiğini gösterir