Platform For AI:Cara mengintegrasikan sistem pengujian A/B dengan sistem Anda

Masuk ke Konsol PAI-Rec

Di Konsol PAI-Rec, klik Full-link Service di panel navigasi kiri. Pada wizard Service Initialization yang muncul, konfigurasikan ruang kerja Anda.

Catatan konfigurasi:

1. Periksa ruang kerja yang sudah ada dari Platform for AI (PAI), DataWorks, dan MaxCompute di Konsol masing-masing produk. Di halaman utama setiap produk, klik Console.

2. Buat bucket OSS di Konsol OSS sebelum mengonfigurasinya di sini.

Berikan akses MaxCompute

Di halaman Projects, cari proyek MaxCompute yang ingin Anda gunakan.

Jika tidak ada proyek yang muncul, pilih wilayah yang benar terlebih dahulu.

Pada kolom Actions proyek tersebut, klik Manage. Berikan akses langsung dan izin tulis kepada PAI-Rec pada proyek MaxCompute tersebut.

Untuk detailnya, lihat Service initialization.

Buat lab

1. Pilih lingkungan runtime dan skenario rekomendasi.

2. Klik Create Lab.

3. Pada panel Create Lab, konfigurasikan parameter berikut:

Buat kelompok eksperimen

Setiap lapisan eksperimen dapat memiliki beberapa kelompok eksperimen, dan setiap kelompok dapat memiliki beberapa eksperimen. Gunakan kelompok terpisah ketika beberapa engineer perlu menjalankan eksperimen pada lapisan yang sama (misalnya, algoritma recall berbeda) tanpa saling mengganggu.

Kelompok pengujian A/A (direkomendasikan untuk eksperimen baru):

Untuk memvalidasi bahwa pengaturan eksperimen Anda tidak bias, buatlah kelompok pengujian A/A sebelum menjalankan eksperimen nyata:

1. Pilih 4–5 bucket untuk eksperimen.

2. Tetapkan 2 bucket ke kelompok tanpa kebijakan yang dikonfigurasi. Jalankan bucket tersebut sebagai dry run dan pantau metrik utama.

3. Gunakan dua kelompok yang metriknya paling mirip untuk pengujian A/B sebenarnya.

Parameter tambahan untuk kelompok eksperimen:

Buat eksperimen

Klik Create Experiment. Secara default, eksperimen garis dasar dibuat terlebih dahulu.

Strategi alokasi trafik:

Setelah mengonfigurasi semua parameter, klik Save.

Python SDK

pip install https://aliyun-pairec-config-sdk.oss-cn-hangzhou.aliyuncs.com/python/aliyun_pairec_config_python_sdk-1.0.0-py2.py3-none-any.whl

Inisialisasi dan panggil

Simpan kredensial Anda dalam variabel lingkungan sebelum menjalankan kode:

export ALIBABA_CLOUD_ACCESS_KEY_ID=<your-access-key-id>
export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<your-access-key-secret>

Peringatan

Jangan pernah menyematkan kredensial AccessKey secara langsung di kode sumber Anda. Baca dari variabel lingkungan saat runtime.

import os
from alibabacloud_tea_openapi.models import Config
from api.api_scene import SceneApiService
from api.api_experiment_room import ExperimentRoomApiService
from api.api_layer import api_layer
from api.api_experiment_group import ExperimentGroupApiService
from api.api_experiment import ExperimentApiService
from client.client import ExperimentClient
from model.experiment import ExperimentContext
from api.api_crowd import CrowdApiService
from alibabacloud_pairecservice20221213.client import Client
from common.constants import ENVIRONMENT_PRODUCT_CONFIG_CENTER
from common.constants import ENVIRONMENT_PREPUB_CONFIG_CENTER
from common.constants import ENVIRONMENT_DAILY_CONFIG_CENTER

# Detail instans — temukan di halaman Basic Information di Konsol PAI-Rec
instance_id = "<instance-id>"
region = "<region-id>"

# Baca kredensial dari variabel lingkungan
access_id = os.environ['ALIBABA_CLOUD_ACCESS_KEY_ID']
access_key = os.environ['ALIBABA_CLOUD_ACCESS_KEY_SECRET']

if __name__ == '__main__':
    # Lingkungan yang valid: ENVIRONMENT_PRODUCT_CONFIG_CENTER, ENVIRONMENT_PREPUB_CONFIG_CENTER, ENVIRONMENT_DAILY_CONFIG_CENTER
    experiment = ExperimentClient(
        instance_id=instance_id,
        region=region,
        access_key_id=access_id,
        access_key_secret=access_key,
        environment=ENVIRONMENT_PRODUCT_CONFIG_CENTER
    )

    # Bangun konteks permintaan
    # request_id: pengenal unik apa pun (ID auto-increment atau UUID)
    # uid: ID pengguna yang akan ditetapkan ke eksperimen
    experiment_context = ExperimentContext(
        request_id="<request-id>",
        uid="<user-id>",
        filter_params={}
    )

    # Cocokkan pengguna ke eksperimen dalam skenario yang ditentukan
    # Temukan nama skenario di halaman Recommendation Scenarios
    experiment_result = experiment.match_experiment("<scenario-name>", experiment_context)

    # Catat detail penetapan eksperimen
    print('info', experiment_result.info())

    # Simpan exp_id dalam log pelacakan event Anda untuk perhitungan metrik
    print('exp_id', experiment_result.get_exp_id())

    # Baca parameter eksperimen untuk menentukan varian algoritma mana yang akan dijalankan
    print(experiment_result.get_experiment_params())
    print(experiment_result.get_experiment_params().get('url', 'not exist'))
    print(experiment_result.get_experiment_params().get('token', 'not exist'))

Ganti placeholder sebelum menjalankan:

Placeholder	Lokasi menemukannya
<instance-id>	Basic Information di Konsol PAI-Rec
<region-id>	Basic Information di Konsol PAI-Rec
<scenario-name>	Recommendation Scenarios di Konsol PAI-Rec

Output yang diharapkan:

Eksekusi yang berhasil mencetak penetapan eksperimen dan nilai parameter yang dikonfigurasi untuk eksperimen tersebut:

info exp_id=<exp_id> ...
exp_id <exp_id>
{'url': 'https://...', 'token': '...'}
https://...
...

Jika terjadi KeyError saat membaca variabel lingkungan, klik kanan konfigurasi run di PyCharm dan verifikasi apakah variabel sistem dimuat. Jika tidak, restart proyek.

Java SDK

package com.aliyun.openservices.pairec;

import com.aliyun.openservices.pairec.api.ApiClient;
import com.aliyun.openservices.pairec.api.Configuration;
import com.aliyun.openservices.pairec.common.Constants;
import com.aliyun.openservices.pairec.model.ExperimentContext;
import com.aliyun.openservices.pairec.model.ExperimentResult;

public class ExperimentTest {
    static ExperimentClient experimentClient;

    public static void main(String[] args) throws Exception {
        // Detail instans — temukan regionId dan instanceId di halaman Basic Information
        String regionId = "<region-id>";
        String instanceId = System.getenv("Instance ID"); // ID instans pai-rec

        // Baca kredensial dari variabel lingkungan
        String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
        String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

        Configuration configuration = new Configuration(regionId, accessId, accessKey, instanceId);
        // Tetapkan lingkungan eksperimen
        configuration.setEnvironment(Constants.Environment_Product_Desc);

        ApiClient apiClient = new ApiClient(configuration);
        experimentClient = new ExperimentClient(apiClient);
        // Inisialisasi klien
        experimentClient.init();

        // Bangun konteks permintaan
        ExperimentContext experimentContext = new ExperimentContext();
        experimentContext.setUid("<user-id>");
        experimentContext.setRequestId("<request-id>");

        // Cocokkan pengguna ke eksperimen dalam skenario yang ditentukan
        ExperimentResult experimentResult = experimentClient.matchExperiment("<scenario-name>", experimentContext);

        // Simpan exp_id dalam log pelacakan event Anda untuk perhitungan metrik
        System.out.println(experimentResult.getExpId());
        // Catat detail penetapan eksperimen
        System.out.println(experimentResult.info());

        // Baca parameter eksperimen untuk menentukan varian algoritma mana yang akan dijalankan
        System.out.println(experimentResult.getExperimentParams().getString("rank_version", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getString("version", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getString("recall", "not exist"));
        System.out.println(experimentResult.getExperimentParams().getDouble("recall_d", 0.0));

        // Baca parameter untuk lapisan eksperimen tertentu berdasarkan nama
        System.out.println(experimentResult.getLayerParams("recall").getString("rank_version", "not exist"));
        System.out.println(experimentResult.getLayerParams("rank").getString("version", "not exist"));
    }
}

Daftarkan tabel data

Di Konsol PAI-Rec, buka Metric Management > Data Registration. Asosiasikan tabel MaxCompute dengan instans Pengujian A/B Anda. Tetapkan Data Table Name ke nama yang mencerminkan konteks bisnis.

Pilih tabel yang berisi bidang yang diperlukan. Untuk persyaratan bidang, lihat Data registration and field configuration.

Jika proyek MaxCompute Anda tidak memiliki tabel dengan semua bidang yang diperlukan, buat satu:

1. Masuk ke Konsol MaxCompute dan buat tabel data.

   

2. Di DataWorks, buat tabel sumber untuk laporan eksperimen Pengujian A/B di MaxCompute.

   

   

Setelah pendaftaran, tabel tersebut muncul dalam daftar tabel data. Klik View Fields di kolom Actions untuk memeriksa atau mengedit pemetaan bidang.

Jenis metrik

PAI-Rec mendukung tiga kategori metrik:

Selain itu, bedakan antara:

• Metrik utama (KPI): hasil utama yang dirancang untuk ditingkatkan oleh eksperimen

• Metrik wajib: metrik yang harus diamati selama pengujian; kemampuan yang diuji tidak boleh memengaruhi metrik ini secara negatif

Konfigurasi metrik

Di halaman Metric Configurations, klik Metrics. Tetapkan parameter Recommendation Scenario dan Metric Timeliness.

Metrik satu dimensi dihitung dari satu agregasi: count, unique count, sum, atau average. Misalnya, klik harian dan kunjungan harian adalah metrik satu dimensi.

Pada parameter Metric Definition:

• Page Views: menghitung setiap kunjungan halaman

• Unique Visitors: menghitung setiap pengguna sekali, pada kunjungan pertama

Metrik turunan menggabungkan beberapa metrik satu dimensi. Contohnya:

CTR = Daily clicks / Daily visits

Tambahkan klik harian dan kunjungan harian sebagai metrik satu dimensi terlebih dahulu, lalu definisikan CTR sebagai metrik turunan menggunakan rumus di atas.

Konfigurasi kelompok metrik

Grupkan metrik yang terkait untuk menghitung dan membandingkannya sebagai satu set.

1. Di tab Metric Groups, buat kelompok metrik dan tetapkan parameter Metric Selection untuk menyertakan metrik yang Anda inginkan.

2. Klik Calculate di kolom Actions untuk memicu perhitungan metrik.

Hitung metrik

Di tab Metric Groups pada halaman Metric Configurations, klik Calculate di kolom Actions. Pilih metrik yang akan dihitung pada panel yang muncul.

Lacak progres pekerjaan di halaman Jobs. Saat semua pekerjaan selesai, status berubah menjadi Succeeded.

Lihat laporan

Di halaman Performance Reports di bawah Experiment Platform, konfigurasikan parameter dan klik Start Analysis.

• Detail Data: menunjukkan perbedaan metrik antara eksperimen garis dasar dan eksperimen normal

• Trend Analysis: menunjukkan bagaimana metrik yang dipilih berubah selama periode eksperimen