Konsep dan Pembagian Traffic A/B Testing untuk Model AI - Platform for AI

ABTest menyediakan kemampuan evaluasi A/B serta fitur platform untuk layanan model dan optimasi kinerja online.

Batasan

Saat ini, ABTest:

Hanya tersedia di wilayah China (Beijing), China (Shanghai), China (Hangzhou), dan China (Shenzhen).
Tidak mendukung akses SSO berbasis peran. Akses ABTest hanya dapat dilakukan sebagai RAM user.

Penagihan

ABTest berada dalam pratinjau undangan dan dapat digunakan secara gratis. Namun, layanan ini menggunakan Produk Alibaba Cloud lainnya, seperti Elastic Algorithm Service (EAS) dan MaxCompute, yang ditagih secara terpisah. Untuk informasi selengkapnya, lihat penagihan EAS dan ikhtisar penagihan MaxCompute.

Istilah

Manajemen eksperimen

Eksperimen: Kombinasi berbagai versi eksperimen untuk pengujian A/B, seperti AA, AB, dan ABC. Setiap eksperimen menerima traffic dari lapisan eksperimen. Satu lapisan dapat berisi beberapa eksperimen dengan traffic yang saling eksklusif. Sebuah eksperimen mengelola pengaturan parameter yang mengontrol alur eksekusi program. Traffic untuk setiap versi dibagi secara acak guna memungkinkan perbandingan antarparameter yang berbeda.
Proyek eksperimen: Agregasi logika bisnis yang saling terkait. Misalnya, dalam skenario LLM Agent, layanan dengan skenario bisnis serupa dapat dikelompokkan ke dalam satu proyek.
Domain eksperimen: Kumpulan traffic yang difilter berdasarkan kondisi tertentu menurut properti bisnis atau dialokasikan secara acak. Jika logika bisnis menentukan pembagian traffic untuk domain tersebut, implementasikan logika pembagian kustom.
Lapisan eksperimen: Satu domain eksperimen berisi satu atau beberapa lapisan eksperimen. Traffic di setiap lapisan bersifat ortogonal (saling independen) dan mencakup seluruh traffic domain.

Manajemen traffic

Audience: Kumpulan ID traffic tertentu, seperti UID pengguna, yang menjadi bagian dari suatu eksperimen.

Manajemen metrik

Metrik: Indikator, seperti kinerja atau kualitas layanan, yang digunakan untuk mengevaluasi hasil eksperimen.
Tabel data: Sumber data dan bidang terkait yang diperlukan untuk menghitung metrik eksperimen.

Konfigurasi global

Manajemen publikasi: Mempromosikan dan menerapkan parameter dari versi eksperimen yang lebih efektif.

Arsitektur

Arsitektur keseluruhan

Gunakan Konsol Web ABTest Alibaba Cloud untuk mengonfigurasi eksperimen dan metrik.
ABTest menyediakan SDK Go dan Java untuk aplikasi sisi server. SDK menarik metadata eksperimen, membagi traffic berdasarkan konteks akses, dan menjalankan logika bisnis yang relevan.
Daftarkan tabel log MaxCompute sebagai tabel data sumber, yang kemudian didaftarkan oleh sistem ke server ABTest. Saat aplikasi menghasilkan log perilaku, instrumen mengirimkan data kembali ke tabel log MaxCompute. Jika tabel log menghasilkan konten secara near-real-time, konfigurasikan metrik eksperimen di konsol untuk menghasilkan metrik per jam dan harian. Metrik disimpan di instans Hologres untuk layanan ABTest.
Lihat data laporan eksperimen di Konsol Web ABTest.

Evolusi eksperimen

Eksperimen lapisan tunggal: Setelah membuat proyek, sistem secara otomatis membuat domain dan lapisan default. Buat eksperimen pada lapisan default tersebut. Eksperimen dapat menggunakan seluruh traffic lapisan atau sebagian melalui alokasi acak. Sebuah eksperimen mencakup beberapa versi. Bagi total traffic di antara versi dengan mengatur persentase traffic untuk masing-masing versi.
Eksperimen multilapisan: Eksperimen lapisan tunggal dapat diperluas menjadi beberapa lapisan. Traffic di setiap lapisan bersifat ortogonal, sehingga memungkinkan eksperimen diatur pada setiap lapisan.
Kombinasi lapisan dan domain: Satu lapisan dapat berisi beberapa domain, dan satu domain juga dapat memiliki beberapa lapisan, seperti yang ditunjukkan pada gambar. Dalam eksperimen traffic multilapisan, jalankan eksperimen lintas-lapisan (cross-layer) atau eksperimen pada satu lapisan saja. Konfigurasikan pengaturan berikut:

Izin

Berikan izin RAM user untuk mengakses ABTest

Setelah memberikan izin manajemen untuk ABTest kepada RAM user, pengguna tersebut memiliki akses penuh ke semua fitur ABTest.

Masuk ke Konsol RAM menggunakan akun root Anda.
Buat kebijakan kustom. Di editor skrip, salin konten berikut. Atur Nama Kebijakan menjadi pai_abtest_full_access. Untuk informasi selengkapnya, lihat Buat kebijakan kustom.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "paiabtest:*",
      "Resource": "*"
    }
  ]
}
```
Di halaman otorisasi, berikan izin pai_abtest_full_access kepada RAM user. Untuk informasi selengkapnya, lihat Kelola izin untuk RAM user.

Berikan izin ABTest untuk mengakses produk cloud lainnya

ABTest memerlukan otorisasi melalui peran terkait layanan (SLR). Nama perannya adalah AliyunServiceRoleForPAIABTest. Kebijakan tersebut mencakup izin berikut.

{
  "Version": "1",
  "Statement": [
    {
      "Action": "ram:DeleteServiceLinkedRole",
      "Resource": "*",
      "Effect": "Allow",
      "Condition": {
        "StringEquals": {
          "ram:ServiceName": "abtest.pai.aliyuncs.com"
        }
      }
    },
    {
      "Effect": "Allow",
      "Action": [
        "odps:ActOnBehalfOfAnotherUser",
        "odps:ListProjects",
        "odps:ListTables"
      ],
      "Resource": "acs:odps:*:*:users/*"
    }
  ]
}