Ikhtisar ABTest - Platform For AI - Alibaba Cloud Documentation Center

ABTest adalah platform untuk menjalankan eksperimen terkontrol pada layanan model dan mengoptimalkan kinerja online—membantu Anda membandingkan versi eksperimen, menganalisis metrik, serta mempromosikan konfigurasi dengan kinerja terbaik ke lingkungan produksi.

Batasan

Saat ini, ABTest:

Hanya tersedia di wilayah China (Beijing), China (Shanghai), China (Hangzhou), dan China (Shenzhen).
Tidak mendukung akses SSO berbasis peran. Akses ABTest hanya dapat dilakukan sebagai RAM user.

Penagihan

ABTest berada dalam masa pratinjau undangan dan dapat digunakan secara gratis. Namun, layanan ini menggunakan Produk Alibaba Cloud lainnya, seperti Elastic Algorithm Service (EAS) dan MaxCompute, yang ditagih secara terpisah. Untuk informasi selengkapnya, lihat penagihan EAS dan ikhtisar penagihan MaxCompute.

Istilah

Manajemen eksperimen

Experiment: Perbandingan terkontrol antara berbagai versi eksperimen (AA, AB, atau ABC). Setiap eksperimen menarik traffic dari sebuah experiment layer. Di dalam satu layer, beberapa eksperimen berjalan dengan traffic yang saling eksklusif, dan setiap versi menerima bagian yang dialokasikan secara acak untuk perbandingan parameter. Sebuah eksperimen mengelola pengaturan parameter yang mengontrol alur eksekusi program.
Experiment project: Pengelompokan logis dari layanan-layanan terkait. Misalnya, layanan dalam skenario LLM Agent yang serupa dapat berbagi satu proyek yang sama.
Experiment domain: Kumpulan traffic yang difilter berdasarkan kondisi tertentu, baik berdasarkan properti bisnis maupun alokasi acak. Jika pembagian traffic diatur oleh logika bisnis, implementasikan logika pemisahan kustom untuk domain tersebut.
Experiment layer: Satu atau beberapa layer dalam sebuah experiment domain. Traffic di setiap layer bersifat ortogonal—artinya setiap layer membawa seluruh traffic domain secara independen, sehingga eksperimen di layer yang berbeda tidak saling mengganggu.

Manajemen traffic

Audience: Sekumpulan ID traffic yang telah ditentukan—seperti UID pengguna—yang termasuk dalam suatu eksperimen.

Manajemen metrik

Metric: Indikator—seperti kinerja atau kualitas layanan—yang digunakan untuk mengevaluasi hasil eksperimen.
Data table: Sumber data dan bidang terkait yang digunakan untuk menghitung metrik eksperimen.

Konfigurasi global

Publish management: Mempromosikan dan menerapkan parameter dari versi eksperimen yang lebih efektif.

Arsitektur

Arsitektur keseluruhan

Gunakan Konsol Web ABTest Alibaba Cloud untuk mengonfigurasi eksperimen dan metrik.
ABTest menyediakan SDK Go dan Java untuk aplikasi sisi server. Setiap SDK menarik metadata eksperimen, membagi traffic berdasarkan konteks akses, dan mengeksekusi logika bisnis yang relevan.
Daftarkan tabel log MaxCompute sebagai tabel data sumber, yang kemudian didaftarkan sistem ke server ABTest. Saat aplikasi Anda menghasilkan log perilaku, instrumen mengirimkan data kembali ke tabel tersebut. Jika tabel log menghasilkan data dalam waktu nyaris real-time, konfigurasikan metrik eksperimen di Konsol untuk menghasilkan laporan metrik per jam dan harian. Metrik disimpan dalam instans Hologres untuk layanan ABTest.
Lihat data laporan eksperimen di Konsol Web ABTest.

Evolusi eksperimen

Single-layer experiment: Saat Anda membuat proyek, ABTest secara otomatis membuat domain dan layer default. Buat eksperimen pada layer default tersebut menggunakan seluruh traffic yang tersedia atau subset yang dialokasikan secara acak. Sebuah eksperimen mencakup beberapa versi. Bagi total traffic di antara versi eksperimen dengan menetapkan persentase untuk masing-masing versi.
Multilayer experiment: Perluas eksperimen single-layer menjadi beberapa layer. Traffic di setiap layer bersifat ortogonal, sehingga setiap layer dapat menjalankan eksperimen independen tanpa gangguan.
Layer and domain combination: Satu layer dapat berisi beberapa domain, dan satu domain dapat mencakup beberapa layer. Gunakan konfigurasi ini untuk menjalankan eksperimen lintas layer atau mengisolasi eksperimen ke satu layer saja.

Izin

Berikan izin RAM user untuk mengakses ABTest

Pemberian izin manajemen untuk ABTest kepada RAM user memberikan akses penuh ke semua fitur ABTest.

Masuk ke Konsol RAM menggunakan akun root Anda.
Buat kebijakan kustom. Di editor skrip, tempel konten berikut dan atur Policy Name menjadi pai_abtest_full_access. Untuk informasi selengkapnya, lihat Buat kebijakan kustom.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "paiabtest:*",
      "Resource": "*"
    }
  ]
}
```
Di halaman otorisasi, berikan izin pai_abtest_full_access kepada RAM user. Untuk informasi selengkapnya, lihat Kelola izin untuk RAM user.

Berikan izin ABTest untuk mengakses produk cloud lainnya

ABTest menggunakan peran terkait layanan (SLR) bernama AliyunServiceRoleForPAIABTest untuk mengakses produk cloud lainnya. Peran tersebut mencakup izin berikut.

{
  "Version": "1",
  "Statement": [
    {
      "Action": "ram:DeleteServiceLinkedRole",
      "Resource": "*",
      "Effect": "Allow",
      "Condition": {
        "StringEquals": {
          "ram:ServiceName": "abtest.pai.aliyuncs.com"
        }
      }
    },
    {
      "Effect": "Allow",
      "Action": [
        "odps:ActOnBehalfOfAnotherUser",
        "odps:ListProjects",
        "odps:ListTables"
      ],
      "Resource": "acs:odps:*:*:users/*"
    }
  ]
}