Uji A/B - Platform For AI

PAI-ABTest menyediakan layanan tes model umum siap pakai. Dalam skenario seperti layanan model bahasa besar (LLM) dan aplikasi terkait seperti pencarian cerdas, rekomendasi, serta periklanan, Anda dapat memodifikasi layanan model berdasarkan performa online, menyesuaikan distribusi trafik antar layanan model, dan melaksanakan tes jangka pendek dengan biaya rendah untuk mencapai efisiensi biaya yang optimal.

Batasan

PAI-ABTest hanya tersedia di wilayah berikut: Tiongkok (Beijing), Tiongkok (Shanghai), Tiongkok (Hangzhou), dan Tiongkok (Shenzhen).
PAI-ABTest tidak mendukung akses menggunakan Single Sign-On (SSO) berbasis peran. Anda hanya dapat mengakses PAI-ABTest menggunakan pengguna RAM.

Metode penagihan

PAI-ABTest dalam versi pratinjau undangan disediakan secara gratis. Namun, jika Anda menggunakan layanan Alibaba Cloud lainnya seperti Elastic Algorithm Service (EAS) dari Platform for AI (PAI) atau MaxCompute, Anda akan dikenakan biaya sesuai dengan sumber daya yang digunakan saat menjalankan PAI-ABTest. Untuk informasi lebih lanjut, lihat Penagihan EAS dan Ikhtisar Penagihan MaxCompute.

Istilah

Manajemen eksperimen

Eksperimen: Kombinasi dari berbagai versi eksperimental yang memerlukan uji A/B. Anda dapat mengonfigurasi beberapa versi dan kombinasi dalam satu eksperimen. Trafik eksperimen berasal dari lapisan eksperimen, yang mencakup beberapa eksperimen. Trafik eksperimen pada lapisan yang sama bersifat saling eksklusif. Setiap eksperimen mencakup parameter yang mengontrol proses eksperimen. Trafik setiap versi dialokasikan secara acak, memungkinkan Anda membandingkan dampak dari parameter yang berbeda.
Proyek Eksperimen: Agregasi logika bisnis. Layanan dalam skenario bisnis serupa dapat dikelompokkan ke dalam proyek yang sama.
Domain Eksperimen: Kumpulan trafik. Anda dapat mengalokasikan trafik secara acak, berdasarkan bisnis tertentu, atau menggunakan kondisi filter berdasarkan atribut bisnis. Alokasi trafik juga dapat dilakukan menggunakan kebijakan kustom.
Lapisan Eksperimen: Domain eksperimen berisi satu atau lebih lapisan eksperimen. Trafik setiap lapisan bersifat ortogonal, dan setiap lapisan dapat menggunakan 100% trafik domain.

Manajemen trafik

Kelompok Pengguna: Kumpulan ID trafik tertentu (UID pengguna) dalam eksperimen.

Manajemen metrik

Metrik: Indikator performa, layanan, dan kualitas yang digunakan untuk mengevaluasi eksperimen.
Tabel Data: Berisi informasi seperti sumber data dan bidang terkait yang diperlukan untuk eksperimen.

Konfigurasi global

Manajemen Publikasi: Terapkan konfigurasi eksperimen optimal untuk semua kelompok pengguna.

Arsitektur

Struktur ABTest

Gunakan layanan ABTest Alibaba Cloud di konsol Platform for AI (PAI) untuk mengonfigurasi eksperimen dan metrik eksperimen.
ABTest menyediakan SDK untuk Go dan Java. Anda dapat merujuk SDK di server ABTest. SDK menarik metadata eksperimen secara bergantian. Saat menggunakan SDK, alokasikan trafik berdasarkan konteks akses untuk mendapatkan konfigurasi eksperimen terkait. Kemudian, jalankan logika bisnis berdasarkan konfigurasi yang dikembalikan.
Daftarkan tabel log MaxCompute sebagai tabel data sumber. Sistem mendaftarkan tabel tersebut di server ABTest. Saat aplikasi menghasilkan log perilaku, data dikirimkan kembali ke tabel log MaxCompute berdasarkan pelacakan peristiwa. Saat mengonfigurasi metrik eksperimen di ABTest, jika isi tabel log dihasilkan hampir real-time, metrik eksperimen per jam dan harian dihasilkan secara bersamaan dan disimpan di penyimpanan Hologres ABTest.
Lihat laporan terkait eksperimen di ABTest melalui konsol PAI.

Pelaksanaan eksperimen

Eksperimen Lapisan Tunggal: Setelah membuat proyek, sistem secara otomatis membuat domain dan lapisan default. Buat eksperimen pada lapisan default. Eksperimen dapat memperoleh semua trafik lapisan atau sebagian tertentu berdasarkan alokasi acak. Sebuah eksperimen mencakup beberapa versi, dan Anda dapat mengonfigurasi persentase trafik yang ingin dialokasikan ke setiap versi.
Eksperimen Multi-Lapisan: Perluas eksperimen lapisan tunggal menjadi beberapa lapisan. Trafik setiap lapisan bersifat ortogonal, dan Anda dapat membuat eksperimen pada setiap lapisan.
Kombinasi Lapisan dan Domain: Lapisan dapat berisi beberapa domain, dan Anda dapat membuat beberapa lapisan dalam domain. Dalam skenario eksperimen multi-lapisan, Anda dapat melakukan eksperimen pada lapisan tunggal atau lintas lapisan. Gambar berikut memberikan contoh konfigurasi.

Izin

Berikan izin akses kepada pengguna RAM

Berikan izin akses penuh ABTest kepada pengguna RAM.

Masuk ke konsol RAM menggunakan akun Alibaba Cloud Anda.
Di panel navigasi sebelah kiri, pilih Permissions > Policies.
Klik Create Policy. Di halaman yang muncul, pilih JSON dan masukkan kebijakan contoh berikut. Atur nama kebijakan menjadi pai_abtest_full_access. Untuk informasi lebih lanjut, lihat Buat Kebijakan Kustom.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "paiabtest:*",
      "Resource": "*"
    }
  ]
}
```
Klik Grant Permission dan berikan izin pai_abtest_full_access kepada pengguna RAM. Untuk informasi lebih lanjut, lihat Berikan Izin kepada Pengguna RAM.

Otorisasi ABTest untuk mengakses layanan lain

ABTest memerlukan otorisasi peran terkait layanan (SLR). Nama SLR adalah AliyunServiceRoleForPAIABTest. Contoh kebijakan:

{
    "Version": "1",
    "Statement": [
        {
            "Action": "ram:DeleteServiceLinkedRole",
            "Resource": "*",
            "Effect": "Allow",
            "Condition": {
                "StringEquals": {
                    "ram:ServiceName": "abtest.pai.aliyuncs.com"
                }
            }
        },

        {
            "Effect": "Allow",
            "Action": [
                "odps:ActOnBehalfOfAnotherUser",
                "odps:ListProjects",
                "odps:ListTables"
            ],
            "Resource": "acs:odps:*:*:users/*"
        }
    
    ]
}