Laporan Pengujian A/B menunjukkan pengaruh setiap varian eksperimen terhadap kualitas pencarian dan perilaku pengguna. OpenSearch melacak lima kategori metrik: metrik inti, metrik traffic, metrik perilaku, metrik transaksi, dan metrik analisis pengguna.
Sebelum Anda menginterpretasikan hasil
Tinjau hal-hal berikut sebelum menarik kesimpulan dari laporan:
Data lag: Laporan menampilkan data untuk hari sebelumnya secara default. Setelah Anda mengunggah data perilaku, laporan akan mencerminkan data tersebut mulai hari berikutnya.
Kisaran tanggal: Gunakan pemilih tanggal untuk memilih hari atau periode waktu tertentu. Setiap kategori metrik mencakup grafik tren 7 hari — klik ikon grafik di samping metrik untuk membuka tampilan tren-nya.
Ketergantungan data: Metrik yang memerlukan data perilaku (klik, favorit, pembelian) hanya tersedia setelah Anda mengaktifkan fitur pengumpulan data dan mengunggah data perilaku yang sesuai.
Menampilkan laporan
Di panel navigasi sebelah kiri, pilih Report Statistics > A/B Test. Pilih aplikasi dari daftar drop-down Application Name, pilih kelompok eksperimen, lalu pilih eksperimen. Klik tab kategori metrik dan gunakan pemilih tanggal untuk mengatur periode waktu.
Metrik inti
Metrik inti memberikan gambaran tingkat tinggi mengenai volume pencarian, keterlibatan pengguna, dan kualitas hasil. Gunakan metrik ini untuk menilai kesehatan keseluruhan setiap varian eksperimen sebelum menganalisis data perilaku atau transaksi lebih lanjut.
| Metrik | Definisi | Rumus | Ketergantungan |
|---|---|---|---|
| Search PV | Jumlah permintaan pencarian yang berhasil, termasuk permintaan paging. PV adalah singkatan dari page view. | Jumlah permintaan yang menerima respons sukses | — |
| Search UV | Jumlah pengguna yang mengunjungi halaman hasil pencarian. UV adalah singkatan dari unique visitor. Setiap pengguna dihitung satu kali terlepas dari berapa banyak pencarian yang mereka lakukan. | Jumlah pengguna unik | user_id dalam permintaan pencarian |
| Page turning rate | Rasio permintaan paging terhadap seluruh permintaan pencarian. Nilai tinggi dapat mengindikasikan bahwa pengguna tidak menemukan yang mereka butuhkan di halaman pertama. | Permintaan paging ÷ Search PV | — |
| No-results rate | Rasio pencarian yang tidak mengembalikan item terhadap seluruh permintaan pencarian. Nilai tinggi menandakan adanya celah dalam pengambilan (retrieval). | Permintaan tanpa hasil ÷ Search PV | — |
| PV-CTR | Click-through rate (CTR) hasil pencarian, diukur per permintaan pencarian. | IPV ÷ Search PV | Fitur pengumpulan data; data perilaku klik |
| UV-CTR | CTR yang diukur per pengguna. Melengkapi PV-CTR dengan melakukan penghalusan efek dari pengguna yang melakukan banyak pencarian. | IPV_UV ÷ Search UV | Fitur pengumpulan data; data perilaku klik |
| TOP5 PV-CTR | CTR dari lima item pertama pada halaman pertama hasil pencarian. Gunakan metrik ini untuk mengevaluasi kualitas peringkat di bagian atas hasil. | Klik pada 5 item teratas ÷ Search PV | Fitur pengumpulan data; data perilaku klik |
| Search PV per capita | Rata-rata jumlah permintaan pencarian per pengguna. Nilai tinggi dapat berarti pengguna terlibat tetapi kesulitan menemukan hasil yang diinginkan. | Search PV ÷ Search UV | user_id dalam permintaan pencarian |
| Next day retention rate | Rasio pengguna yang melakukan pencarian dua hari berturut-turut terhadap pengguna yang melakukan pencarian pada hari sebelumnya. Mengindikasikan tingkat keterikatan pengguna. | Irisan Search UV(t-1) dan Search UV(t) ÷ Search UV(t-1) | user_id dalam permintaan pencarian |
Metrik traffic
Metrik traffic memecah volume pencarian, keragaman kueri, dan laju error. Gunakan metrik ini bersama metrik inti untuk memahami beban pencarian dan mengidentifikasi masalah pengambilan (retrieval).
| Metrik | Definisi | Rumus | Ketergantungan |
|---|---|---|---|
| Search PV | Jumlah permintaan pencarian yang berhasil, termasuk permintaan paging. | Jumlah permintaan yang menerima respons sukses | — |
| Search UV | Jumlah pengguna yang mengunjungi halaman hasil pencarian. | Jumlah pengguna unik | user_id dalam permintaan pencarian |
| Search PV per capita | Rata-rata jumlah permintaan pencarian per pengguna. | Search PV ÷ Search UV | user_id dalam permintaan pencarian |
| Item impressions | Jumlah eksposur item dalam hasil pencarian. Jika sebuah item muncul kembali di halaman baru setelah permintaan paging, itu dihitung sebagai eksposur baru. Ketika data perilaku tersedia, eksposur dihitung dari data yang diunggah; jika tidak, jumlah total item dalam hasil digunakan. | Jumlah eksposur item (atau jumlah total item hasil jika tidak ada data perilaku) | Fitur pengumpulan data; data perilaku eksposur item (untuk akurasi lebih tinggi) |
| Query number | Total kueri dari seluruh pengguna, dideduplikasi per pengguna. Kueri yang sama oleh pengguna yang sama dihitung satu kali; kueri yang sama oleh dua pengguna berbeda dihitung dua kali. Jika raw_query ada dalam permintaan, nilai tersebut digunakan; jika tidak, nilai indeks default digunakan; jika tidak ada indeks default yang ditetapkan, kueri dianggap kosong. | Jumlah kueri per pengguna setelah deduplikasi | user_id dalam permintaan pencarian; bidang raw_query (opsional) |
| Number of queries per capita | Rata-rata jumlah kueri yang telah dideduplikasi per pengguna. | Query number ÷ Search UV | user_id dalam permintaan pencarian |
| Number of independent queries | Jumlah kueri unik dari seluruh pengguna. Kueri yang sama yang diajukan oleh beberapa pengguna dihitung satu kali. Menunjukkan keragaman kueri. | Jumlah kueri setelah deduplikasi lintas pengguna | raw_query (opsional) |
| Page turning rate | Rasio permintaan paging terhadap seluruh permintaan pencarian. | Permintaan paging ÷ Search PV | — |
| No-results rate | Rasio pencarian yang tidak mengembalikan item terhadap seluruh permintaan pencarian. | Permintaan tanpa hasil ÷ Search PV | — |
| Low-results rate | Rasio pencarian yang mengembalikan lima item atau kurang terhadap seluruh permintaan pencarian. | Permintaan dengan ≤5 hasil ÷ Search PV | — |
| Request error times | Jumlah permintaan pencarian yang menerima respons error (misalnya, karena throttling). Lonjakan dapat mengindikasikan perlunya scaling out. | Jumlah permintaan yang menerima error | — |
| Request error rate | Rasio permintaan gagal terhadap seluruh permintaan. | Request error times ÷ (Search PV + Request error times) | — |
Metrik perilaku
Metrik perilaku melacak cara pengguna berinteraksi dengan hasil pencarian: klik, favorit, penambahan ke keranjang belanja, like, dan komentar. Semua metrik perilaku memerlukan pengaktifan fitur pengumpulan data serta pengunggahan data perilaku yang sesuai.
| Metrik | Definisi | Rumus | Ketergantungan |
|---|---|---|---|
| IPV | Jumlah klik pada item dalam hasil pencarian. | Jumlah klik item | Fitur pengumpulan data; data perilaku klik |
| IPV_UV | Jumlah pengguna yang mengklik setidaknya satu item dalam hasil pencarian. Setiap pengguna dihitung satu kali. | Jumlah pengguna unik yang mengklik | Fitur pengumpulan data; data perilaku klik; user_id |
| IPV per capita | Rata-rata jumlah klik item per pengguna. | IPV ÷ Search UV | Fitur pengumpulan data; data perilaku klik; user_id |
| PV-CTR | CTR hasil pencarian, diukur per permintaan pencarian. | IPV ÷ Search PV | Fitur pengumpulan data; data perilaku klik |
| UV-CTR | CTR diukur per pengguna. | IPV_UV ÷ Search UV | Fitur pengumpulan data; data perilaku klik |
| Item-CTR | CTR pada tingkat item — seberapa sering item yang diekspos diklik. | IPV ÷ Item impressions | Fitur pengumpulan data; data perilaku klik |
| Percentage of clicked PV | Rasio permintaan pencarian di mana pengguna mengklik setidaknya satu hasil. | Permintaan pencarian yang diklik ÷ Search PV | Fitur pengumpulan data; data perilaku klik |
| TOP3 PV-CTR | CTR dari tiga item pertama pada halaman pertama. | Klik pada 3 item teratas ÷ Search PV | Fitur pengumpulan data; data perilaku klik |
| TOP5 PV-CTR | CTR dari lima item pertama pada halaman pertama. | Klik pada 5 item teratas ÷ Search PV | Fitur pengumpulan data; data perilaku klik |
| TOP10 PV-CTR | CTR dari sepuluh item pertama pada halaman pertama. | Klik pada 10 item teratas ÷ Search PV | Fitur pengumpulan data; data perilaku klik |
| Number of collections | Jumlah kali pengguna menambahkan item dari hasil pencarian ke favorit. | Jumlah penambahan ke favorit | Fitur pengumpulan data; data perilaku favorit; bhv_type = collect |
| Favorite conversion rate | Rasio penambahan ke favorit terhadap seluruh permintaan pencarian. | Number of collections ÷ Search PV | Fitur pengumpulan data; data perilaku favorit; bhv_type = collect |
| Additional purchases | Jumlah kali pengguna menambahkan item dari hasil pencarian ke keranjang belanja (atau rak buku atau daftar putar). | Jumlah penambahan ke keranjang | Fitur pengumpulan data; data perilaku keranjang; bhv_type = cart |
| Add-on conversion rate | Rasio penambahan ke keranjang terhadap seluruh permintaan pencarian. | Additional purchases ÷ Search PV | Fitur pengumpulan data; data perilaku keranjang; bhv_type = cart |
| Likes | Jumlah kali pengguna menyukai item dalam hasil pencarian. | Jumlah like | Fitur pengumpulan data; data perilaku like; bhv_type = like |
| Like conversion rate | Rasio like terhadap seluruh permintaan pencarian. | Likes ÷ Search PV | Fitur pengumpulan data; data perilaku like; bhv_type = like |
| Number of comments | Jumlah kali pengguna memposting komentar pada item dalam hasil pencarian. | Jumlah komentar | Fitur pengumpulan data; data perilaku komentar; bhv_type = comment |
| Comment conversion rate | Rasio komentar terhadap seluruh permintaan pencarian. | Number of comments ÷ Search PV | Fitur pengumpulan data; data perilaku komentar; bhv_type = comment |
Metrik transaksi
Metrik transaksi mengukur seberapa efektif hasil pencarian mendorong pembelian. Semua metrik transaksi memerlukan bhv_type = buy dalam data perilaku yang diunggah.
| Metrik | Definisi | Rumus | Ketergantungan |
|---|---|---|---|
| Search guide GMV | Gross merchandise volume (GMV) dari pembelian yang dilakukan melalui hasil pencarian. | Jumlah nilai transaksi | Fitur pengumpulan data; data perilaku pembelian; bhv_type = buy |
| Search guide deal UV | Jumlah pengguna yang melakukan pembelian melalui hasil pencarian. Setiap pengguna dihitung satu kali. | Jumlah pengguna pembeli unik | Fitur pengumpulan data; data perilaku pembelian; bhv_type = buy; user_id |
| Search guide customer unit price | Rata-rata nilai transaksi per pengguna pembeli. | Search guide GMV ÷ Search guide deal UV | Fitur pengumpulan data; data perilaku pembelian; bhv_type = buy |
| Order conversion rate | Rasio pengguna yang melakukan pembelian terhadap seluruh pengguna yang mengunjungi halaman hasil pencarian. | Search guide deal UV ÷ Search UV | Fitur pengumpulan data; data perilaku pembelian; bhv_type = buy |
| Click-through rate | Rasio pengguna yang melakukan pembelian setelah mengklik hasil pencarian terhadap seluruh pengguna yang mengklik hasil pencarian. | Search guide deal UV ÷ IPV_UV | Fitur pengumpulan data; data perilaku pembelian; bhv_type = buy |
Metrik analisis pengguna
Metrik analisis pengguna memberikan gambaran mengenai keterlibatan jangka panjang dan tingkat pengguna yang berhenti menggunakan layanan.
| Metrik | Definisi | Rumus | Ketergantungan |
|---|---|---|---|
| Next day retention rate | Rasio pengguna yang melakukan pencarian dua hari berturut-turut terhadap pengguna yang melakukan pencarian pada hari sebelumnya. | Irisan Search UV(t-1) dan Search UV(t) ÷ Search UV(t-1) | user_id dalam permintaan pencarian |
| Lost user rate | Rasio pengguna yang mengunjungi halaman hasil pencarian tetapi tidak pernah mengklik item apa pun. Nilai tinggi menunjukkan kualitas pengambilan (retrieval) yang buruk atau peringkat yang tidak relevan. | (Search UV − IPV_UV) ÷ Search UV | Fitur pengumpulan data; data perilaku klik; user_id |