OpenSearch：Laporan Uji A/B

Metrik

Definisi

Metode Perhitungan

Ketergantungan

Deskripsi

PV Pencarian

Jumlah permintaan pencarian yang berhasil. PV adalah singkatan dari page view. Permintaan pencarian mencakup permintaan paging.

Menghitung setiap permintaan pencarian yang menerima respons sukses.

Menghitung jumlah permintaan pencarian yang berhasil pada hari saat ini.

UV Pencarian

Jumlah pengguna yang mengunjungi halaman hasil pencarian. UV adalah singkatan dari unique visitor.

Menghitung setiap pengguna hanya sekali terlepas dari berapa kali pengguna tersebut mengunjungi halaman hasil pencarian.

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK.

Menghitung jumlah pengguna yang mengirimkan permintaan pencarian pada hari saat ini.

Tingkat pergantian halaman

Rasio permintaan paging terhadap semua permintaan pencarian.

Membagi jumlah permintaan paging dengan PV Pencarian.

Menghitung rasio permintaan paging terhadap semua permintaan pencarian untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

Tingkat tanpa hasil

Rasio permintaan pencarian yang hasilnya tidak mengandung item terhadap semua permintaan pencarian.

Membagi jumlah permintaan pencarian yang hasilnya tidak mengandung item dengan PV Pencarian.

Menghitung rasio permintaan pencarian yang hasilnya tidak mengandung item terhadap semua permintaan pencarian untuk mengevaluasi efek dan keberagaman konten pengambilan pencarian.

PV-CTR

Tingkat klik (CTR) hasil pencarian.

Membagi IPV dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR hasil pencarian untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

UV-CTR

CTR pengguna.

Membagi IPV_UV dengan UV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR pengguna untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

PV-CTR TOP5

CTR lima item teratas dalam hasil pencarian. Item-item ini adalah lima item pertama di halaman pertama hasil pencarian.

Membagi jumlah klik pada lima item teratas dalam hasil pencarian dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR lima item teratas dalam hasil pencarian untuk mengevaluasi efek pengurutan hasil pencarian.

PV Pencarian per kapita

Rata-rata jumlah permintaan pencarian yang berhasil per pengguna.

Membagi PV Pencarian dengan UV Pencarian.

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK.

Menghitung rata-rata jumlah permintaan pencarian yang berhasil per pengguna. Semakin banyak permintaan pencarian menunjukkan bahwa pengguna tertarik untuk mencari tetapi sering kali harus mencari berkali-kali untuk mendapatkan hasil yang diharapkan.

Tingkat retensi hari berikutnya

Rasio pengguna yang mengirimkan permintaan pencarian selama dua hari berturut-turut terhadap pengguna yang mengirimkan permintaan pencarian pada hari sebelumnya.

Membagi irisan dari UV Pencarian (t-1) dan UV Pencarian (t) dengan UV Pencarian (t-1).

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK.

Menunjukkan tingkat loyalitas pengguna.

Metrik

Definisi

Metode Perhitungan

Ketergantungan

Deskripsi

PV Pencarian

Jumlah permintaan pencarian yang berhasil. Permintaan pencarian mencakup permintaan paging.

Menghitung setiap permintaan pencarian yang menerima respons sukses.

Menghitung jumlah permintaan pencarian yang berhasil pada hari saat ini.

UV Pencarian

Jumlah pengguna yang mengunjungi halaman hasil pencarian.

Menghitung setiap pengguna hanya sekali terlepas dari berapa kali pengguna tersebut mengunjungi halaman hasil pencarian.

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK.

Menghitung jumlah pengguna yang mengirimkan permintaan pencarian pada hari saat ini.

PV Pencarian per kapita

Rata-rata jumlah permintaan pencarian yang berhasil per pengguna.

Membagi PV Pencarian dengan UV Pencarian.

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK.

Menghitung rata-rata jumlah permintaan pencarian yang berhasil per pengguna. Semakin banyak permintaan pencarian menunjukkan bahwa pengguna tertarik untuk mencari tetapi sering kali harus mencari berkali-kali untuk mendapatkan hasil yang diharapkan.

Impresi item

Jumlah eksposur item. Item merujuk pada komoditas atau konten di halaman hasil pencarian. Jika sebuah item di halaman saat ini muncul di halaman baru setelah permintaan paging atau proses pemuatan, kemunculan kedua item tersebut dihitung sebagai eksposur item baru.

Jika fitur pengumpulan data diaktifkan dan data tentang eksposur item diunggah, setiap eksposur item dihitung untuk metrik ini. Jika tidak, jumlah total item dalam hasil pencarian dihitung untuk metrik ini.

Bergantung pada fitur pengumpulan data dan data perilaku tentang eksposur item yang diunggah untuk akurasi yang lebih tinggi. Jika fitur pengumpulan data dinonaktifkan atau tidak ada data perilaku tentang eksposur item yang diunggah, akurasinya rendah.

Menghitung jumlah eksposur item dalam hasil pencarian pada hari saat ini.

Jumlah query

Jumlah total query dari semua pengguna setelah deduplikasi oleh pengguna. Untuk setiap pengguna, query yang sama yang dilakukan beberapa kali hanya dihitung sekali.

Menggabungkan jumlah query yang dideduplikasi dari setiap pengguna. Query yang sama yang dilakukan oleh dua pengguna dihitung dua kali.

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK. Jika permintaan pencarian berisi bidang raw_query, query mentah digunakan. Jika tidak, nilai untuk indeks default digunakan sebagai query. Jika tidak ada indeks default yang ditentukan, query kosong.

Menghitung jumlah total query dari semua pengguna setelah deduplikasi oleh pengguna. Deduplikasi mencegah penghitungan ulang permintaan paging dan pencarian ulang.

Jumlah query per kapita

Rata-rata jumlah query yang dideduplikasi per pengguna.

Membagi Jumlah query dengan UV Pencarian.

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK.

Menghitung rata-rata jumlah query yang dideduplikasi per pengguna. Deduplikasi mencegah penghitungan ulang permintaan paging dan pencarian ulang.

Jumlah query independen

Jumlah query independen dari semua pengguna.

Menghitung jumlah query dari semua pengguna setelah deduplikasi. Query yang sama yang dilakukan oleh beberapa pengguna hanya dihitung sekali.

Bergantung pada bidang raw_query yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK. Ketergantungan ini bersifat opsional. Jika permintaan pencarian berisi bidang raw_query, query mentah digunakan. Jika tidak, nilai untuk indeks default digunakan sebagai query. Jika tidak ada indeks default yang ditentukan, query kosong.

Menunjukkan keragaman query.

Tingkat pergantian halaman

Rasio permintaan paging terhadap semua permintaan pencarian.

Membagi jumlah permintaan paging dengan PV Pencarian.

Menghitung rasio permintaan paging terhadap semua permintaan pencarian untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

Tingkat tanpa hasil

Rasio permintaan pencarian yang hasilnya tidak mengandung item terhadap semua permintaan pencarian.

Membagi jumlah permintaan pencarian yang hasilnya tidak mengandung item dengan PV Pencarian.

Menghitung rasio permintaan pencarian yang hasilnya tidak mengandung item terhadap semua permintaan pencarian untuk mengevaluasi efek dan keberagaman konten pengambilan pencarian.

Tingkat hasil rendah

Rasio permintaan pencarian yang hasilnya mengandung tidak lebih dari lima item terhadap semua permintaan pencarian.

Membagi jumlah permintaan pencarian yang hasilnya mengandung tidak lebih dari lima item dengan PV Pencarian.

Menghitung rasio permintaan pencarian yang hasilnya mengandung kurang dari lima item terhadap semua permintaan pencarian untuk mengevaluasi efek dan keberagaman konten pengambilan pencarian.

Jumlah kesalahan permintaan

Jumlah kali ketika permintaan pencarian dikirim tetapi respons kesalahan diterima karena alasan seperti throttling.

Menghitung setiap permintaan yang menerima pesan kesalahan.

Menunjukkan apakah Anda perlu menyesuaikan aplikasi. Misalnya, Anda mungkin perlu melakukan peningkatan skala aplikasi.

Tingkat kesalahan permintaan

Rasio permintaan pencarian yang gagal terhadap semua permintaan pencarian. Permintaan gagal karena alasan seperti throttling.

Membagi Jumlah kesalahan permintaan dengan jumlah PV Pencarian dan Jumlah kesalahan permintaan.

Menunjukkan apakah Anda perlu menyesuaikan aplikasi. Misalnya, Anda mungkin perlu melakukan peningkatan skala aplikasi.

Metrik

Definisi

Metode Perhitungan

Ketergantungan

Deskripsi

IPV

Jumlah klik pada item dalam hasil pencarian.

Menghitung setiap klik pada item dalam hasil pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung jumlah klik pada item dalam hasil pencarian.

IPV_UV

Jumlah pengguna yang mengklik item di halaman hasil pencarian.

Menghitung setiap pengguna hanya sekali terlepas dari berapa kali pengguna tersebut mengklik item dalam hasil pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah. Bidang user_id harus ditentukan dalam data yang diunggah.

Menghitung jumlah pengguna yang mengklik item dalam hasil pencarian.

IPV per kapita

Rata-rata jumlah klik pada item dalam hasil pencarian per pengguna.

Membagi IPV dengan UV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah. Bidang user_id harus ditentukan dalam data yang diunggah.

Menghitung rata-rata jumlah klik pada item dalam hasil pencarian per pengguna.

PV-CTR

CTR hasil pencarian.

Membagi IPV dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR hasil pencarian untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

UV-CTR

CTR pengguna.

Membagi IPV_UV dengan UV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR pengguna untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

Item-CTR

CTR item. Item merujuk pada komoditas atau konten di halaman hasil pencarian.

Membagi IPV dengan Impresi item.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR hasil pencarian untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

Persentase PV yang diklik

Rasio permintaan pencarian yang hasilnya diklik oleh pengguna terhadap semua permintaan pencarian.

Membagi jumlah permintaan pencarian yang hasilnya diklik oleh pengguna dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR hasil pencarian untuk mengevaluasi efek pengambilan pencarian dan pengurutan hasil pencarian.

PV-CTR TOP3

CTR tiga item teratas dalam hasil pencarian. Item-item ini adalah tiga item pertama di halaman pertama hasil pencarian.

Membagi jumlah klik pada tiga item teratas dalam hasil pencarian dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR tiga item teratas dalam hasil pencarian untuk mengevaluasi efek pengurutan hasil pencarian.

PV-CTR TOP5

CTR lima item teratas dalam hasil pencarian. Item-item ini adalah lima item pertama di halaman pertama hasil pencarian.

Membagi jumlah klik pada lima item teratas dalam hasil pencarian dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR lima item teratas dalam hasil pencarian untuk mengevaluasi efek pengurutan hasil pencarian.

PV-CTR TOP10

CTR sepuluh item teratas dalam hasil pencarian. Item-item ini adalah sepuluh item pertama di halaman pertama hasil pencarian.

Membagi jumlah klik pada sepuluh item teratas dalam hasil pencarian dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah.

Menghitung CTR sepuluh item teratas dalam hasil pencarian untuk mengevaluasi efek pengurutan hasil pencarian.

Jumlah koleksi

Jumlah kali ketika pengguna menambahkan item dari hasil pencarian ke favorit.

Menghitung setiap kali seorang pengguna menambahkan item dari hasil pencarian ke favorit.

Bergantung pada fitur pengumpulan data dan data perilaku tentang menambahkan item ke favorit. Nilai bidang bhv_type harus berupa collect dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk menambahkan item ke favorit.

Tingkat konversi favorit

Rasio jumlah kali ketika pengguna menambahkan item dari hasil pencarian ke favorit terhadap semua permintaan pencarian.

Membagi Jumlah koleksi dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang menambahkan item ke favorit. Nilai bidang bhv_type harus berupa collect dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk menambahkan item ke favorit.

Pembelian tambahan

Jumlah kali ketika pengguna menambahkan item dari hasil pencarian ke keranjang belanja.

Menghitung setiap kali seorang pengguna menambahkan item dari hasil pencarian ke keranjang belanja.

Bergantung pada fitur pengumpulan data dan data perilaku tentang menambahkan item ke keranjang belanja, rak buku, atau daftar putar. Nilai bidang bhv_type harus berupa cart dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk menambahkan item ke keranjang belanja.

Tingkat konversi tambahan

Rasio jumlah kali ketika pengguna menambahkan item dari hasil pencarian ke keranjang belanja terhadap semua permintaan pencarian.

Membagi Pembelian tambahan dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang menambahkan item ke keranjang belanja, rak buku, atau daftar putar. Nilai bidang bhv_type harus berupa cart dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk menambahkan item ke keranjang belanja.

Suka

Jumlah kali ketika pengguna menyukai item dalam hasil pencarian.

Menghitung setiap kali seorang pengguna menyukai item dalam hasil pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang menyukai item. Nilai bidang bhv_type harus berupa like dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk menyukai item dalam hasil pencarian.

Tingkat konversi suka

Rasio jumlah kali ketika pengguna menyukai item dalam hasil pencarian terhadap semua permintaan pencarian.

Membagi Suka dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang menyukai item. Nilai bidang bhv_type harus berupa like dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk menyukai item dalam hasil pencarian.

Jumlah komentar

Jumlah kali ketika pengguna memposting komentar pada item dalam hasil pencarian.

Menghitung setiap kali seorang pengguna memposting komentar pada item dalam hasil pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang memposting komentar. Nilai bidang bhv_type harus berupa comment dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk memposting komentar.

Tingkat konversi komentar

Rasio jumlah kali ketika pengguna memposting komentar pada item dalam hasil pencarian terhadap semua permintaan pencarian.

Membagi Jumlah komentar dengan PV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang memposting komentar. Nilai bidang bhv_type harus berupa comment dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk memposting komentar.

Metrik

Definisi

Metode Perhitungan

Ketergantungan

Deskripsi

GMV panduan pencarian

Volume total barang dagangan kotor (GMV) dari pembelian yang dilakukan pengguna berdasarkan hasil pencarian.

Menggabungkan jumlah transaksi.

Bergantung pada fitur pengumpulan data dan data perilaku tentang pembelian pengguna yang diunggah. Nilai bidang bhv_type harus berupa buy dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk melakukan pembelian.

UV transaksi panduan pencarian

Jumlah pengguna yang melakukan pembelian berdasarkan hasil pencarian.

Menghitung setiap pengguna hanya sekali terlepas dari berapa banyak pembelian yang dilakukan pengguna tersebut berdasarkan hasil pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang pembelian pengguna yang diunggah. Nilai bidang bhv_type harus berupa buy dalam data yang diunggah. Bidang user_id harus ditentukan dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk melakukan pembelian.

Harga satuan pelanggan panduan pencarian

Rata-rata jumlah transaksi per pengguna di antara pengguna yang melakukan pembelian berdasarkan hasil pencarian.

Membagi GMV panduan pencarian dengan UV transaksi panduan pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang pembelian pengguna yang diunggah. Nilai bidang bhv_type harus berupa buy dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk melakukan pembelian.

Tingkat konversi pesanan

Rasio pengguna yang melakukan pembelian berdasarkan hasil pencarian terhadap semua pengguna yang mengunjungi halaman hasil pencarian.

Membagi UV transaksi panduan pencarian dengan UV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang pembelian pengguna yang diunggah. Nilai bidang bhv_type harus berupa buy dalam data yang diunggah.

Menilai efek pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk melakukan pembelian.

Tingkat klik melalui

Rasio pengguna yang melakukan pembelian setelah mereka mengklik item dalam hasil pencarian terhadap semua pengguna yang mengklik item dalam hasil pencarian.

Membagi UV transaksi panduan pencarian dengan IPV_UV.

Bergantung pada fitur pengumpulan data dan data perilaku terkait pembelian pengguna yang diunggah. Nilai bidang bhv_type harus berupa buy dalam data yang diunggah.

Mengevaluasi dampak pengambilan pencarian, pengurutan hasil pencarian, dan hasil pencarian dalam membimbing pengguna untuk melakukan pembelian.

Metrik

Definisi

Metode Perhitungan

Ketergantungan

Deskripsi

Tingkat retensi hari berikutnya

Rasio pengguna yang mengirimkan permintaan pencarian selama dua hari berturut-turut terhadap pengguna yang mengirimkan permintaan pencarian pada hari sebelumnya.

Membagi irisan dari UV Pencarian (t-1) dan UV Pencarian (t) dengan UV Pencarian (t-1).

Bergantung pada bidang user_id yang ditentukan dalam permintaan pencarian ketika pengguna mengirimkan permintaan dengan memanggil Operasi API atau menggunakan OpenSearch SDK.

Menunjukkan tingkat loyalitas pengguna.

Tingkat pengguna hilang

Rasio pengguna yang tidak mengklik item dalam hasil pencarian terhadap semua pengguna yang mengunjungi halaman hasil pencarian.

Membagi selisih antara UV dan IPV_UV dengan UV Pencarian.

Bergantung pada fitur pengumpulan data dan data perilaku tentang klik pengguna yang diunggah. Bidang user_id harus ditentukan dalam data yang diunggah.

Menilai efek pengambilan pencarian dan pengurutan hasil pencarian.