Laporan hint di OpenSearch melacak interaksi pengguna dengan hint pencarian (saran pengisian otomatis) dan apakah hint tersebut mengarah ke pencarian yang berhasil. Gunakan laporan ini untuk mengidentifikasi masalah throttling, mengukur tingkat keterlibatan klik, serta menilai efektivitas hint dalam mendorong konversi.
Laporan ini menampilkan metrik untuk hari sebelumnya secara default. Setelah Anda mengunggah data perilaku, laporan berdasarkan data tersebut tersedia pada hari berikutnya.
Tampilkan laporan hint
Di panel navigasi sisi kiri, pilih Report Statistics > Hint Report. Pilih aplikasi dari daftar drop-down Application Name dan model dari daftar drop-down Model Name. Klik tab kategori metrik, lalu atur pemilih tanggal ke periode waktu yang diinginkan.
Laporan ini menyediakan grafik garis yang menunjukkan tren metrik selama tujuh hari terakhir. Untuk melihat grafik garis suatu metrik tertentu, klik ikon metrik yang sesuai.
Metrik inti
Metrik inti memberikan gambaran tingkat tinggi mengenai kesehatan hint: volume traffic hint yang diterima, seberapa sering pengguna mengklik hint, dan apakah hint mendorong pencarian aktual. Gunakan metrik ini untuk mendapatkan gambaran umum sebelum mempelajari kategori tertentu lebih mendalam.
| Metric | Definition | Calculation | Dependencies |
|---|---|---|---|
| Shading PV | Jumlah permintaan hint yang berhasil. Permintaan yang gagal akibat throttling tidak termasuk. | Hitungan permintaan hint yang menerima respons sukses | None |
| Shading UV | Jumlah pengguna unik yang menerima hasil hint. Permintaan yang gagal akibat throttling tidak termasuk. | Setiap pengguna dihitung satu kali, terlepas dari jumlah permintaan | user_id field in hint requests |
| Shading request error times | Jumlah permintaan hint yang mengembalikan error (misalnya, karena throttling). Jumlah error yang tinggi mengindikasikan Anda mungkin perlu menambahkan lebih banyak hint ke hint yang sudah ada. | Hitungan permintaan hint yang gagal | None |
| Shading PV-CTR | Click-through rate (CTR) petunjuk. | Shading IPV / Shading PV | raw_query and from_request_id fields in search requests |
| Shading UV-CTR | CTR di antara pengguna unik yang menerima hasil hint. | Shading IPV_UV / Shading UV | raw_query and from_request_id in search requests; user_id in hint requests |
| Guided search PV ratio | Bagian dari seluruh pencarian yang dipicu oleh klik hint. | Guided search PV / Search PV | from_request_id field in search requests |
| Guided search PV-CTR | CTR pencarian yang dipicu oleh klik hint. Gunakan metrik ini untuk menilai kualitas pengambilan dan pengurutan pada pencarian berbasis hint. | IPV of hint-guided searches / Guided search PV | raw_query and from_request_id in search requests; data collection feature; behavioral data (user clicks) |
Metrik traffic
Metrik traffic berfokus pada volume permintaan dan tingkat error. Gunakan metrik ini untuk mendeteksi masalah throttling dan memastikan layanan hint mampu menangani beban dengan baik. Jika tingkat error meningkat, pertimbangkan untuk menambahkan lebih banyak hint ke hint yang sudah ada.
| Metric | Definition | Calculation | Dependencies |
|---|---|---|---|
| Shading PV | Jumlah permintaan hint yang berhasil. Permintaan yang gagal akibat throttling tidak termasuk. | Hitungan permintaan hint yang menerima respons sukses | None |
| Shading UV | Jumlah pengguna unik yang menerima hasil hint. Permintaan yang gagal akibat throttling tidak termasuk. | Setiap pengguna dihitung satu kali, terlepas dari jumlah permintaan | user_id field in hint requests |
| Shading request error times | Jumlah permintaan hint yang mengembalikan error (misalnya, karena throttling). | Hitungan permintaan hint yang gagal | None |
| Shading request error rate | Rasio permintaan hint yang gagal terhadap seluruh permintaan hint. Peningkatan tingkat error mengindikasikan Anda mungkin perlu menambahkan lebih banyak hint ke hint yang sudah ada. | Shading request error times / (Shading PV + Shading request error times) | None |
Metrik klik
Metrik klik mengukur seberapa sering pengguna berinteraksi dengan hasil hint. Gunakan metrik ini untuk mengevaluasi relevansi dan daya tarik hint. CTR yang rendah dapat mengindikasikan bahwa saran hint tidak sesuai dengan kebutuhan pengguna—pertimbangkan untuk meninjau konfigurasi hint atau kualitas data Anda.
Metrik klik yang melacak pengguna unik memerlukan bidang user_id dalam permintaan hint. Metrik tanpa ketergantungan ini tersedia tanpa konfigurasi tambahan.| Metric | Definition | Calculation | Dependencies |
|---|---|---|---|
| Shading IPV | Jumlah klik pada hint. | Hitungan klik hint | from_request_id field in search requests |
| Shading IPV_UV | Jumlah pengguna unik yang mengklik hint. | Setiap pengguna dihitung satu kali, terlepas dari jumlah klik | raw_query and from_request_id in search requests; user_id in hint requests |
| Shading PV-CTR | CTR hint. | Shading IPV / Shading PV | raw_query and from_request_id in search requests |
| Shading UV-CTR | CTR di antara pengguna unik yang menerima hasil hint. | Shading IPV_UV / Shading UV | raw_query and from_request_id in search requests; user_id in hint requests |
| Shading has a click on the percentage of PV | Rasio permintaan hint yang hasilnya diklik terhadap seluruh permintaan hint. | Clicked hint requests / Shading PV | from_request_id field in search requests |
Metrik pencarian terpandu
Metrik pencarian terpandu mengukur aktivitas setelah pengguna mengklik hint dan tiba di halaman hasil pencarian. Gunakan metrik ini untuk mengevaluasi apakah pencarian berbasis hint mengarah ke konversi—seperti pembelian, penambahan ke favorit, penambahan ke keranjang belanja, atau aksi keterlibatan lainnya. Tingkat tanpa hasil yang tinggi dapat mengindikasikan celah dalam indeks Anda; pertimbangkan untuk menambahkan sinonim atau memperluas data Anda.
Metrik konversi (GMV, favorit, keranjang belanja, like, komentar) memerlukan fitur pengumpulan data yang diaktifkan dan data perilaku yang diunggah dengan nilai bhv_type yang benar.Ketersediaan berdasarkan persyaratan konfigurasi
| Configuration required | Metrics |
|---|---|
from_request_id in search requests only | Guided search PV, Guided search PV ratio, Guided search no result rate |
user_id and from_request_id in search requests | Guided search UV, Guided search UV ratio |
raw_query and from_request_id in search requests; data collection feature + behavioral data | Guided search PV-CTR |
from_request_id in search requests; data collection feature + behavioral data | Guided search has clicks on the percentage of PV |
| Data collection feature + behavioral data | Guided search for GMV, Guided search favorite conversion rate, Guided search to the shopping cart conversion rate, Guided search like conversion rate, Guided search review conversion rate |
Definisi metrik pencarian terpandu
| Metric | Definition | Calculation | Dependencies |
|---|---|---|---|
| Guided search PV | Jumlah pencarian berbasis hint, termasuk permintaan paging. | Hitungan setiap klik hint yang memicu pencarian | from_request_id field in search requests |
| Guided search UV | Jumlah pengguna unik yang mengklik hint. | Setiap pengguna dihitung satu kali | user_id and from_request_id in search requests |
| Guided search PV ratio | Bagian dari seluruh pencarian yang dipicu oleh klik hint. | Guided search PV / Search PV | from_request_id field in search requests |
| Guided search UV ratio | Bagian pengguna permintaan hint yang mengklik hint. | Guided search UV / Search UV | user_id and from_request_id in search requests |
| Guided search no result rate | Rasio pencarian berbasis hint yang tidak mengembalikan hasil. Tingkat yang tinggi dapat mengindikasikan celah dalam indeks Anda—pertimbangkan untuk menambahkan sinonim atau memperluas data Anda. | Empty-result guided searches / Guided search PV | from_request_id field in search requests |
| Guided search PV-CTR | CTR pencarian berbasis hint. Gunakan metrik ini untuk menilai kualitas pengambilan dan pengurutan. | IPV of hint-guided searches / Guided search PV | raw_query and from_request_id in search requests; data collection feature; behavioral data (user clicks) |
| Guided search has clicks on the percentage of PV | Rasio pencarian berbasis hint yang hasilnya diklik terhadap seluruh pencarian berbasis hint. | Clicked guided searches / Guided search PV | from_request_id in search requests; data collection feature; behavioral data (user click events) |
| Guided search for GMV | Gross merchandise volume (GMV) dari pembelian yang dilakukan setelah pencarian berbasis hint. | Jumlah nilai transaksi dari pencarian berbasis hint | Data collection feature; behavioral data with bhv_type = buy |
| Guided search favorite conversion rate | Rasio pencarian berbasis hint yang menghasilkan pengguna menambahkan item ke favorit. | Add-to-favorites count / Guided search PV | Data collection feature; behavioral data with bhv_type = collect |
| Guided search to the shopping cart conversion rate | Rasio pencarian berbasis hint yang menghasilkan pengguna menambahkan item ke keranjang belanja, bookshelf, atau playlist. | Add-to-cart count / Guided search PV | Data collection feature; behavioral data with bhv_type = cart |
| Guided search like conversion rate | Rasio pencarian berbasis hint yang menghasilkan pengguna menyukai item. | Like count / Guided search PV | Data collection feature; behavioral data with bhv_type = like |
| Guided search review conversion rate | Rasio pencarian berbasis hint yang menghasilkan pengguna memposting komentar. | Comment count / Guided search PV | Data collection feature; behavioral data with bhv_type = comment |