How to increase user participation

Latar belakang

Dalam kehidupan sehari-hari, sering kita jumpai banyak anak yang lebih suka bermain dengan handphone dan iPad daripada menonton TV. Alasan penting untuk fenomena ini adalah bahwa ketika anak-anak menonton TV, mereka hanya dapat secara pasif menerima konten yang diputar di TV (walaupun mereka dapat mengubah saluran yang berbeda, tetapi interaktivitasnya sangat terbatas), sedangkan ketika bermain dengan ponsel/iPad (seperti seperti bermain King of Glory), Anak dapat berinteraksi dengan ponsel/iPad dalam jumlah banyak, membuat anak merasa lebih terlibat dan lebih menarik. Dengan cara yang sama, meskipun sistem rekomendasi arus utama (seperti menebak rekomendasi produk favorit Anda) telah mencapai hasil yang baik, tidak peduli apakah itu di lingkungan akademik atau aplikasi tingkat perusahaan, interaktivitas sistem rekomendasi belum cukup dieksplorasi. . .

Secara intuitif, pengenalan interaktivitas dapat meningkatkan rasa partisipasi pengguna dalam sistem rekomendasi dan meningkatkan pengalaman pengguna di satu sisi, dan di sisi lain, juga dapat membantu sistem rekomendasi untuk lebih memahami preferensi pengguna, sehingga merekomendasikan produk yang lebih baik kepada lebih meningkatkan pengalaman pengguna. Untuk memahami bagaimana interaktivitas harus dilakukan dalam sistem rekomendasi (selanjutnya disebut rekomendasi interaktif), kami berkonsultasi dengan sejumlah besar makalah akademis Dalam makalah Q&R: Pendekatan Dua Tahap menuju Rekomendasi Interaktif [1] yang diterbitkan di KDD 2018, kami menemukan kerangka kerja yang layak, diagram skematiknya adalah sebagai berikut:

Diantaranya, ketika pengguna menelusuri item dari sistem rekomendasi (seperti menebak produk yang Anda suka), sistem akan menghasilkan pertanyaan untuk berkonsultasi dengan informasi relevan pengguna, dan sistem dapat memperoleh minat langsung pengguna sesuai dengan umpan balik pengguna , untuk merekomendasikan barang tersebut. Interaktivitas sistem rekomendasi tercermin dalam keseluruhan proses "bertanya" dan "umpan balik".

Selanjutnya, kami menganalisis setiap modul dalam kerangka kerja secara bergantian:

Model Pembuatan Pertanyaan: Masalah pertama adalah bentuk pertanyaan apa yang akan dibuat dan bagaimana cara membuatnya. Akan luar biasa bisa menghasilkan pertanyaan dalam bahasa manusia yang lengkap, seperti "Sudah mulai dingin, apakah Anda ingin membeli syal?" Namun, meskipun teknologi bahasa alami telah membuat kemajuan besar, saat ini sulit untuk menghasilkan sejumlah besar pertanyaan berkualitas tinggi sesuai dengan preferensi pengguna. Oleh karena itu, seperti yang ditunjukkan pada Gambar 2, kami mengubah "tugas pembuatan pertanyaan" menjadi "tugas rekomendasi kata kunci". Secara khusus, kami akan membuat beberapa kata kunci, seperti "syal", "jaket", "topi", dll., memasukkannya ke dalam kartu, dan merekomendasikannya kepada pengguna untuk diklik pengguna. Pertanyaan potensial yang sesuai dengan kata kunci ini adalah "Dingin, apakah Anda ingin membeli syal/jaket/topi?". Dengan demikian, kami telah mengklarifikasi bentuk pembuatan pertanyaan, yaitu rekomendasi kata kunci. Selanjutnya muncul masalah baru yaitu bagaimana mendapatkan set kandidat kata kunci yang cukup besar untuk rekomendasi kata kunci. Kami akhirnya memutuskan untuk menggunakan istilah penelusuran di log penelusuran sebagai rangkaian kandidat untuk rekomendasi kata kunci karena alasan berikut:

Istilah pencarian dalam log pencarian dimasukkan oleh pengguna, dan banyak di antaranya adalah kata-kata bermakna yang dapat mengungkapkan kebutuhan pengguna.

Jumlah kata pencarian dalam log pencarian cukup besar untuk mencakup berbagai kebutuhan, sehingga untuk pengguna yang berbeda, kata yang memenuhi kebutuhan pengguna dapat ditemukan dan direkomendasikan kepada pengguna di lingkungan yang berbeda (seperti musim yang berbeda, dll.) .

Umpan Balik Pengguna: Berikutnya adalah umpan balik pengguna. Mengambil contoh di atas sebagai contoh, jika pengguna mengklik kata kunci tertentu di syal/jaket/topi, kami menganggap bahwa pengguna menjawab "Ya, saya ingin membeli syal/jaket/topi". Jika Anda tidak memesannya, itu berarti Anda tidak ingin membelinya. Tentu saja, umpan balik pengguna juga dapat mencakup informasi lain, seperti apakah pengguna mengklik "syal/jaket" sebelum mengklik "topi", dan perilaku seperti layar geser, pembelian tambahan, dan koleksi di halaman detail setelah mengklik "syal /windbreaker", interval waktu antara pembuatan pertanyaan dan umpan balik pengguna, dll. (interval waktu yang lama menunjukkan lemahnya permintaan pengguna).

Model Rekomendasi Item: Yang terakhir adalah rekomendasi produk. Ketika pengguna mengklik kata kunci, itu berarti niat pengguna jelas, dan kata kunci tersebut langsung digunakan sebagai input untuk memanggil algoritma pencarian untuk mendapatkan daftar produk. Dapat dilihat bahwa dalam pemrosesan kami, dua langkah terakhir adalah tugas pencarian klasik, dan diagram skematiknya adalah sebagai berikut:

Ini pada dasarnya adalah proses "rekomendasikan dulu, baru cari", di mana "rekomendasi" berhubungan dengan rekomendasi kata kunci, dan "cari" berhubungan dengan mendapatkan hasil pencarian berdasarkan kata kunci yang diklik oleh pengguna. Kita tahu bahwa dibandingkan dengan tugas rekomendasi, tugas pencarian dapat menghasilkan lebih banyak transaksi karena pengguna memiliki niat yang jelas; dibandingkan dengan tugas pencarian, tugas rekomendasi memiliki biaya interaksi yang lebih rendah karena pengguna tidak perlu memasukkan kata kunci. Dan pemrosesan kami tidak mengharuskan pengguna untuk memasukkan kata kunci, tetapi juga dapat memperjelas niat pengguna untuk mengembalikan produk yang sesuai dengan niat tersebut, yang dapat dikatakan sebagai pencarian dan rekomendasi terbaik.

Karena dua langkah terakhir diubah menjadi tugas penelusuran klasik, algoritme penelusuran yang ada dapat langsung dipanggil (dengan sedikit penyesuaian untuk rekomendasi interaktif), jadi langkah pertama "rekomendasi kata kunci" adalah fokus pengoptimalan kami.

Perlu diperhatikan bahwa rekomendasi kata kunci hanyalah cara untuk menghasilkan pertanyaan. Video, panduan, dan produk tunggal juga dapat digunakan sebagai bahan pembuatan pertanyaan. Sejalan dengan itu, ada berbagai bentuk umpan balik pengguna dan rekomendasi produk. Umpan balik dapat berupa umpan balik pengguna layar gesek, suka, komentar, dan lama tinggal di halaman strategi. Rekomendasi produk juga menjadi penyortiran produk berdasarkan video, panduan, atau produk tunggal.

bentuk produk

Sebelum menjelaskan algoritme rekomendasi kata kunci, pertama-tama perkenalkan formulir produk (untuk kenyamanan deskripsi, kami menamai produk "windvane"), sehingga setiap orang dapat memiliki pemahaman intuitif. Konsep produk Wind Vane Adalah:

(1) interaktif;

(2) Berfokus pada kebutuhan, dapat dijelaskan, dan rasa tubuh yang kuat;

(3) Rasa adegan.

Berdasarkan konsep tersebut, kami merancang gameplay produk sebagai berikut: Seperti yang ditunjukkan pada Gambar 4, pengguna pertama-tama mengklik produk di halaman Tebak Anda Suka di beranda Taobao (sesuai dengan gambar pertama); setelah masuk ke halaman detail produk (sesuai dengan gambar kedua), pengguna melakukan operasi seperti menggesek layar, menambahkan pembelian, dan menambahkan ke favorit; saat pengguna kembali ke halaman Tebak Anda Suka, algoritme menentukan apakah akan menampilkan baling-baling angin, dan menghasilkan salinan baling-baling angin berbasis adegan (seperti "Nanbao memakai cara ini" di gambar ketiga), dan kata-kata mana yang muncul di adegan ini (sesuai dengan gambar ketiga); setelah pengguna mengklik sebuah kata, lompat ke kata kedua lompat halaman hasil (sesuai dengan gambar keempat).

Rencana

Kerangka teknis keseluruhan ditunjukkan pada Gambar 5. Pertama, tabel data dasar dihasilkan berdasarkan log pencarian, informasi produk, dan data peta pengetahuan; kemudian proses mengingat dan menyortir kata kunci; kami tidak hanya mempertimbangkan preferensi historis pengguna saat menyortir, tetapi juga mempertimbangkan informasi pengguna tentang detail halaman (end intelligence ), dan sesuaikan hasil penyortiran melalui modul kontrol tampilan; proses pencarian akan dipicu setelah pengguna mengklik kata kunci; akhirnya, log akan dikembalikan ke log pencarian. Garis putus-putus menunjukkan modul yang perlu dioptimalkan lebih lanjut di masa mendatang. Di bawah ini kami menjelaskan empat modul inti: Recall, Sorting, Presentation Control, dan Terminal Intelligence.

mengingat

Keseluruhan proses recall dapat dijelaskan secara seragam menggunakan model metaPath [2]. Secara khusus, seperti yang ditunjukkan pada Gambar 6, pengguna, produk, kata kunci, skenario, dan kategori semuanya dapat dianggap sebagai node heterogen dalam jaringan heterogen, dan strategi penarikan yang berbeda digunakan untuk membantu pengguna menemukan kueri yang sesuai dengan metaPath yang berbeda. masing-masing sesuai dengan tipe metaPath dan skor metaPath. Tujuannya adalah untuk menilai apakah ada hubungan antara pengguna dan kata kunci dan kekuatan hubungan berdasarkan metaPath pada jaringan heterogen, sehingga dapat merekomendasikan kata dengan hubungan terkuat kepada pengguna. Strategi mengingat yang berbeda diperkenalkan pada gilirannya di bawah ini.

u2i2q: Ide intinya adalah untuk mendapatkan secara terbalik hubungan antara produk dan kueri (i2q) berdasarkan hubungan antara kueri penelusuran dan produk pada halaman hasil pencarian (yaitu q2i), untuk membangun hubungan antara produk diklik oleh pengguna dan kueri. Prinsipnya adalah bahwa dalam log pencarian, semakin sering kueri dan produk muncul bersamaan, semakin dekat hubungannya. Dalam model metaPath, strategi penarikan berarti menemukan kueri dari metaPath kueri produk pengguna, sama seperti di bawah ini.

u2i2scene2q: Seperti yang ditunjukkan pada Gambar 7, penarikan kembali ini dibagi menjadi dua proses: i2scene (kiri) dan scene2q (kanan), di mana i2scene berarti mengklik produk akan mengaktifkan adegan yang sesuai; scene2q berarti bahwa kata kunci yang sesuai dihasilkan oleh pemandangan.

u2i2c2q: Ide utamanya adalah untuk memperkenalkan grafik pengetahuan dan menggunakan informasi kategori untuk meningkatkan daya ingat kueri.

Sekarang mode penarikan relatif tunggal, hanya kata kunci, dan entitas mode lain seperti video dan panduan akan dipanggil nanti. Selain itu, ada banyak ruang untuk menggunakan data perilaku halaman detail dan peta pengetahuan untuk meningkatkan efek mengingat.

untuk mengurutkan

Sortasi dibagi menjadi dua proses: sortasi halus dan penataan ulang. Ada dua versi proses penyempurnaan:

Versi 1: xftrl

Penelitian teoretis tentang ftrl memiliki sejarah lebih dari 10 tahun, tetapi itu adalah makalah [3] yang diterbitkan oleh Google di KDD 2013 yang sepenuhnya merekayasa model teoretis ini, membuat banyak model pembelajaran online tingkat perusahaan berdasarkan ftrl. xftrl adalah model khusus yang dikembangkan oleh platform xps berdasarkan ftrl, yang dapat menangani ratusan miliar fitur terpisah dari Taobao. Dalam percobaan offline, kami menggunakan data 4 hari pertama untuk pelatihan dan data hari berikutnya untuk pengujian xftrl memperoleh AUC 0,67 pada set pengujian.

Versi 2: Attention_GRU

(1) motivasi

Meskipun xftrl (ftrl) sangat efektif, dan ada implementasi teknik yang matang. Namun, xftrl (ftrl) memiliki kelemahan sebagai berikut:

Banyak pekerjaan telah membuktikan bahwa urutan minat dan perilaku pengguna jangka panjang dan jangka pendek [4,5] dapat membantu meningkatkan efek rekomendasi, tetapi xftrl (ftrl) hanya dapat menangkap sejumlah kecil informasi tentang urutan tersebut minat dan perilaku jangka panjang dan jangka pendek melalui rekayasa fitur.

xftrl (ftrl) pada dasarnya adalah model linier, dan interaksi fiturnya hanya dapat diselesaikan dengan menambahkan fitur interaktif dalam rekayasa fitur, yang sangat bergantung pada pemahaman dan pengalaman insinyur algoritme tentang bisnis. Umumnya, insinyur algoritma hanya mempertimbangkan fitur interaksi orde kedua saat melakukan rekayasa fitur, sehingga hubungan interaksi orde tinggi antar fitur tidak dapat ditangkap. Secara keseluruhan, menggunakan rekayasa fitur untuk menangkap interaksi fitur dapat dengan mudah mengarah pada penambahan fitur interaksi yang tidak valid atau penghilangan fitur interaksi yang penting.

Untuk tujuan ini, kami mengusulkan untuk menggunakan model Attention_GRU yang disesuaikan untuk meningkatkan efek rekomendasi kata kunci Di satu sisi, Attention_GRU telah terbukti mampu memodelkan data urutan (termasuk urutan perilaku historis) dengan baik; di sisi lain, Attention_GRU pada dasarnya Dalam model jaringan saraf, hubungan interaksi (urutan tinggi) antar fitur dapat ditangkap oleh fungsi aktivasi nonlinier di jaringan saraf. Tentu saja, kami juga dapat memasukkan beberapa fitur interaktif dengan keyakinan lebih tinggi ke dalam jaringan saraf, jadi bahwa fitur Interaksi bagian ini dimodelkan secara eksplisit. Model Attention_GRU yang disesuaikan terutama didasarkan pada dua makalah yang saya terbitkan di IJCAI 2017 dan IJCAI 2018 [4,5].

(2) Kerangka model

Model dibagi menjadi empat fitur, yaitu fitur non-real-time sisi pengguna, fitur waktu-nyata sisi pengguna, fitur sisi kueri, dan fitur lainnya. Setelah mendapatkan 4 bagian fitur, gabungkan, masukkan ke dalam jaringan saraf 3 lapis, lalu hitung kerugian berdasarkan keluaran dan label jaringan saraf.

(3) Perhatian_GRU

Diantaranya, Menghadiri dan Menghasilkan adalah fungsi. adalah vektor yang elemennya mewakili bobot perhatian untuk input ke-j. Dikenal sebagai sekilas. Recurrency mewakili fungsi aktivasi sirkular Di Attention_GRU, fungsi aktivasi sirkular adalah GRU.

Dalam implementasi GRU kami, x pada persamaan di atas sesuai dengan i pada Gambar 8.

Kami melakukan serangkaian eksperimen di Attention_GRU. Eksperimen pertama hanya menggunakan fitur kategori di sisi kueri (kami tidak menggunakan id kueri karena id kueri terlalu jarang, jadi kami menggunakan kategori dengan perincian yang lebih besar) untuk rekomendasi , dengan AUC sebesar 0,5685 , lebih tinggi dari 0,5, menunjukkan bahwa (kategori) popularitas kata kunci itu sendiri berguna untuk rekomendasi kata kunci. Setelah menambahkan karakteristik kategori produk dalam urutan perilaku historis pengguna (alasan penggunaan kategori produk dan bukan id produk sama seperti di atas), AUC meningkat menjadi 0,6037, menunjukkan bahwa produk historis (kategori) dan informasi urutan berguna. Atas dasar ini, kami menambahkan fitur teks dari judul dan kata kunci produk, dan AUC dinaikkan menjadi 0,6203, yang menunjukkan bahwa penggunaan informasi teks dapat lebih meningkatkan efek rekomendasi kata kunci. Terakhir, kami menambahkan semua fitur pada Gambar 8, dan AUC mencapai 0,6830, melampaui metode benchmark xftrl. Tabel 1 adalah hasil percobaan kami.

Tabel 1 xftrl, Attention_GRU, efek eksperimental offline dari Attention_GRU yang ditingkatkan.

(4) Perbaikan untuk Attention_GRU

Untuk lebih meningkatkan efek rekomendasi kata kunci, kami telah membuat beberapa perbaikan asli pada mekanisme Perhatian di Attention_GRU. Motivasi utamanya adalah sebagai berikut:

Semakin lama perilaku historis pengguna terjadi, semakin kecil pengaruhnya terhadap rekomendasi kata kunci, dan bobot Attention yang sesuai akan semakin kecil. Yaitu, peluruhan waktu dari bobot Perhatian.

Jenis perilaku yang berbeda memiliki pengaruh yang berbeda pada rekomendasi kata kunci. Misalnya, perilaku pembelian memiliki pengaruh yang lebih kuat daripada perilaku klik, dan bobot Perhatian yang sesuai juga berbeda. Artinya, intervensi tipe perilaku dari Attention weight.

adalah matriks dimensi d x d. Interval waktu mewakili perbedaan waktu antara kejadian perilaku historis dan rekomendasi kata kunci, dan Time_decay adalah fungsi yang menurun secara monoton. Seperti yang ditunjukkan pada Tabel 1, setelah meningkatkan Attention_GRU, AUC mencapai 0,6999. Selain itu, kami mengubah data odps menjadi format tfrecord sebagai input model, dan kecepatan pelatihan dipercepat sebesar 40%.

(5) Beberapa pemikiran

xftrl berisi fitur yang tidak ada di Attention_GRU, dan urutan serta kepentingan jangka panjang dan jangka pendek dari pemodelan Attention_GRU tidak dimodelkan secara efektif oleh xftrl, sehingga kedua model saling melengkapi. Setelah itu, kedua model tersebut dapat digabungkan untuk lebih meningkatkan efeknya.

Masih banyak ruang untuk perbaikan dalam proses penyortiran halus, misalnya cara mengurutkan entitas multimodal seperti kata kunci, video, dan panduan; fitur waktu nyata seperti perilaku pengguna pada halaman detail sangat penting untuk rekomendasi kata kunci, bagaimana untuk mengurutkan pemodelan Fitur ini dengan lebih baik; cara efektif menggunakan data peta pengetahuan untuk lebih meningkatkan efek model.

Proses penataan ulang relatif sederhana, terutama untuk menghasilkan kata kunci yang lebih beragam berdasarkan memastikan efek peringkat.

menunjukkan kontrol

Kontrol presentasi dibagi menjadi 2 bagian: (1) kontrol posisi, waktu, niat, dll.; (2) sceneisasi dan intervensi industri.

Kontrol posisi, waktu, niat, dll .: kontrol posisi dan waktu terutama untuk mencegah beberapa kasus buruk muncul. Kontrol niat berarti menggunakan model untuk mengidentifikasi niat pengguna untuk memutuskan apakah akan menampilkan baling-baling angin.

Adegan dan intervensi industri: Kata-kata yang dihasilkan oleh penyortiran lebih baik dalam hal fokus permintaan, tetapi rasa adegan dan divergensi tidak cukup.Oleh karena itu, model digunakan untuk membuat 4 kata yang dihasilkan lebih masuk akal, dan menghasilkan adegan yang sesuai copywriting (Misalnya, "Nanbao memakai cara ini" pada Gambar 4). Selain itu, kami juga memperkenalkan intervensi industri pada Double Eleven dan Black Friday. Di satu sisi, kami memperkenalkan pengetahuan industri untuk meningkatkan efek baling-baling angin, dan di sisi lain, kami dapat melengkapi beberapa indikator industri untuk mencapai hasil yang menguntungkan. efek menang.

kecerdasan terminal

Pengguna memiliki banyak informasi perilaku di halaman detail produk, termasuk pembelian tambahan, favorit, dan lama tinggal, dll. Informasi ini sangat penting untuk menangkap minat langsung pengguna. Setelah memperkenalkan informasi cerdas terminal ke dalam model, efek rekomendasi kata kunci telah ditingkatkan secara signifikan.

Tentu saja, masih banyak ruang untuk perbaikan dalam modul ini:

Banyak informasi cerdas terminal, termasuk jalur geser, melihat pengenalan bayi, melihat komentar pembeli, dll. Belum dimodelkan dalam model kami, dan pengenalan sinyal yang lebih berguna akan meningkatkan efek rekomendasi;

Perilaku pengguna pada halaman detail juga merupakan urutan, dan menggunakan model Attention_GRU untuk memodelkan urutan perilaku halaman detail akan lebih meningkatkan efek rekomendasi;

Proses penarikan, penyempurnaan, penataan ulang, dan kontrol tampilan saat ini semuanya diselesaikan di sisi server, tetapi sebenarnya setiap terminal dapat menyimpan modelnya sendiri, sehingga proses yang disebutkan di atas dapat dipindahkan ke terminal untuk mencapai waktu nyata pembaharuan model. Di bawah kerangka sisi server, satu model melayani semua pengguna, dan di bawah kerangka kecerdasan akhir, setiap orang memiliki model yang dipersonalisasi sendiri.

ganda sebelas

Wind Vane mencapai hasil yang sangat baik di Double Eleven, dengan semua indikator bisnis melebihi ekspektasi. Sesuai dengan kebutuhan konvergensi dan penemuan pengguna, kami menerapkan strategi kontrol yang sesuai pada waktu yang berbeda di Double Eleven: di babak pertama, pengguna memiliki niat belanja yang jelas, dan berfokus pada mendorong kueri konvergen; selama periode lemah, kebutuhan penemuan lebih kuat, dan kueri berbasis skenario terutama didorong; di malam hari Panen gelombang kebutuhan belanja lainnya dan tingkatkan jumlah kueri konvergen.

Ringkasan dan Outlook

Rekomendasi interaktif adalah arah yang lebih menjanjikan. Di beranda, kami rasa Anda menyukai upaya inovatif dari rekomendasi interaktif: baling-baling angin. Melalui upaya semua orang, Vane telah mencapai hasil tertentu di Double Eleven 2018.

Namun, masih banyak ruang untuk perbaikan, termasuk:

Data halaman detail yang digunakan saat ini masih relatif terbatas, termasuk pembelian tambahan, koleksi, dan lama menginap. Selanjutnya, kami akan mendapatkan lebih banyak data di halaman detail, termasuk tombol mana yang diklik di halaman detail, bagian mana yang dilihat, jalur gesek dan kecepatan, dll., dan selanjutnya mengoptimalkan model untuk memodelkan data halaman detail ini dengan lebih baik. .

Logika penarikan kueri berbasis skenario masih relatif sederhana. Selanjutnya, kami akan memperkenalkan informasi grafik pengetahuan untuk meningkatkan ingatan dan efek penyempurnaan kueri berbasis adegan.

Sistem fitur dan fungsi tujuan perlu ditingkatkan. Sistem fitur saat ini terutama mencakup fitur sisi pengguna dan fitur sisi kueri, tetapi tidak memanfaatkan sepenuhnya informasi item pemicu. Selain itu, fungsi tujuan saat ini terutama mempertimbangkan rasio klik-tayang dari lompatan pertama, tetapi ipv dan jumlah transaksi dari lompatan kedua jelas lebih penting, jadi cara memasukkan indikator lompatan kedua ke dalam fungsi tujuan juga merupakan pengoptimalan titik.

Sekarang halaman lompatan kedua adalah antarmuka untuk memanggil pencarian. Namun, antarmuka pencarian terutama mempertimbangkan relevansi halaman hasil lompatan kedua dengan kata kunci dan personalisasi pengguna, dan tidak memperhitungkan item pemicu lompatan pertama. Oleh karena itu, meningkatkan algoritma two-hop atau mendesain ulang algoritma two-hop baru juga merupakan poin yang harus dioptimalkan.