Platform For AI:Menyesuaikan algoritma rekomendasi PAI-Rec

Prasyarat

Sebelum memulai, lengkapi langkah-langkah berikut:

• Aktifkan PAI. Untuk detailnya, lihat Aktifkan PAI dan buat ruang kerja default.

• Buat Virtual Private Cloud (VPC) dan vSwitch. Untuk detailnya, lihat Buat VPC dengan Blok CIDR IPv4.

• Aktifkan PAI-FeatureStore. Untuk detailnya, lihat bagian Prasyarat di Buat sumber data. Aktivasi Hologres tidak diperlukan. Untuk sumber data, pilih FeatureDB. Untuk detailnya, lihat Buat sumber data online: FeatureDB.

• Aktifkan MaxCompute dan buat proyek MaxCompute bernama project_mc. Untuk detailnya, lihat Aktifkan MaxCompute dan Buat proyek MaxCompute.

• Buat bucket Object Storage Service (OSS). Untuk detailnya, lihat Buat bucket.

• Aktifkan DataWorks:

  • Buat ruang kerja DataWorks. Untuk detailnya, lihat Buat ruang kerja.

  • Beli kelompok sumber daya Serverless untuk DataWorks. Untuk detailnya, lihat Gunakan kelompok sumber daya Serverless. Kelompok sumber daya ini menyinkronkan data untuk PAI-FeatureStore dan menjalankan perintah eascmd guna membuat serta memperbarui layanan PAI-EAS.

  • Konfigurasi sumber data DataWorks:

    • Buat dan bind sumber data OSS. Untuk detailnya, lihat Manajemen Sumber Data.

    • Buat dan bind sumber data MaxCompute. Untuk detailnya, lihat Bind mesin komputasi MaxCompute.

• Buat proyek FeatureStore dan entitas fitur. Lewati langkah ini jika Anda menggunakan kelompok sumber daya Serverless. Jika Anda menggunakan kelompok sumber daya khusus untuk DataWorks, Anda harus menginstal SDK Python FeatureStore pada kelompok sumber daya tersebut. Untuk detailnya, lihat Langkah 2: Buat dan daftarkan FeatureStore dan Instal SDK Python FeatureStore.

• Aktifkan Realtime Compute for Apache Flink. Untuk detailnya, lihat Aktifkan Realtime Compute for Apache Flink. Catatan: Atur tipe penyimpanan ke bucket OSS, bukan Fully Managed Storage. Pastikan bucket OSS untuk Flink sama dengan yang dikonfigurasi di PAI-Rec. Flink mencatat data perilaku pengguna real-time dan menghitung fitur pengguna real-time.

• Jika nanti Anda memilih menggunakan EasyRec (framework TensorFlow), pelatihan berjalan secara default di MaxCompute.

• Jika nanti Anda memilih menggunakan TorchEasyRec (framework PyTorch), pelatihan berjalan secara default di PAI-DLC. Untuk mengunduh data MaxCompute di PAI-DLC, Anda harus mengaktifkan Layanan Transmisi Data (lihat Beli dan gunakan kelompok sumber daya khusus untuk Layanan Transmisi Data).

1. Buat instans PAI-Rec

1. Login ke halaman utama PAI-Rec dan klik Buy Now.

2. Pada halaman pembelian instans PAI-Rec, konfigurasikan parameter berikut dan klik Buy Now.

   Parameter	Deskripsi
   Region and availability zone	Wilayah tempat layanan Anda diterapkan.
   Service Type	Untuk solusi ini, pilih Standard Edition dan aktifkan fitur Recommendation Solution Customization.

3. Login ke Konsol PAI-Rec. Di pojok kiri atas bilah menu atas, pilih wilayah.

4. Di panel navigasi kiri, pilih Instance list. Klik nama instans untuk membuka halaman detail instans.

5. Di bagian Procedure, klik Cloud Service Configuration. Hal ini akan membawa Anda ke halaman System Configuration > Cloud Service Configuration. Klik Edit, konfigurasikan parameter berikut, lalu klik Exit.

   Konfigurasi sumber daya

   Parameter	Deskripsi
   Modeling
   Machine Learning Platform for AI Workspace	Masukkan ruang kerja PAI default Anda.
   DataWorks Workspace	Masukkan ruang kerja DataWorks yang dihasilkan secara otomatis.
   MaxCompute Workspace	Masukkan proyek MaxCompute Anda.
   OSS Bucket	Pilih bucket OSS Anda.
   Engine
   Real-time Recall Engine	Untuk Whether to use PAI-FeatureStore, pilih Yes.
   Real-time Feature Query	Untuk Whether to use PAI-FeatureStore, pilih Yes.

6. Di panel navigasi kiri, pilih System Configuration > Permissions. Di tab Services, verifikasi bahwa setiap produk cloud telah diberi otorisasi dengan benar.

2. Klon dataset publik

1. Sinkronisasi tabel

Solusi ini menerima data masukan dengan dua cara:

1. Klon data untuk jendela waktu tetap dari proyek pai_online_project. Metode ini tidak mendukung penjadwalan rutin.

2. Gunakan skrip Python untuk menghasilkan data. Anda dapat menjalankan tugas di DataWorks untuk menghasilkan data ini untuk periode tertentu.

Untuk menjadwalkan pembuatan data harian dan pelatihan model, gunakan metode kedua. Terapkan kode Python yang ditentukan untuk menghasilkan data. Untuk informasi lebih lanjut, lihat tab Generate data using code.

CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_v1(
 user_id BIGINT COMMENT 'Unique user ID',
 gender STRING COMMENT 'Gender',
 age BIGINT COMMENT 'Age',
 city STRING COMMENT 'City',
 item_cnt BIGINT COMMENT 'Number of created items',
 follow_cnt BIGINT COMMENT 'Number of follows',
 follower_cnt BIGINT COMMENT 'Number of followers',
 register_time BIGINT COMMENT 'Registration time',
 tags STRING COMMENT 'User tags'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_user_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_user_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_item_table_v1(
 item_id BIGINT COMMENT 'Item ID',
 duration DOUBLE COMMENT 'Video duration',
 title STRING COMMENT 'Title',
 category STRING COMMENT 'Primary tag',
 author BIGINT COMMENT 'Author',
 click_count BIGINT COMMENT 'Total clicks',
 praise_count BIGINT COMMENT 'Total likes',
 pub_time BIGINT COMMENT 'Publication time'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_item_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_item_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_behavior_table_v1(
 request_id STRING COMMENT 'Instrumentation ID/Request ID',
 user_id STRING COMMENT 'Unique user ID',
 exp_id STRING COMMENT 'Experiment ID',
 page STRING COMMENT 'Page',
 net_type STRING COMMENT 'Network type',
 event_time BIGINT COMMENT 'Behavior time',
 item_id STRING COMMENT 'Item ID',
 event STRING COMMENT 'Behavior type',
 playtime DOUBLE COMMENT 'Playback/Read duration'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_behavior_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_behavior_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";

2. Konfigurasi node dependensi

Untuk memastikan generasi dan penerapan kode berjalan lancar, tambahkan tiga node kode SQL ke proyek DataWorks Anda. Atur dependensi penjadwalan node-node ini ke node root ruang kerja. Terakhir, publikasikan node-node tersebut. Prosedurnya sebagai berikut:

1. Arahkan kursor ke Create dan pilih Create Node > General-purpose > Virtual Node. Buat tiga node virtual dengan konfigurasi sumber daya berikut, dan klik Confirm.

   Konfigurasi sumber daya

   Parameter	Deskripsi	Contoh
   Node type	Pilih tipe node.	Virtual Node
   Path	Jalur penyimpanan untuk node.	Workflow/Workflow/General
   Name	Nama unik untuk node.	rec_sln_demo_user_table_v1 rec_sln_demo_item_table_v1 rec_sln_demo_behavior_table_v1

2. Untuk setiap node virtual, atur isinya ke select 1;. Lalu, klik Configure Scheduling di sebelah kanan dan konfigurasikan pengaturan berikut:

   • Di bagian Time property, atur Rerun property ke Rerun When Succeeded Or Failed.

   • Di bagian Scheduling dependencies > Upstream dependencies, masukkan nama ruang kerja DataWorks Anda, pilih node dengan akhiran _root, lalu klik Add.

     Terapkan pengaturan ini ke ketiga node virtual.

3. Klik ikon di sebelah setiap node virtual untuk mengirimnya.

3. Daftarkan data

Untuk mengonfigurasi rekayasa fitur, recall, dan algoritma sorting dalam solusi rekomendasi kustom, Anda harus terlebih dahulu mendaftarkan ketiga tabel yang telah disinkronkan ke proyek DataWorks Anda. Prosedurnya sebagai berikut:

1. Login ke Konsol PAI-Rec. Di bilah menu atas, pilih wilayah.

2. Di panel navigasi kiri, pilih Instance List. Klik nama instans untuk membuka halaman detail instans.

3. Di panel navigasi kiri, pilih Recommendation Solution Customization > Data Registration. Di tab MaxCompute Table, klik Create Data Table. Tambahkan satu tabel user, satu tabel item, dan satu tabel behavior seperti yang dijelaskan dalam tabel berikut, lalu klik Import.

   Parameter	Deskripsi	Contoh
   Proyek MaxCompute	Pilih proyek MaxCompute Anda.	project_mc
   Tabel MaxCompute	Pilih tabel data yang telah disinkronkan ke ruang kerja DataWorks Anda.	tabel user: rec_sln_demo_user_table_v1 tabel item: rec_sln_demo_item_table_v1 tabel behavior: rec_sln_demo_behavior_table_v1
   nama tabel data	Masukkan nama kustom.	tabel user tabel item tabel behavior

4. Buat skenario rekomendasi

Sebelum Anda dapat mengonfigurasi tugas rekomendasi, Anda harus terlebih dahulu membuat skenario rekomendasi. Untuk penjelasan tentang skenario rekomendasi dan ID trafik, lihat Konsep Dasar.

Di panel navigasi kiri, klik Recommendation Scenario. Klik Create Scenario, konfigurasikan skenario baru sesuai tabel berikut, lalu klik Determine.

5. Konfigurasi solusi algoritma

Untuk mengonfigurasi sepenuhnya skenario dunia nyata, gunakan konfigurasi recall dan peringkat detail halus berikut:

• global hot recall: Memilih item top-k paling populer dari data log.

• global hot fallback recall: Menggunakan Redis sebagai fallback untuk mencegah respons kosong dari API rekomendasi.

• grouped hot recall: Melakukan recall item berdasarkan grup (misalnya, kota, jenis kelamin) untuk memberikan rekomendasi item populer yang lebih akurat.

• etrec u2i recall: Menggunakan algoritma filtering kolaboratif etrec.

• Swing u2i recall (opsional): Menggunakan algoritma Swing.

• cold-start recall (opsional): Menangani skenario cold-start menggunakan algoritma DropoutNet.

• fine-grained ranking: Menggunakan MultiTower untuk peringkat tujuan tunggal dan DBMTL untuk peringkat multi-tujuan.

Anda sebaiknya hanya mengaktifkan algoritma seperti vector recall atau PDN recall setelah recall awal mencakup sebagian besar kandidat Anda. Vector recall memerlukan mesin vector recall. FeatureDB tidak mendukung vector recall, sehingga contoh ini tidak mengonfigurasinya.

Artikel ini menunjukkan contoh konfigurasi dan penerapan. Untuk menyederhanakan proses, contoh ini hanya menggunakan global hot recall dan strategi u2i recall dari RECommender (eTREC, implementasi filtering kolaboratif) untuk konfigurasi recall, dan fine-grained ranking untuk konfigurasi peringkat. Langkah-langkahnya sebagai berikut:

1. Di panel navigasi kiri, pilih Recommendation Solution Customization > Solution Configurations. Pilih skenario yang telah Anda buat, klik Create Recommendation Solution, berikan konfigurasi sumber daya berikut, lalu klik Save and Go to Algorithm Solution Configuration.

   Pertahankan nilai default untuk parameter yang tidak ditentukan. Untuk informasi lebih lanjut, lihat Konfigurasi tabel data.

   Konfigurasi sumber daya

   Parameter	Deskripsi
   Solution Name	Masukkan nama kustom.
   Scenario Name	Pilih skenario rekomendasi yang telah Anda buat.
   Offline Data Source	Pilih proyek MaxCompute yang terkait dengan skenario rekomendasi.
   DataWorks Workspace	Pilih ruang kerja DataWorks yang terkait dengan skenario rekomendasi.
   Workflow Name	Nama alur kerja yang dibuat DataWorks saat Anda menerapkan skrip solusi. Anda dapat memasukkan nama kustom, seperti Flow.
   Konfigurasi StorageAPI	Untuk wilayah di Tiongkok daratan, seperti Beijing dan Shanghai, Anda dapat memilih "StorageAPI", yaitu Layanan Transmisi Data bayar sesuai penggunaan. Untuk wilayah luar Tiongkok daratan, seperti Tiongkok (Hong Kong), Singapura, dan Frankfurt, Anda harus terlebih dahulu membeli dan menggunakan kelompok sumber daya khusus untuk Layanan Transmisi Data. Jika opsi bayar sesuai penggunaan tidak tersedia, Anda harus membeli langganan untuk Layanan Transmisi Data. Kemudian, refresh halaman dan pilih nama langganan Layanan Transmisi Data Anda. Tambahkan parameter ke tugas pelatihan PAI-DLC TorchEasyRec di DataWorks, misalnya: -odps_data_quota_name ot_xxxx_p#ot_yyyy.
   slim_mode	Jika edisi DataWorks yang Anda beli memiliki batas ukuran pada paket kode yang diimpor oleh Migration Assistant, Anda dapat menggunakan fitur ini dan mengunggah secara manual paket kode yang melebihi batas ukuran. Untuk solusi ini, pilih No.
   OSS Bucket	Pilih Bucket OSS yang terkait dengan skenario rekomendasi.
   Project	Pilih proyek FeatureStore yang telah Anda buat. Untuk sumber data online, pilih FeatureDB.
   User Entity	Pilih entitas pengguna untuk proyek FeatureStore, yang bernama 'user'.
   Item Entity	Pilih entitas item untuk proyek FeatureStore, yang bernama 'item'.

2. Di node Configure Table, klik Add di sebelah tabel data target. Konfigurasikan partisi, event, fitur, dan timestamp untuk tabel log behavior, tabel user, dan tabel item seperti yang dijelaskan di bagian berikut. Klik Next.

   Anda dapat mempertahankan nilai default untuk parameter yang tidak dijelaskan. Untuk informasi lebih lanjut, lihat Konfigurasi Tabel Data.

   Tabel log perilaku

   Konfigurasikan pengaturan tabel log behavior agar sesuai dengan data Anda. Dalam contoh ini, log behavior berisi informasi inti seperti ID permintaan, ID pengguna, halaman perilaku, timestamp perilaku, dan kategori perilaku. Jika tabel Anda memiliki dimensi data yang lebih kaya, klasifikasikan berdasarkan pengguna dan item untuk menyederhanakan rekayasa fitur.

   Parameter	Deskripsi	Contoh
   Behavior Table Name	Pilih tabel behavior yang telah didaftarkan.	rec_sln_demo_behavior_table_v1
   Time Partition	Bidang partisi tabel behavior.	ds yyyymmdd
   Informasi perilaku
   Request ID	ID yang mengidentifikasi setiap permintaan rekomendasi dalam log. Biasanya UUID yang dihasilkan oleh aplikasi. Bidang ini opsional.	request_id
   Behavior Event	Bidang dalam log yang mencatat event perilaku.	event
   Behavior Event Enumeration Values	Nilai enumerasi untuk event perilaku, seperti impression, click, add-to-cart, atau purchase.	expr, click, praise
   Behavior Value	Nilai yang menunjukkan kedalaman perilaku, seperti harga transaksi atau durasi menonton.	playtime
   Behavior Timestamp	Waktu event, sebagai Unix timestamp dalam detik.	event_time
   Timestamp Format	Menentukan format timestamp perilaku.	unixtime
   Behavior Scenario	Bidang yang menentukan skenario event, seperti halaman utama, halaman pencarian, atau halaman detail produk.	page
   Scenario Enumeration Values	Skenario yang digunakan untuk pemrosesan data. Ini memungkinkan rekayasa fitur khusus skenario.	home, detail
   Informasi pengguna
   User ID	Bidang ID pengguna dalam tabel behavior.	user_id
   User Categorical Features	Fitur kategorikal pengguna dari tabel behavior, seperti jenis jaringan, platform operasi, atau jenis kelamin.	net_type
   Informasi item
   Item ID	Bidang ID item dalam tabel behavior.	item_id

   Tabel pengguna

   Parameter	Deskripsi	Contoh
   User Table Name	Pilih tabel user yang telah didaftarkan.	rec_sln_demo_user_table_v1
   Time Partition	Bidang partisi waktu tabel user.	ds yyyymmdd
   Informasi pengguna
   User ID	Bidang ID pengguna dalam tabel user.	user_id
   Registration Timestamp	Waktu pengguna mendaftar.	register_time
   Timestamp Format	Menentukan format timestamp registrasi.	unixtime
   Categorical Features	Bidang kategorikal dari tabel user, seperti jenis kelamin, kelompok usia, atau kota.	gender, city
   Numerical Features	Bidang numerik dari tabel user, seperti jumlah item yang dibuat atau poin.	age, item_cnt, follow_cnt, follower_cnt
   Tag Feature	Nama bidang untuk fitur tag.	tags

   Tabel item

   Parameter	Deskripsi	Contoh
   Item Table Name	Pilih tabel item yang telah didaftarkan.	rec_sln_demo_item_table_v1
   Time Partition	Bidang partisi waktu tabel item.	ds yyyymmdd
   Informasi item
   Item ID	Bidang ID item dalam tabel item.	item_id
   Author ID	Penulis item.	author
   Listing Timestamp	Bidang untuk timestamp listing item.	pub_time
   Timestamp Format	Menentukan format timestamp listing.	unixtime
   Categorical Features	Bidang kategorikal dari tabel item, seperti kategori.	category
   Numerical Features	Bidang numerik dari tabel item, seperti harga, total penjualan, atau jumlah suka.	click_count, praise_count

3. Di node Configure Feature, konfigurasikan parameter seperti yang dijelaskan dalam tabel berikut, klik Generate Feature, atur versi fitur, lalu klik Next.

   Setelah Anda mengklik Generate Feature, sistem menurunkan berbagai fitur statistik untuk pengguna dan item. Solusi ini menggunakan fitur turunan default, tetapi Anda dapat mengeditnya berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Konfigurasi Fitur.

   Konfigurasi sumber daya

   Parameter	Deskripsi	Contoh
   Statistical Period	Gunakan parameter ini untuk generasi fitur batch. Untuk menghindari menghasilkan terlalu banyak fitur, atur periode statistik menjadi 3, 7, dan 15 hari. Pengaturan ini menghitung statistik untuk pengguna dan item selama periode yang ditentukan. Jika Anda memiliki sangat sedikit event perilaku pengguna, coba 21 hari.	3,7,15
   Behavior	Pilih event perilaku yang telah dikonfigurasi. Urutan yang direkomendasikan adalah expr (impression), click, dan praise.	expr, click, praise

4. Di node Retrieval Configuration, klik Add di sebelah kategori target, konfigurasikan parameter, klik Confirm, lalu klik Next.

   Bagian ini menjelaskan beberapa metode konfigurasi recall. Untuk memulai dengan cepat, Anda hanya perlu mengonfigurasi global hot recall dan etrec u2i recall. Metode lainnya disediakan sebagai referensi.

   Konfigurasi sumber daya

   Global hot recall

   Global hot recall menghasilkan peringkat item populer berdasarkan statistik event klik, di mana top_n mewakili jumlah item dalam peringkat. Untuk memodifikasi formula skor popularitas atau mengakses event, hasilkan kode terkait dan terapkan ke DataWorks.

   Formula skornya adalah click_uv*click_uv/(expr+adj_factor)*exp(-item_publish_days/fresh_decay_denom), di mana:

   • click_uv: Untuk tingkat klik (CTR) yang sama, jumlah klik yang lebih tinggi menunjukkan popularitas yang lebih besar.

   • click_uv/(expr+adj_factor): CTR yang telah dihaluskan, di mana click_uv adalah jumlah pengguna unik yang mengklik dan expr adalah jumlah impression. Faktor penyesuaian adj_factor ditambahkan untuk mencegah penyebut menjadi nol dan menyesuaikan CTR ketika jumlah impression rendah. Ketika impression sedikit, CTR mendekati 1. Menambahkan adj_factor menjauhkan CTR dari 1, sehingga lebih mendekati CTR sebenarnya.

   • exp(-item_publish_days/fresh_decay_denom): Istilah ini memberikan penalti pada item yang lebih lama. item_publish_days adalah jumlah hari sejak item dipublikasikan.

   Di editor konfigurasi, atur parameter seperti Recall Model Name (misalnya, global_hot), recall time window (misalnya, 15 hari), recall count (misalnya, 500), Exposure Behavior Event, Click Behavior Event, saklar Hot Score Formula, recall engine (misalnya, FeatureStore), dan Version.

   Etrec u2i recall

   etrec adalah algoritma filtering kolaboratif berbasis item. Untuk detailnya, lihat Collaborative filtering etrec.

   Di kotak dialog Edit Configuration, atur Recall Model Name (misalnya, etrec) dan recall engine (misalnya, Hologres). Di bagian U2I Behavior Weight, Anda dapat menambahkan event dan bobot yang sesuai, seperti bobot 0 untuk expr, 1 untuk click, dan 3 untuk praise.

   Parameter	Deskripsi
   Training days	Jumlah hari log perilaku yang digunakan untuk pelatihan. Defaultnya adalah 30. Anda dapat menyesuaikan nilai ini berdasarkan volume log.
   Recall count	Jumlah rekomendasi user-to-item yang dihasilkan secara offline.
   U2I trigger	Item yang telah mendapatkan interaksi dari pengguna (misalnya, melalui klik, penambahan ke favorit, atau pembelian). Item ini biasanya tidak mencakup item yang hanya dilihat oleh pengguna (impression).
   Behavior time window	Jumlah hari data perilaku yang dikumpulkan. Defaultnya adalah 15, yang mencakup data dari 15 hari terbaru.
   Behavior time attenuation coefficient	Nilai antara 0 dan 1. Nilai yang lebih besar menunjukkan bahwa perilaku masa lalu meluruh lebih cepat dan karenanya memiliki bobot yang lebih kecil dalam membangun trigger_item.
   Trigger selection count	Jumlah ID item per pengguna yang digunakan untuk Produk Kartesius dengan data I2I yang dihasilkan oleh etrec. Nilai antara 10 dan 50 direkomendasikan. Nilai yang besar dapat menghasilkan jumlah kandidat recall yang berlebihan.
   U2i behavior weight	Untuk event exposure, jangan atur bobot atau atur bobotnya ke 0. Kami menyarankan untuk tidak mengatur event exposure, sehingga melewati data exposure pengguna.
   I2I model settings	Pengaturan parameter etrec. Untuk detailnya, lihat Collaborative filtering etrec. Kami menyarankan untuk tidak mengatur nilai tinggi untuk jumlah item terkait. Setelah mengaktifkan model I2I, konfigurasikan parameter berikut: atur similarity calculation strategy (sim_type) ke wbcosine (opsi: asymcosine, jaccard); atur related item selection count (top_n) ke 500; atur maximum behaviors per user (max_bhv) ke 500; atur minimum behaviors per user (min_bhv) ke 2; atur calculation strategy (operator) ke add (opsi: mul, min, max); atur similarity calculation weight coefficient (weight) ke 1; dan atur decay coefficient (alpha) ke 0.5. Setelah menyelesaikan konfigurasi, klik Confirm.

   Grouped hot recall

   Anda dapat mengatur peringkat berdasarkan atribut seperti kota dan jenis kelamin untuk memberikan recall personalisasi awal. Dalam contoh berikut, kombinasi jenis kelamin dan ID bucket fitur numerik digunakan untuk pengelompokan.

   Di halaman Edit Configuration, atur recall type ke grouped hot recall, Recall Model Name ke group_hot, recall time window ke 15, dan recall count ke 500. Atur exposure behavior event ke expr dan click behavior event ke click. Aktifkan saklar Hot Score Formula Settings, lalu atur hot score exponent adjustment factor ke 100, hot score freshness decay ke true, dan hot score freshness decay factor ke 180. Di bagian User Group Trigger, klik Add untuk menambahkan fitur: gender (tanpa batas bucket) dan follow_cnt (dengan batas bucket 1,5,10,20). Di bagian Behavior Group Trigger, tambahkan fitur net_type (tanpa batas bucket). Atur recall engine ke Hologres dan Version ke 1, lalu klik Confirm.

   Swing u2i recall

   Swing adalah metode untuk menghitung relevansi item yang mengukur kemiripan item berdasarkan pola User-Item-User. Di kotak dialog Edit Configuration, konfigurasikan parameter berikut: atur recall type ke swing u2i recall, Recall Model Name ke swing, training days ke 30, dan recall count ke 500. Atur recall engine ke Hologres, nonaktifkan U2I trigger, atur behavior time window ke 15, decay coefficient ke 0.2, dan trigger selection count ke 10. Di bagian U2I Behavior Weight, klik Add untuk menambahkan bobot perilaku: atur bobot untuk expr ke 0, click ke 1, dan praise ke 3.

   Parameter untuk model Swing I2I meliputi: related item selection count (top_n, contoh: 500), maximum clicks per user (max_click_per_user, contoh: 600), maximum users per item (max_user_per_item, contoh: 700), maximum time span (max_time_span, contoh: 1), adjustment coefficients (alpha1=5, alpha2=1, beta=0.3), item weight calculation method (norm_method, opsi: COUNT), dan Version (version). Setelah selesai, klik Confirm.

   Vector recall

   Dua metode vector recall disediakan, DSSM dan MIND. Untuk informasi lebih lanjut, lihat berikut ini:

   • Nama Target Recall: Biasanya menunjukkan apakah item diklik. Atur ini ke is_click.

   • Pemilihan Target Recall: Atur ke max(if(event='click', 1, 0)).

     Anda dapat merujuk pada kode berikut:

     select max(if(event='click',1,0)) is_click ,...
     from ${behavior_table}
     where between dt=${bizdate_start} and dt=${bizdate_end}
     group by req_id,user_id,item

     Di mana:

     • ${behavior_table}: Tabel perilaku.

     • ${bizdate_start}: Tanggal mulai jendela waktu perilaku.

     • event: Bidang event di tabel ${behavior_table}. Pilih nilai berdasarkan skema spesifik Anda.

     • is_click: Nama target.

     Formula untuk perhitungan dimensi adalah sebagai berikut:

     EMB_SQRT4_STEP8: (8 + Pow(count, 0.25)) / 8) * 8
     EMB_SQRT4_STEP4: (4 + Pow(count, 0.25)) / 4) * 4
     EMB_LN_STEP8:    (8 + Log(count + 1)) / 8) * 8
     EMB_LN_STEP4:    (4 + Log(count + 1)) / 4) * 4

     Di sini, count adalah jumlah nilai enumerasi fitur. Gunakan fungsi Log ketika fitur memiliki jumlah nilai unik yang besar.

   Di panel Edit Configuration, atur Recall Model Name ke dssm dan Model Type ke dssm. Nonaktifkan strategi negative sampling. Aktifkan pengaturan target recall dan atur tipe target ke CLASSIFICATION. Atur training days ke 30 dan strategi embed_dim ke EMB_SQRT4_STEP4. Atur recall engine ke Hologres. Untuk pelatihan inkremental, pilih true dan atur hari pelatihan inkremental ke 1. Untuk Pelatihan Asinkron dan mode inferensi online, pilih false. Atur jumlah minat ke 1 dan aktifkan Sample Weight.

   Atur nama bobot sampel (name) ke sample_weight dan ekspresi bobot sampel (selection) ke ln(sum(playtime) + 1). Penyaringan data skenario (scene_values) digunakan untuk memasukkan kondisi penyaringan data skenario. Pisahkan beberapa nilai dengan koma. Atur Versi (version) ke 1.

   Cold-start recall

   Ini adalah model recall menara ganda yang mirip dengan DSSM, dibagi menjadi menara pengguna dan menara item. DropoutNet adalah model recall yang cocok untuk pengguna dan item head, long-tail, bahkan yang benar-benar baru.

   Di halaman Create Configuration, atur parameter berikut: atur recall type ke cold-start recall dan Model Type (model_type) ke dropoutnet. Aktifkan Recall Target Settings (label) dan konfigurasikan nama target recall sebagai is_click, pemilihan target recall sebagai max(if(event='click', 1, 0)), dan tipe target sebagai CLASSIFICATION. Atur training days (train_days) ke 30 dan strategi embed_dim ke EMB_SQRT4_STEP4. Atur recall engine ke Hologres. Atur pelatihan inkremental ke true dan atur hari pelatihan inkremental ke 1. Atur Pelatihan Asinkron dan mode inferensi online ke false. Atur Versi ke 1 dan klik Confirm.

   Global hot fallback

   Global hot fallback recall mirip dengan global hot recall. Tujuan utamanya adalah memberikan fallback dengan set kandidat yang cukup jika mesin global hot recall utama gagal. Oleh karena itu, outputnya disimpan di Redis. Output ini hanya berisi satu baris data. Di halaman Edit Configuration, atur recall type ke global hot fallback recall. Atur nama model fallback (model_name) ke global_hot_supplement, recall time window (day_interval) ke 15, dan jumlah recall fallback (supplement_top_n) ke 500. Atur event perilaku exposure (exposure_event) ke expr dan event perilaku klik (click_event) ke click. Nonaktifkan saklar Hot Score Formula Settings (hot_score). Atur nama sumber data redis (redis_datasource) ke redis dan Versi (version) ke 1.

   Collaborative metric i2i recall

   Model collaborative metric learning i2i recall menggunakan data klik sesi untuk menghitung kemiripan item-ke-item. Konfigurasikan parameter model: atur nama model recall ke CoMetricLearningI2I. Setelah mengaktifkan Recall Target Settings, atur nama target recall ke is_click, pemilihan target recall ke max(if(event='click', 1, 0)), dan tipe target ke CLASSIFICATION. Untuk pengaturan lainnya, atur training days ke 30, atur strategi embed_dim ke EMB_SQRT4_STEP4, atur recall engine ke Hologres, atur pelatihan inkremental ke false, atur hari pelatihan inkremental ke 1, atur Pelatihan Asinkron ke false, dan atur versi ke 1. Setelah menyelesaikan konfigurasi, klik Confirm.

5. Di node Configure Sorting Method, klik Add di sebelah Fine-grained Ranking, konfigurasikan parameter seperti yang dijelaskan di bawah, klik Confirm, lalu klik Next.

   Konfigurasi sumber daya

   Platform menyediakan beberapa model peringkat. Untuk informasi lebih lanjut, lihat ranking model. Bagian ini menjelaskan cara mengonfigurasi parameter peringkat untuk model peringkat multi-tujuan DBMTL.

   Di halaman konfigurasi parameter peringkat, atur tipe peringkat ke Fine-grained Ranking, masukkan dbmtl untuk nama model peringkat detail halus (model_name), masukkan playtime untuk bidang filter (exclude_field), atur hari pelatihan (train_days) ke 30, pilih dbmtl untuk pemilihan tipe model (model_type), pilih false untuk pelatihan inkremental (is_incremental), atur hari pelatihan inkremental (incremental_train_days) ke 1, pilih false untuk pelatihan asinkron (is_async), dan atur versi (version) ke 1.

   Klik Create di sebelah Refined Ranking Target Settings (labels) untuk menambahkan dua label berikut:

   • Target 1: Atur nama target ke is_click, atur ekspresi target ke max(if(event='click',1,0)), dan pilih classification untuk tipe target.

   • Target 2 (Catatan: Huruf 'l' dalam 'ln' adalah huruf L kecil): Atur nama target ke ln_playtime, atur ekspresi target ke ln(sum(playtime)+1), atur ketergantungan target ke is_click, pilih regression untuk tipe target, lalu klik OK.

6. Di node Generate Script, klik Generate Deployment Script.

   Penting

   Setelah skrip penerapan dihasilkan, sistem menyediakan alamat OSS yang berisi semua file penerapan. Anda dapat menyimpan alamat ini untuk menjalankan skrip penerapan secara manual nanti.

7. Setelah skrip dihasilkan, klik Determine di kotak dialog untuk membuka halaman Recommendation Solution Customization > Deployment History.

   Jika generasi skrip gagal, periksa log run untuk mengidentifikasi dan memperbaiki kesalahan, lalu hasilkan ulang skrip.

6. Terapkan rekomendasi

Setelah skrip dihasilkan, Anda dapat menerapkannya ke DataWorks dengan salah satu dari dua cara berikut.

7. Membekukan node

Setelah pengisian ulang selesai, bekukan tugas di Pusat Operasi (tiga node di langkah 2.2) untuk mencegahnya berjalan setiap hari.

Di Pusat Operasi DataWorks, navigasi ke Auto Triggered Task O&M > Recurring Job. Cari node (misalnya, rec_sln_demo_user_table_v1), pilih node (Ruang Kerja.nama node), lalu pilih Suspend (Freeze).