Tutorial ini menunjukkan cara membangun pipeline recall vektor two-tower Deep Structured Semantic Model (DSSM) menggunakan Visualized Modeling (Designer) di Platform for AI (PAI). Di akhir tutorial, Anda akan:
Membuat pipeline recall DSSM dari template preset
Menjalankan pelatihan model menggunakan negative sampling pada data perilaku 30 hari
Menghasilkan vektor user dan item untuk recall
Menilai kualitas recall menggunakan hit_rate@top200
Prasyarat
Sebelum memulai, selesaikan alur kerja feature engineering untuk menghasilkan set data berikut:
rec_sln_demo_user_table_preprocess_all_feature_v2rec_sln_demo_item_table_preprocess_all_feature_v2rec_sln_demo_behavior_table_preprocess_v2
Buka Machine Learning Designer
Masuk ke konsol Machine Learning Platform for AI (PAI).
Di panel navigasi kiri, klik Workspaces, lalu klik nama ruang kerja yang ingin Anda gunakan.
Di panel navigasi kiri, pilih Model Development and Training > Visualized Modeling (Designer).
Buat pipeline
Pada halaman Visualized Modeling (Designer), klik tab Preset Templates.
Di bagian Recommended Solution - Vector Recall, klik Create.
Pada kotak dialog Create Pipeline, konfigurasikan parameter. Anda dapat mempertahankan nilai default.
Parameter Pipeline Data Path menentukan path bucket Object Storage Service (OSS) tempat pipeline menyimpan data temporary dan artefak model selama waktu proses.
Klik OK.
Pembuatan pipeline memerlukan waktu sekitar 10 detik. Saat Recommended Solution - Vector Recall muncul dalam daftar pipeline, pipeline siap digunakan.
Klik dua kali Recommended Solution - Vector Recall untuk membuka pipeline di kanvas.
Pahami komponen pipeline
Template preset membuat pipeline recall DSSM yang lengkap. Komponen-komponen tersebut dijalankan dalam urutan berikut:
| Komponen | Fungsinya |
|---|---|
| 1 | Model sampel DSSM_Recall untuk recall vektor |
| 2 | Menerapkan feature generation (FG) pada model sampel |
| 3 | Membuat tabel contoh positif dan menggunakannya untuk pelatihan negative sampling |
| 4 | Menerapkan equal frequency binning pada fitur numerik untuk mengatur parameter boundaries model |
| 5 | Menghitung nilai unik dari fitur enumerasi untuk mengatur parameter embedding_dim dan hash_bucket_size model |
| 6 | Menerapkan FG pada fitur item |
| 7 | Menerapkan FG pada fitur user |
| 8 | Menggabungkan hasil dari rec_sln_demo_dssm_recall_30d_binning_v1 dan rec_sln_demo_dssm_recall_30d_count_v1 untuk menghitung konfigurasi fitur dan konfigurasi langkah |
| 9 | Membuat tabel item untuk negative sampling |
| 10 | Mendiskritisasi data sampel 30 hari dari model DSSM_Recall untuk menghasilkan sampel pelatihan |
| 11 | Menentukan file konfigurasi EasyRec berdasarkan output komponen 8 |
| 12 | Anda perlu menjalankan komponen 11 untuk menghasilkan file konfigurasi EasyRec sebelum pelatihan model dimulai |
| 13 | Menjalankan inferensi dengan model item terpisah pada rec_sln_demo_dssm_recall_item_feature_fg_encoded_v1 untuk menghasilkan vektor item |
| 14 | Menjalankan inferensi dengan model user terpisah pada rec_sln_demo_dssm_recall_user_feature_fg_encoded_v1 untuk menghasilkan vektor user |
| 15 | Membuat tabel sekuens dan mengevaluasi kualitas recall menggunakan hit_rate |
| 18 | Menghitung metrik evaluasi akhir: hit_rate@top200 |
Komponen 12 memerlukan penyelesaian komponen 11 terlebih dahulu, karena file konfigurasi EasyRec harus tersedia sebelum pelatihan model dimulai.
Evaluasi hit_rate pada komponen 15 dan 18 tidak mencakup user baru dan item baru yang muncul pada hari evaluasi, karena tidak ada data historis yang dapat direcall untuk mereka.
Jalankan pipeline dan lihat hasilnya
Di bilah alat atas kanvas, klik Run.
Pipeline menjalankan semua komponen sesuai urutan dependensinya. Pantau progres dengan melihat status setiap komponen di kanvas. Saat semua komponen menampilkan status selesai, pipeline telah rampung.
Klik kanan komponen 18 (
18_rec_sln_demo_recall_total_hit_rate_v1_2) dan pilih View Data > hit_rate_detail untuk melihat tingkat hit recall berdasarkan segmen.
Klik kanan komponen 18 dan pilih View Data > total_hit_rate untuk melihat tingkat hit recall keseluruhan.
