Platform For AI:Praktik terbaik kustomisasi algoritma modular PAI-Rec

Mengapa memodularisasi kustomisasi solusi rekomendasi?

• Kelompok fitur menyederhanakan iterasi model.

• Penerbitan satu klik menerapkan kode dan memulai pengisian ulang data secara otomatis.

• Hanya modul ranking yang sepenuhnya melakukan backfill semua komponen yang diperlukan (kelompok fitur, sampel, dan modul pembangkit fitur), sehingga mengurangi pekerjaan ulang akibat kesalahan rekayasa fitur.

Prasyarat

Lakukan persiapan berikut:

• Buat bucket di OSS.

• Aktifkan PAI dan buat ruang kerja default.

• Buat VPC dan vSwitch. Bangun VPC dengan Blok CIDR IPv4.

• Aktifkan PAI-FeatureStore (lihat bagian Prasyarat di Buat Sumber Data). Jangan aktifkan Hologres. Pilih FeatureDB sebagai sumber data Anda (Buat Sumber Data Online: FeatureDB).

• Aktifkan MaxCompute dan Buat proyek MaxCompute bernama project_mc.

• Panduan pembelian dan lakukan operasi berikut:

  • Buat ruang kerja di DataWorks.

  • Beli kelompok sumber daya Serverless (Gunakan kelompok sumber daya Serverless). Kelompok sumber daya ini menyinkronkan data untuk PAI-FeatureStore dan menjalankan perintah eascmd untuk membuat dan memperbarui layanan PAI-EAS.

  • Konfigurasikan sumber data DataWorks:

    • Buat dan bind sumber data OSS (Manajemen Sumber Data).

    • Buat dan bind sumber data MaxCompute (Bind sumber daya komputasi MaxCompute).

• Buat proyek FeatureStore dan entitas fitur (Langkah 2: Buat dan daftarkan FeatureStore). Lewati langkah ini jika Anda menggunakan kelompok sumber daya Serverless. Jika Anda menggunakan kelompok sumber daya khusus, instal SDK Python FeatureStore pada kelompok sumber daya tersebut (Instal SDK Python FeatureStore).

• Aktifkan Realtime Compute for Apache Flink. Untuk Jenis penyimpanan, pilih OSS bucket (bukan Fully managed storage). Bucket OSS harus sesuai dengan yang dikonfigurasi untuk PAI-Rec. Flink mencatat data perilaku pengguna real-time dan menghitung fitur pengguna real-time.

• Jika Anda menggunakan EasyRec (framework berbasis TensorFlow), pelatihan berjalan di MaxCompute secara default.

• Jika Anda menggunakan TorchEasyRec (framework berbasis PyTorch), pelatihan berjalan di PAI-DLC secara default. Untuk mengunduh data MaxCompute di PAI-DLC, aktifkan Data Transmission Service (Beli dan gunakan kelompok sumber daya Data Transmission Service khusus).

1. Buat instans PAI-Rec dan inisialisasi layanan

1. Login ke halaman utama Recommendation System Development Platform dan klik Buy Now.

2. Di halaman pembelian instans PAI-Rec, konfigurasikan parameter utama berikut, lalu klik Buy Now.

   Parameter	Deskripsi
   Region and zone	Wilayah tempat layanan cloud Anda diterapkan.
   Service Type	Pilih Standard Edition and enable Recommendation Solution Customization.

3. Login ke Konsol Manajemen PAI-Rec. Di pojok kiri atas bilah menu, pilih wilayah.

4. Di panel navigasi kiri, pilih Instances, lalu klik nama instans untuk membuka halaman detail instans.

5. Di bagian Procedure, klik Cloud Service Configuration untuk membuka halaman System Configuration > Cloud Service Configuration. Klik Edit, konfigurasikan parameter seperti yang ditunjukkan dalam tabel Resource configuration, lalu klik Exit.

   Resource configuration

   Parameter	Deskripsi
   Modeling
   Machine Learning Platform for AI Workspace	Masukkan ruang kerja PAI default yang telah Anda buat.
   DataWorks Workspace	Masukkan ruang kerja DataWorks yang dihasilkan secara otomatis.
   MaxCompute Workspace	Masukkan proyek MaxCompute yang telah Anda buat.
   OSS Bucket	Pilih bucket OSS yang telah Anda buat.
   Engine
   Real-time Recall Engine	Untuk opsi Whether to use PAI-FeatureStore, pilih Yes.
   Real-time Feature Query	Untuk opsi Whether to use PAI-FeatureStore, pilih Yes.

6. Di panel navigasi kiri, pilih System Configuration > Permissions. Di tab Services, verifikasi status otorisasi setiap layanan cloud.

2. Klona dataset publik

1. Sinkronisasi tabel data

Tersedia dua opsi input data:

1. Klona data dari pai_online_project dalam jendela waktu tetap. Opsi ini tidak mendukung tugas terjadwal.

2. Gunakan skrip Python untuk menghasilkan data. Anda dapat menjalankan tugas di DataWorks untuk menghasilkan data dalam rentang waktu tertentu.

Untuk pembuatan data harian terjadwal dan pelatihan model, sebaiknya terapkan skrip Python. Lihat tab Generate data using code.

CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_v1(
 user_id BIGINT COMMENT 'Unique user ID',
 gender STRING COMMENT 'Gender',
 age BIGINT COMMENT 'Age',
 city STRING COMMENT 'City',
 item_cnt BIGINT COMMENT 'Number of published items',
 follow_cnt BIGINT COMMENT 'Number of followed accounts',
 follower_cnt BIGINT COMMENT 'Number of followers',
 register_time BIGINT COMMENT 'Registration time',
 tags STRING COMMENT 'User tags'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_user_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_user_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_item_table_v1(
 item_id BIGINT COMMENT 'Item ID',
 duration DOUBLE COMMENT 'Video duration',
 title STRING COMMENT 'Title',
 category STRING COMMENT 'Primary category',
 author BIGINT COMMENT 'Author',
 click_count BIGINT COMMENT 'Total clicks',
 praise_count BIGINT COMMENT 'Total likes',
 pub_time BIGINT COMMENT 'Publish time'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_item_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_item_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_behavior_table_v1(
 request_id STRING COMMENT 'Tracking ID/Request ID',
 user_id STRING COMMENT 'Unique user ID',
 exp_id STRING COMMENT 'Experiment ID',
 page STRING COMMENT 'Page',
 net_type STRING COMMENT 'Network type',
 event_time BIGINT COMMENT 'Event time',
 item_id STRING COMMENT 'Item ID',
 event STRING COMMENT 'Event type',
 playtime DOUBLE COMMENT 'Playback/Reading duration'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_behavior_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_behavior_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";

2. Konfigurasikan node dependensi

Tambahkan tiga node virtual ke proyek DataWorks Anda dengan dependensi penjadwalan pada node root, lalu terbitkan:

1. Arahkan kursor ke Create dan pilih new node > General-purpose > virtual node. Buat tiga node virtual menggunakan konfigurasi sumber daya berikut, lalu klik Confirm.

   Resource configuration

   Parameter	Deskripsi	Contoh default
   Node type	Pilih jenis node.	Virtual node
   Path	Pilih path untuk node saat ini.	Business Flow/Workflow/General
   Name	Masukkan nama tabel data tersinkronisasi yang sesuai.	rec_sln_demo_user_table_v1 rec_sln_demo_item_table_v1 rec_sln_demo_behavior_table_v1

2. Pilih setiap node dan atur isinya menjadi select 1;. Lalu, klik Configure Scheduling di sisi kanan dan lengkapi pengaturan berikut:

   • Di bagian Time attributes, atur Rerun attribute menjadi Rerun node after success or failure.

   • Di bagian Scheduling dependencies > Ancestor Nodes, masukkan nama ruang kerja DataWorks, pilih node dengan akhiran _root, lalu klik Add.

     Terapkan konfigurasi dependensi ini ke ketiga node virtual.

3. Klik ikon untuk setiap node virtual guna mengirimkan node tersebut.

3. Daftarkan data

Daftarkan ketiga tabel yang telah disinkronkan di PAI-Rec sebelum mengonfigurasi rekayasa fitur, recall, dan ranking:

1. Login ke Konsol Manajemen PAI-Rec dan pilih wilayah dari pojok kiri atas.

2. Di panel navigasi sisi kiri, klik Instances, lalu klik nama instans untuk membuka halaman detailnya.

3. Di panel navigasi sisi kiri, buka Recommendation Solution Customization > Data Registration. Di tab MaxCompute Table, klik Create Data Table. Tambahkan tabel pengguna, tabel item, dan tabel perilaku menggunakan konfigurasi dalam tabel di bawah ini. Lalu, klik Import.

   Parameter	Deskripsi	Contoh
   MaxCompute project	Pilih proyek MaxCompute yang telah Anda buat.	project_mc
   MaxCompute table	Pilih tabel data yang telah disinkronkan ke ruang kerja DataWorks Anda.	Tabel pengguna: rec_sln_demo_user_table_v1 Tabel item: rec_sln_demo_item_table_v1 Tabel perilaku: rec_sln_demo_behavior_table_v1
   Data table name	Masukkan nama kustom.	Tabel pengguna Tabel item Tabel perilaku

4. Buat skenario rekomendasi

Buat skenario rekomendasi sebelum mengonfigurasi tugas rekomendasi. Untuk konsep dasar dan encoding trafik, lihat Basic Concepts.

Di panel navigasi kiri, klik Recommendation Scenario lalu Create Scenario. Konfigurasikan skenario rekomendasi dengan konfigurasi sumber daya berikut dan klik Determine.

5. Siapkan algoritma

Konfigurasi produksi lengkap mencakup pengaturan recall dan ranking berikut:

• Global hot recall: Mengambil K item terpopuler berdasarkan data log.

• Grouped hot recall: Mengambil kandidat item populer dari kelompok tertentu, seperti kota atau gender, untuk meningkatkan relevansi.

• Etrec u2i recall: Menggunakan algoritma collaborative filtering etrec.

• Swing u2i recall (opsional): Menggunakan algoritma Swing.

• Vector recall (opsional): Menghasilkan kandidat menggunakan Deep Structured Semantic Model (DSSM).

• Fine-grained ranking: Menggunakan model MultiTower untuk ranking tujuan tunggal dan model DBMTL untuk ranking multi-tujuan.

Langkah-langkah berikut mencakup global hot recall dan etrec u2i recall dari RECommender (eTREC, implementasi collaborative filtering), serta fine-grained ranking. Langkah-langkahnya:

1. Di panel navigasi sisi kiri, pilih Recommendation Solution Customization. Pilih skenario yang telah Anda buat, lalu klik Create Modular Recommendation Solution. Buat solusi dengan konfigurasi sumber daya berikut, lalu klik Save and Go to Algorithm Solution Configuration.

   Biarkan parameter yang tidak ditentukan pada nilai defaultnya. Data Table Configuration.

   Resource configuration

   Parameter	Deskripsi
   Solution Name	Masukkan nama kustom.
   Scenario Name	Pilih skenario rekomendasi yang telah Anda buat.
   Offline Data Source	Pilih proyek MaxCompute yang terkait dengan skenario rekomendasi.
   Algorithm Framework	Pilih PyTorch. Anda dapat memilih framework algoritma lain berdasarkan preferensi Anda.
   DataWorks Workspace	Pilih ruang kerja DataWorks yang terkait dengan skenario rekomendasi.
   Workflow Name	Nama alur bisnis yang dibuat di DataWorks saat skrip solusi rekomendasi diterapkan. Anda dapat memasukkan nama kustom, seperti Flow.
   StorageAPI configuration	Wilayah Daratan Tiongkok: Untuk wilayah seperti Tiongkok (Beijing) dan Tiongkok (Shanghai), Anda dapat memilih "StorageAPI", yaitu layanan transmisi data bayar sesuai penggunaan. Wilayah lain: Untuk wilayah seperti Tiongkok (Hong Kong), Singapura, dan Jerman (Frankfurt), Anda harus terlebih dahulu membeli dan menggunakan kelompok sumber daya Data Transmission Service khusus. Jika opsi bayar sesuai penggunaan tidak tersedia, Anda harus membeli layanan transmisi data berlangganan. Setelah pembelian, refresh halaman dan pilih nama layanan berlangganan Anda. Di pekerjaan pelatihan PAI-DLC TorchEasyRec di DataWorks, tambahkan parameter dalam format berikut: -odps_data_quota_name ot_xxxx_p#ot_yyyy.
   slim_mode	Aktifkan ini jika versi DataWorks Anda membatasi ukuran paket kode yang diimpor. Anda harus mengunggah manual paket yang melebihi batas tersebut. Untuk solusi ini, pilih No.
   OSS bucket	Pilih bucket OSS yang terkait dengan skenario rekomendasi.
   Project	Pilih proyek FeatureStore yang telah Anda buat, dan pilih FeatureDB sebagai sumber data online.
   User Entity	Pilih entitas fitur user dari proyek FeatureStore Anda.
   Item Entity	Pilih entitas fitur item dari proyek FeatureStore Anda.

2. Di tab Configure Table, klik Add di sebelah tabel data. Konfigurasikan tabel log perilaku, tabel pengguna, dan tabel item dengan mengatur bidang partisi, event, fitur, dan timestamp yang sesuai, lalu klik Next.

   Biarkan parameter yang tidak ditentukan pada nilai defaultnya. Data Table Configuration.

   Behavior log table resource configuration

   Sesuaikan pengaturan berdasarkan data aktual Anda. Dalam tutorial ini, log perilaku berisi ID permintaan, pengenal pengguna unik, halaman, timestamp event, dan jenis event. Jika tabel Anda mencakup dimensi tambahan, kategorikan sebagai informasi pengguna atau item untuk menyederhanakan rekayasa fitur.

   Parameter	Deskripsi	Contoh default
   Behavior table name	Pilih tabel perilaku yang telah didaftarkan.	rec_sln_demo_behavior_table_v1
   Time partition	Bidang partisi tabel perilaku.	ds yyyymmdd
   Behavior information configuration
   Request ID	ID yang mengidentifikasi setiap permintaan rekomendasi dalam log, biasanya UUID yang dihasilkan program. Opsional.	request_id
   Behavior event	Bidang yang mencatat event perilaku dalam log.	event
   Behavior event enum values	Nilai enumerasi untuk event perilaku, seperti exposure, click, add to cart, atau purchase.	expr,click,praise
   Behavior value	Bidang yang merepresentasikan kedalaman perilaku, seperti harga transaksi atau durasi menonton.	playtime
   Behavior timestamp	Waktu terjadinya event log, sebagai timestamp akurat hingga detik.	event_time
   Timestamp format	Digunakan bersama dengan behavior timestamp.	unixtime
   Behavior scenario	Skenario tempat log dihasilkan, seperti halaman utama, halaman pencarian, atau halaman detail produk.	page
   Scenario enum values	Menentukan data skenario mana yang akan digunakan, memungkinkan statistik fitur per skenario dalam rekayasa fitur.	home,detail
   User information configuration
   User ID	Bidang untuk ID pengguna dalam tabel perilaku.	user_id
   User categorical features	Fitur kategorikal pengguna dalam tabel perilaku, seperti jenis jaringan, platform operasi, atau gender.	net_type
   Item information configuration
   Item ID	Bidang untuk ID item dalam tabel perilaku.	item_id

   User table resource configuration

   Parameter	Deskripsi	Contoh default
   User table name	Pilih tabel pengguna yang telah didaftarkan.	rec_sln_demo_user_table_v1
   Time partition	Bidang partisi waktu tabel pengguna.	ds yyyymmdd
   User information configuration
   User ID	Bidang ID pengguna dalam tabel pengguna.	user_id
   Registration timestamp	Waktu pengguna mendaftar.	register_time
   Timestamp format	Digunakan bersama dengan registration timestamp.	unixtime
   Categorical feature	Bidang kategorikal dalam tabel pengguna, seperti gender, kelompok usia, atau kota.	gender,city
   Numerical Features	Bidang numerik dalam tabel pengguna, seperti jumlah item yang dibuat atau poin.	age,item_cnt,follow_cnt,follower_cnt
   Tag feature	Nama bidang fitur tag.	tags

   Item table resource configuration

   Parameter	Deskripsi	Contoh default
   Item table name	Pilih tabel item yang telah didaftarkan.	rec_sln_demo_item_table_v1
   Time partition	Bidang partisi waktu tabel item.	ds yyyymmdd
   Item information configuration
   Item ID	Bidang ID item dalam tabel item.	item_id
   Author ID	Penulis item tersebut.	author
   Listing timestamp	Nama bidang timestamp listing item.	pub_time
   Timestamp format	Digunakan bersama dengan listing timestamp.	unixtime
   Categorical feature	Bidang kategorikal dalam tabel item, seperti kategori.	category
   Numerical Features	Bidang numerik dalam tabel item, seperti harga, penjualan kumulatif, atau jumlah suka.	click_count,praise_count

3. Di bawah Feature Group Configuration, klik Add. Konfigurasikan parameter seperti yang ditunjukkan dalam tabel berikut. Atur nama dan versi modul fitur, lalu pilih tabel pengguna, tabel item, dan tabel log perilaku yang telah Anda konfigurasi di tab Configure Table.

   Resource configuration

   Parameter	Deskripsi	Contoh default
   Statistical Period	Digunakan untuk pembangkitan fitur batch. Untuk membatasi jumlah fitur, atur periode statistik menjadi 3, 7, dan 15 hari. Periode ini menghitung fitur statistik untuk pengguna dan item dalam jendela waktu yang sesuai. Jika perilaku pengguna jarang, pertimbangkan menggunakan periode 21 hari.	3,7,15
   Behavior	Pilih event perilaku yang telah Anda konfigurasi. Kami menyarankan menambahkannya dalam urutan berikut: expr (exposure), click, dan praise.	expr,click,praise

   Klik Determine. Tindakan ini menghasilkan berbagai fitur statistik untuk pengguna dan item. Klik Configure Feature untuk grup fitur ini guna melihat fitur validasi. Untuk solusi ini, jangan edit fitur turunan dan biarkan pengaturan default. Anda dapat mengedit fitur turunan sesuai kebutuhan bisnis (Feature Configuration). Klik Publish untuk grup fitur ini, pilih tanggal partisi data terbaru sebagai tanggal eksekusi tugas, atur paralelisme tugas maksimum menjadi 10, dan biarkan pengaturan lain pada nilai default. Lalu, klik Determine. Tindakan ini menghasilkan node, menerapkannya ke DataWorks, dan melakukan backfill data berdasarkan tanggal. Tunggu hingga status modul berubah menjadi Published sebelum melanjutkan ke langkah berikutnya. Klik Online Details untuk melihat informasi lebih lanjut tentang modul tersebut. Di Data Refill Task List, Anda dapat memeriksa status eksekusi setiap tugas. Jika tugas gagal, klik View Task Node untuk membuka DataWorks dan melihat informasi error detail. Setelah memperbaiki masalah, temukan node tersebut di Data Refill Task List dan klik Rerun. Setelah tugas berhasil, Anda dapat melanjutkan.

4. Di bawah Label Table Configuration, modul ini membangun target sampel dari tabel perilaku. Klik Add, pilih Label Module sebagai jenis modul, masukkan nama untuk modul label, lalu pilih modul fitur yang telah Anda konfigurasi pada langkah sebelumnya. Klik Create di sebelah Fine-grained ranking target settings (labels) dan tambahkan dua label berikut:

   • Target 1: Atur Fine-grained ranking target name menjadi is_click, atur Fine-grained ranking target expression menjadi max(if(event='click',1,0)), dan pilih CLASSIFICATION untuk Target type.

   • Target 2 (perhatikan bahwa 'l' dalam 'ln' adalah huruf kecil): Atur Fine-grained ranking target name menjadi ln_playtime, atur Fine-grained ranking target expression menjadi ln(sum(playtime)+1), atur Fine-grained ranking target dependency menjadi is_click, dan pilih REGRESSION untuk Target type. Lalu, klik OK.

   • Setelah Anda mengklik Determine, terbitkan modul ini dengan cara yang sama seperti menerbitkan modul fitur. Tunggu hingga status berubah menjadi Published sebelum melanjutkan ke langkah berikutnya.

5. Di bawah Sample Configuration, modul ini mengasosiasikan tabel target sampel dengan fitur dan menghasilkan fitur model di FeatureStore. Klik Add, pilih Sample Module sebagai jenis modul, beri nama fitur model, lalu pilih modul fitur dan label dari langkah-langkah sebelumnya. Terbitkan modul dan tunggu hingga status berubah menjadi Published sebelum melanjutkan ke langkah berikutnya.

6. Di bawah Feature Generation Configuration, modul ini menurunkan fitur tambahan dari semua fitur dalam tabel sampel. Konfigurasi kustom saat ini tidak didukung. Klik Add, pilih Feature Generation sebagai jenis modul, pilih Ranking sebagai jenis pembangkitan fitur, lalu pilih modul fitur model dari langkah konfigurasi sampel sebelumnya. Tunggu hingga status berubah menjadi Published sebelum melanjutkan ke langkah berikutnya.

7. Di bawah Configure Sorting Method, klik Add di bagian fine-grained ranking. Untuk output modul fitur, pilih modul pembangkitan fitur dari langkah sebelumnya. Biarkan opsi lain pada nilai default dan klik Determine. Lalu, terbitkan modul tersebut. Setelah status berubah menjadi Published, layanan model diterapkan ke PAI-EAS.

8. Di bawah Retrieval Configuration, klik Add di sebelah kategori target, konfigurasikan parameter, klik Confirm, lalu Publish konfigurasi tersebut. Dokumen ini mencakup beberapa metode konfigurasi recall. Untuk menyelesaikan penerapan dengan cepat, Anda hanya perlu mengonfigurasi Global Hot Recall dan etrec u2i Recall. Metode lain, seperti vector recall dan collaborative metric recall, hanya sebagai referensi.