PAI-Rec for Personalized Recommendation menyediakan kemampuan kustomisasi end-to-end yang mendalam untuk sistem rekomendasi, memungkinkan developer perusahaan membangun, melakukan iterasi, dan memelihara sistem mereka sendiri.
Ikhtisar
PAI-Rec adalah platform Alibaba Cloud untuk mengembangkan sistem rekomendasi end-to-end yang sangat dapat dikustomisasi. Platform ini mencakup berbagai dimensi, termasuk pemrosesan offline, layanan online, aliran data real-time, dan arsitektur rekayasa, serta mengintegrasikan modul fungsional seperti retrieval, ranking, filtering, dan re-ranking. Dibangun di atas arsitektur big data Apsara milik Alibaba Cloud, PAI-Rec memungkinkan developer memilih komponen secara fleksibel dan mengkustomisasi kode pipeline rekomendasi agar sesuai dengan stack teknologi dan praktik pengembangan perusahaan mereka. Platform ini juga menyediakan rangkaian alat untuk diagnostik data, debugging hasil rekomendasi, dan manajemen rilis engine. PAI-Rec mempercepat iterasi sistem rekomendasi melalui layanan Pengujian A/B dan platform pelaporan eksperimen.
Dengan menganalisis log impression, developer dapat mengkustomisasi algoritma feature engineering, file konfigurasi engine, dan metrik untuk laporan eksperimen guna membantu klien membangun dan mengoptimalkan sistem rekomendasi mereka dengan cepat. Model pengembangan white-box dari PAI-Rec meningkatkan transparansi dan fleksibilitas. Untuk tim algoritma rekomendasi yang baru, kami merekomendasikan menggunakan model algoritma kustom dari tim algoritma Alibaba sebagai titik awal. Pendekatan ini membantu men-deploy sistem dengan cepat dan memungkinkan developer menguasai pelatihan model serta evaluasi performa. Untuk optimasi mendalam, Anda dapat mengajukan konsultasi bisnis untuk berkolaborasi dengan engineer Alibaba Cloud.
Selain itu, PAI-Rec mendukung fitur-fitur seperti cold start, throttling traffic, dan online learning untuk memenuhi berbagai kebutuhan bisnis.
Keunggulan produk
PAI-Rec menawarkan keunggulan berikut dalam membangun sistem rekomendasi:
Desain white-box yang sangat transparan
Kode sumber lengkap membantu Anda memahami detail algoritma rekomendasi dan memungkinkan kustomisasi kode secara fleksibel sesuai kebutuhan bisnis spesifik.
Kode sumber tersebut mencakup: kode feature engineering dan pemrosesan sampel data, skrip untuk memanggil model retrieval dan ranking, kode sumber model retrieval dan ranking EasyRec, serta kode sumber logika bisnis engine PAI-Rec.
Proses kustomisasi algoritma rekomendasi yang mudah
Anda dapat menghasilkan skrip dan file konfigurasi untuk retrieval dan ranking hanya dengan mengonfigurasi tabel user, tabel item, dan tabel perilaku. Proses ini menyederhanakan deployment rekomendasi yang dikustomisasi.
Sistem manajemen engine dan eksperimen yang komprehensif
Platform ini menyediakan backend manajemen lengkap untuk engine dan eksperimen, memungkinkan Anda mengelola komponen retrieval dan ranking serta memperbarui parameter engine dengan mudah.
Pemantauan dan pelaporan metrik terperinci
Platform ini menyediakan backend manajemen untuk metrik dan laporan. Anda dapat menentukan metrik kustom dan melacak performa eksperimen setiap hari atau setiap jam, memastikan kontrol presisi dan umpan balik tepat waktu terhadap efektivitas rekomendasi.
Jaminan konsistensi fitur offline dan online
Platform ini menyediakan alat khusus untuk membandingkan fitur offline dan online guna memastikan konsistensi, sehingga secara efektif mencegah deviasi eksperimen akibat ketidaksesuaian data.
Diagnostik dan analisis data cerdas
Platform ini menyediakan alat diagnostik data cerdas untuk membantu developer memahami data mereka dengan cepat serta memilih fitur dan jendela waktu yang tepat untuk feature engineering berdasarkan hasil analisis.
Set alat intuitif untuk mengamati hasil rekomendasi
Platform ini menyediakan berbagai alat diagnostik untuk membantu Anda memvisualisasikan hasil rekomendasi dan data retrieval.
Kemampuan manajemen fitur yang andal
Platform ini bekerja sama dengan alat manajemen platform fitur untuk mengelola fitur secara lebih baik dan meningkatkan efisiensi eksperimen.
Layanan dan dukungan teknis yang komprehensif
Platform ini menyediakan berbagai layanan teknis untuk membantu Anda memulai solusi ini dengan cepat.
Produk cloud yang menjadi dependensi
PAI-Rec menggunakan PAI-EasyRec untuk melatih model retrieval dan ranking serta membangun sistem rekomendasi dengan PAI-Rec engine berbasis Go. Anda dapat menggunakan DataWorks atau PAI-Designer untuk mengedit dan menjadwalkan kode untuk feature engineering, pembuatan sampel, dan pelatihan model. Sistem ini menggunakan teknologi seperti BE, GraphCompute, atau Hologres untuk menyimpan fitur user serta mengaktifkan retrieval item-to-item (i2i) dan vektor. Sistem ini juga menggunakan PAI-EAS untuk menyediakan layanan scoring yang elastis dan scalable. Dependensinya adalah sebagai berikut:
Platform for AI (PAI) adalah platform rekayasa pembelajaran mesin dan pembelajaran mendalam untuk developer dan perusahaan. Platform ini menyediakan layanan pengembangan AI end-to-end, termasuk anotasi data, pembuatan model, pelatihan model, penerapan model, dan optimasi inferensi.
EasyRec framework mencakup model pembelajaran mendalam teknologi terkini dan mendukung beberapa versi TensorFlow (1.12 ≤ versi ≤ 2.4, PAI-TF). Framework ini mencakup seluruh kebutuhan end-to-end pipeline rekomendasi, termasuk retrieval, pre-ranking, ranking, re-ranking, optimasi multi-objektif, dan cold start. Developer dapat menggunakan framework EasyRec untuk mempercepat iterasi di seluruh pipeline rekomendasi.
DataWorks dan MaxCompute adalah dua layanan big data cloud-native terintegrasi. Untuk tugas-tugas dalam sistem rekomendasi seperti pemrosesan fitur, pembuatan sampel, manajemen profil, penjadwalan model, dan pembaruan data, kedua layanan ini menyediakan alat pengembangan yang mudah digunakan dan lingkungan data yang stabil.
CatatanPAI-Rec saat ini hanya mendukung DataWorks dan MaxCompute. Jika bisnis Anda memerlukan layanan big data lainnya, Anda mungkin perlu memodifikasi kode engine yang sesuai. Harap diskusikan rencana Anda dengan arsitek terlebih dahulu.
Hologres adalah engine gudang data real-time all-in-one yang dikembangkan oleh Alibaba Cloud. Engine ini mendukung penulisan, pembaruan, pemrosesan, dan analisis data dalam volume besar secara real-time. Hologres mendukung SQL standar (kompatibel dengan protokol PostgreSQL, sintaksnya, dan sebagian besar fungsinya) serta analisis multidimensi skala petabyte (OLAP) dan analisis ad hoc. Hologres juga menyediakan serving data online dengan konkurensi tinggi dan latensi rendah, isolasi terperinci untuk berbagai beban kerja, serta keamanan tingkat enterprise. Hologres terintegrasi secara mendalam dengan MaxCompute, Flink, dan DataWorks untuk menawarkan solusi terpadu tingkat enterprise untuk gudang data offline maupun online.
Anda dapat menggunakan Hologres untuk menyimpan urutan perilaku user real-time, fitur user, dan data retrieval rekomendasi, serta memanfaatkan kemampuan vector retrieval-nya.
Graph Compute adalah produk komputasi graf terdistribusi berkinerja tinggi yang dikembangkan oleh Alibaba Cloud. Produk ini menyediakan layanan teknologi graf all-in-one untuk developer, menangani data pada skala triliunan. Graph Compute mendukung penyimpanan, kueri, dan komputasi data relasi graf yang kompleks serta terintegrasi secara efisien dengan algoritma dan model graf. Produk ini banyak digunakan dalam skenario seperti pencarian, rekomendasi, periklanan, risk control real-time, knowledge graph, dan jejaring sosial.
Penagihan
Untuk informasi lebih lanjut, lihat Penagihan PAI-Rec untuk Rekomendasi Personalisasi.