PAI-Rec adalah platform untuk penyesuaian dan pengembangan mendalam sistem rekomendasi secara end-to-end. Dengan platform ini, pengembang perusahaan dapat secara mandiri membangun, mengembangkan, melakukan iterasi, dan memelihara sistem rekomendasi mereka.
Ikhtisar
PAI-Rec adalah platform pengembangan sistem rekomendasi yang dikembangkan oleh Alibaba Cloud. Platform ini dirancang untuk memberikan pengembang perusahaan kemampuan penyesuaian sistem rekomendasi secara end-to-end dan mendalam. Platform ini mencakup berbagai dimensi, seperti pemrosesan offline, layanan online, streaming data real-time, dan arsitektur teknik. Modul fungsionalnya meliputi recall, peringkat, penyaringan, dan re-ranking. PAI-Rec bekerja berdasarkan arsitektur big data Alibaba Cloud Apsara dan memungkinkan pengembang memilih jenis layanan sesuai dengan tumpukan teknologi perusahaan serta kebiasaan pengembangan mereka, termasuk menyesuaikan kode pipeline rekomendasi. Selain itu, PAI-Rec menyediakan berbagai alat, seperti alat diagnostik dan analisis data, alat debugging hasil rekomendasi, serta alat manajemen rilis mesin. Layanan pengujian A/B dan platform laporan eksperimen membantu meningkatkan efisiensi iterasi sistem rekomendasi secara signifikan.
Pengembang dapat menganalisis data berdasarkan log yang dikumpulkan oleh tugas pelacakan event frontend, lalu menyesuaikan kode algoritma rekayasa fitur, file konfigurasi mesin, metrik laporan eksperimen, dan kode terkait statistik sesuai dengan kebutuhan bisnis. Hal ini membantu pengembang dengan mudah membangun dan mengoptimalkan sistem rekomendasi. PAI-Rec menyediakan mode pengembangan kotak putih yang memberikan pengalaman pengembangan lebih transparan dan fleksibel bagi pengembang. Jika tim algoritma rekomendasi dan tim teknik perusahaan Anda belum matang, kami sarankan Anda memulai layanan menggunakan model algoritma spesifik industri yang disesuaikan oleh tim algoritma Alibaba Cloud pada tahap awal. Ini tidak hanya membantu perusahaan Anda menerapkan sistem rekomendasi lengkap dalam waktu singkat tetapi juga memungkinkan pengembang dengan cepat memulai pelatihan model independen dan evaluasi efek. Untuk kerja sama lebih lanjut dengan Alibaba Cloud, seperti penyesuaian mendalam atau berbagi pengalaman penyesuaian oleh insinyur Alibaba Cloud, Anda dapat menghubungi layanan pelanggan Alibaba Cloud.
PAI-Rec juga menyediakan berbagai kemampuan, seperti cold start, kontrol rekomendasi, dan pembelajaran online, untuk memenuhi berbagai kebutuhan bisnis.
Manfaat
PAI-Rec menyediakan manfaat berikut:
Pengembangan kotak putih yang sangat transparan
PAI-Rec menyediakan sejumlah besar kode sumber, memungkinkan pengguna memahami detail algoritma rekomendasi dan menyesuaikan kode untuk memenuhi berbagai kebutuhan bisnis.
Kode sumber mencakup jenis-jenis berikut: kode sumber untuk rekayasa fitur dan pemrosesan sampel, kode skrip untuk memanggil model recall dan peringkat, kode sumber model recall dan peringkat EasyRec, serta kode sumber layanan mesin PAI-Rec.
Proses penyesuaian solusi rekomendasi yang nyaman
Pengguna hanya perlu mengonfigurasi tabel pengguna, tabel item, dan tabel perilaku untuk menghasilkan skrip dan file konfigurasi recall dan peringkat, sehingga menyederhanakan penyesuaian solusi rekomendasi.
Sistem manajemen mesin dan eksperimen yang komprehensif
Platform manajemen mesin dan eksperimen yang komprehensif disediakan. Pengguna dapat menggunakan platform ini untuk dengan mudah mengelola komponen recall dan peringkat serta memperbarui parameter mesin.
Pemantauan dan pelaporan metrik yang terperinci
Platform manajemen metrik dan laporan disediakan bagi pengguna untuk menyesuaikan metrik dan mendapatkan hasil eksperimen per hari atau per jam, memastikan pemantauan akurat hasil rekomendasi dan umpan balik tepat waktu.
Jaminan konsistensi antara fitur offline dan online
Alat disediakan untuk membandingkan konsistensi antara fitur online dan offline, mencegah kesalahan eksperimen yang disebabkan oleh masalah konsistensi.
Diagnostik data cerdas dan analitik
Fitur diagnostik data cerdas disediakan untuk membantu pengembang dengan cepat memahami data dan memilih fitur serta jendela waktu untuk rekayasa fitur berdasarkan hasil diagnostik.
Alat untuk observasi intuitif hasil rekomendasi
Berbagai alat diagnostik disediakan untuk membantu pengguna mengamati hasil rekomendasi dan data recall secara visual.
FeatureStore yang kuat
PAI-Rec terintegrasi dengan FeatureStore untuk membantu pengguna mengelola fitur dengan lebih baik, meningkatkan efisiensi eksperimen.
Dukungan teknis menyeluruh
Berbagai layanan dukungan teknis disediakan untuk menjawab pertanyaan pengguna dan membantu mereka memanfaatkan solusi dengan baik.
Layanan cloud yang bergantung
EasyRec dari Platform for AI (PAI) digunakan untuk melatih model recall dan peringkat, dan Mesin PAI-Rec dalam Go digunakan untuk membangun sistem rekomendasi. DataWorks atau Machine Learning Designer dari PAI digunakan untuk mengedit dan menjadwalkan kode untuk rekayasa fitur serta sampel dan pelatihan model. Graph Compute dan Hologres digunakan untuk menyimpan fitur pengguna dan mendukung query item-to-item (I2I) dan query vektor. Elastic Algorithm Service (EAS) dari PAI digunakan untuk menyediakan layanan penilaian yang dapat diskalakan. Bagian berikut menjelaskan layanan terkait:
Layanan cloud | Deskripsi |
PAI adalah platform rekayasa pembelajaran mesin dan pembelajaran mendalam yang ditujukan untuk pengembang dan perusahaan. PAI menyediakan layanan pengembangan AI end-to-end termasuk pelabelan data, pembuatan model, pelatihan model, penerapan model, dan optimasi inferensi. | |
Kerangka Algoritma EasyRec | EasyRec adalah kerangka algoritma yang menggabungkan model pembelajaran mendalam terdepan di industri. Ini mendukung TensorFlow 1.12 dan versi lebih baru, TensorFlow 2.4 dan versi lebih lama, serta PAI-TensorFlow. Ini memenuhi persyaratan rekomendasi end-to-end, termasuk recall, peringkat kasar, peringkat halus, re-ranking, peringkat multi-tujuan, dan cold start. EasyRec membantu pengembang mempercepat iterasi fitur untuk memenuhi persyaratan rekomendasi end-to-end. |
DataWorks dan MaxCompute adalah layanan big data cloud-native. Kedua layanan ini dapat digunakan bersama-sama. Mereka menyediakan alat pengembangan yang mudah digunakan dan lingkungan data yang stabil untuk pemrosesan fitur, pembuatan sampel, manajemen profil, penjadwalan model, pembaruan data, dan fase lainnya dalam sistem rekomendasi. Catatan PAI-Rec hanya mendukung DataWorks dan MaxCompute. Untuk menggunakan layanan big data lainnya, Anda mungkin perlu memodifikasi kode mesin terkait. Dalam hal ini, Anda harus berkomunikasi dengan arsitek terlebih dahulu. | |
Hologres adalah layanan gudang data real-time terpadu yang dikembangkan oleh Alibaba Cloud. Anda dapat menggunakan Hologres untuk menulis, memperbarui, memproses, dan menganalisis sejumlah besar data secara real-time. Hologres mendukung sintaks SQL (kompatibel dengan PostgreSQL), sebagian besar fungsi PostgreSQL, dan pemrosesan analitik online (OLAP) dan analisis ad hoc hingga petabyte data. Hologres menyediakan layanan data online dengan konkurensi tinggi dan latensi rendah dan mendukung isolasi terperinci dari berbagai beban kerja dan kemampuan keamanan tingkat perusahaan. Hologres terintegrasi erat dengan MaxCompute, Realtime Compute for Apache Flink, dan DataWorks untuk menyediakan solusi gudang data online dan offline full-stack bagi perusahaan. | |
Graph Compute | Graph Compute adalah layanan komputasi graf terdistribusi berperforma tinggi yang dikembangkan oleh Alibaba Cloud. Ini menyediakan layanan komputasi graf end-to-end yang mendukung triliunan catatan data. Graph Compute memungkinkan Anda menyimpan, menanyakan, dan menghitung data hubungan graf kompleks secara efisien menggunakan algoritma dan model graf. Graph Compute dapat digunakan dalam berbagai skenario seperti iklan rekomendasi untuk pencarian, pengendalian risiko real-time, graf pengetahuan, dan jaringan sosial. |