PAI-Rec は、Alibaba Cloud が構築したエンドツーエンドのレコメンデーションシステム開発プラットフォームです。これにより、企業の開発者は、オフラインでのデータ処理やモデルトレーニングから、オンラインでのサービングやリアルタイム実験に至るまで、レコメンデーションシステムの構築、反復、保守を完全に制御できます。
利用シーン
PAI-Rec は、以下のようなニーズに適しています。
ゼロからパーソナライズドレコメンデーションエンジンを構築する — PAI-Rec は、再現率、粗選別ランキング、精密ランキング、フィルター、および再ランキングを含むフルパイプラインを提供します。
レコメンデーションの品質を迅速に反復 — A/B テスト、実験レポート、オンライン学習が組み込まれているため、アルゴリズムの変更による影響を日単位または時間単位で測定し、段階的にロールアウトできます。
アルゴリズムの透明性を維持 — PAI-Rec はホワイトボックスプラットフォームです。特徴量エンジニアリング、再現率およびランキングモデル (EasyRec 経由)、レコメンデーションエンジンのソースコードを調査し、カスタマイズすることが可能です。
最初のレコメンデーションまでの時間を短縮 — アルゴリズムやエンジニアリングチームがまだ立ち上げ段階の場合、Alibaba Cloud のアルゴリズムチームが提供する業界特化のアルゴリズムモデルから始めることができます。チームが成熟するにつれて、完全にカスタムされたモデルに切り替えることが可能です。
仕組み
PAI-Rec は、レコメンデーションシステムの 4 つのディメンションをカバーしています。
| ディメンション | カバーする内容 |
|---|---|
| オフライン処理 | DataWorks、MaxCompute、または PAI のビジュアルモデリングを介した特徴量エンジニアリング、サンプル生成、モデルトレーニング、スケジューリング |
| オンラインサービス | PAI-Rec エンジン (Go) が、リアルタイムのリクエストサービング、再現率、ランキング、フィルタリング、再ランキングを処理します |
| リアルタイムデータストリーミング | フロントエンドのイベントトラッキングにより、行動シグナルがパイプラインにフィードバックされ、オンライン学習に利用されます |
| エンジニアリングアーキテクチャ | Alibaba Cloud の Apsara ビッグデータインフラストラクチャ上に構築されています。ご利用の技術スタックに基づいてサービスタイプを選択します |
このプラットフォームは、本番シナリオ向けのコールドスタート、レコメンデーション制御、オンライン学習もサポートしています。
主な特徴
| 特徴 | 説明 |
|---|---|
| ホワイトボックス開発 | 特徴量エンジニアリングとサンプル処理のソースコード、再現率およびランキングモデルのスクリプト、EasyRec モデルのソースコード、PAI-Rec エンジンにアクセスしてカスタマイズできます |
| 合理化されたソリューション設定 | ユーザー、アイテム、行動テーブルを設定することで、再現率およびランキングのスクリプトと設定ファイルを自動生成します |
| エンジンと実験の管理 | 再現率およびランキングコンポーネントの管理、エンジンパラメーターの更新、実験の追跡を単一のプラットフォームから行えます |
| 詳細なメトリック | 実験メトリックをカスタマイズし、日単位または時間単位で結果を取得できます |
| オフライン/オンラインの特徴量の一貫性 | 組み込みツールがオンラインとオフラインの特徴量を比較し、一貫性の問題が実験結果に影響を与える前に検出します |
| インテリジェントなデータ診断 | データを自動的に分析し、特徴量エンジニアリングのための特徴量とタイムウィンドウの選択を支援します |
| レコメンデーション結果のデバッグ | レコメンデーション結果と再現率データをプラットフォーム上で直接可視化します |
| フィーチャーストア連携 | フィーチャーストアで特徴量を一元管理し、実験の反復を加速させます |
| テクニカルサポート | Alibaba Cloud が実装全体をサポートします。詳細なチューニングやカスタマイズについては、Alibaba Cloud のカスタマーサービスにご連絡ください |
依存するクラウドサービス
PAI-Rec は、以下の Alibaba Cloud サービスと連携します。
| サービス | PAI-Rec における役割 |
|---|---|
| Platform for AI (PAI) | エンドツーエンドの AI 開発：データラベリング、モデル構築、モデルトレーニング、モデルデプロイ、推論の最適化。EasyRec (再現率およびランキングモデルのトレーニング) と Elastic Algorithm Service (EAS) (スケーラブルなスコアリング) は PAI 上で実行されます。 |
| EasyRec アルゴリズムフレームワーク | 業界をリードするディープラーニングモデルを組み込んだアルゴリズムフレームワーク。TensorFlow 1.12 以降、TensorFlow 2.4 以前、および PAI-TensorFlow をサポートします。再現率、粗ランキング、詳細ランキング、再ランキング、多目的ランキング、コールドスタートをカバーします。 |
| DataWorks と MaxCompute | 特徴量処理、サンプル生成、プロファイル管理、モデルスケジューリング、データ更新のためのクラウドネイティブなビッグデータサービスです。PAI-Rec は、ビッグデータ処理に DataWorks と MaxCompute のみをサポートします。他のビッグデータサービスを統合するには、エンジンコードを変更する必要があります。変更する前に、アーキテクトと調整してください。 |
| Hologres | 統合されたリアルタイムデータウェアハウスサービスです。ユーザー特徴量を保存し、アイテム間 (I2I) クエリとベクトルクエリをサポートします。標準 SQL (PostgreSQL 構文) と互換性があり、ペタバイトスケールまでの OLAP およびアドホック分析をサポートします。高い同時実行数と低レイテンシーのオンラインデータサービスを提供し、複数のワークロードの詳細な隔離とエンタープライズレベルのセキュリティ機能をサポートします。MaxCompute、Realtime Compute for Apache Flink、DataWorks と深く統合されています。 |
| Graph Compute | 数兆件のデータレコードをサポートする高性能な分散グラフコンピューティングサービスです。検索連動型広告、リアルタイムのリスク管理、知識グラフ、ソーシャルネットワークのシナリオで使用されます。 |