このチュートリアルでは、Machine Learning Platform for AI (PAI) のビジュアルモデリング (Designer) を使用して、深層構造化意味モデル (DSSM) の Two-Tower ベクトルリコールパイプラインを構築する方法を説明します。このチュートリアルを完了すると、次のことができるようになります。
-
プリセットテンプレートからの DSSM リコールパイプラインの作成
-
30 日間の行動データに対するネガティブサンプリングを使用したモデルのトレーニング
-
リコール用のユーザーベクトルとアイテムベクトルの生成
-
hit_rate@top200 を使用したリコール品質の評価
前提条件
開始する前に、特徴量エンジニアリングワークフローを完了して、次のデータセットを生成してください。
-
rec_sln_demo_user_table_preprocess_all_feature_v2 -
rec_sln_demo_item_table_preprocess_all_feature_v2 -
rec_sln_demo_behavior_table_preprocess_v2
Machine Learning Designer の起動
-
PAI コンソールにログオンします。
-
左側のナビゲーションペインで、[ワークスペース] をクリックし、使用するワークスペースの名前をクリックします。
-
左側のナビゲーションペインで、[モデル開発とトレーニング > 可視化モデリング (Designer)] を選択します。
パイプラインの作成
-
可視化モデリング (Designer) ページで、[プリセットテンプレート] タブをクリックします。
-
[推奨ソリューション - ベクトルリコール] セクションで、[作成] をクリックします。
-
[パイプラインの作成] ダイアログボックスで、パラメーターを設定します。デフォルト値のままでかまいません。
[パイプラインデータパス] パラメーターは、パイプラインの実行時に一時データとモデルアーティファクトを格納する Object Storage Service (OSS) バケットのパスを指定します。
-
[OK] をクリックします。
パイプラインの作成には約 10 秒かかります。パイプラインリストに [Recommended Solution - Vector Recall] が表示されたら、パイプラインの準備は完了です。
-
[推奨ソリューション - ベクトルリコール] をダブルクリックして、キャンバスにパイプラインを開きます。
パイプラインコンポーネントの理解
プリセットテンプレートを使用すると、完全な DSSM リコールパイプラインが作成されます。コンポーネントは次の順序で実行されます。
| コンポーネント | 実行内容 |
|---|---|
| 1 | ベクトルリコール用のサンプルモデル DSSM_Recall |
| 2 | サンプルモデルへの特徴量生成 (FG) の適用 |
| 3 | ポジティブサンプルテーブルを作成し、ネガティブサンプリングトレーニングに使用 |
| 4 | 数値特徴に等頻度ビニングを適用して、モデルの boundaries パラメーターを設定 |
| 5 | 列挙型特徴の一意な値をカウントして、モデルの embedding_dim および hash_bucket_size パラメーターを設定 |
| 6 | アイテム特徴への FG の適用 |
| 7 | ユーザー特徴への FG の適用 |
| 8 | rec_sln_demo_dssm_recall_30d_binning_v1 と rec_sln_demo_dssm_recall_30d_count_v1 の結果を集約して、特徴設定とステップ設定を計算 |
| 9 | ネガティブサンプリング用のアイテムテーブルを作成 |
| 10 | DSSM_Recall モデルの 30 日間のサンプルデータを離散化して、トレーニングサンプルを生成 |
| 11 | コンポーネント 8 の出力に基づいて EasyRec 設定ファイルを指定 |
| 12 | モデルトレーニングを実行 |
| 13 | rec_sln_demo_dssm_recall_item_feature_fg_encoded_v1 で分割されたアイテムモデルを使用して推論を実行し、アイテムベクトルを生成 |
| 14 | rec_sln_demo_dssm_recall_user_feature_fg_encoded_v1 で分割されたユーザーモデルを使用して推論を実行し、ユーザーベクトルを生成 |
| 15 | シーケンステーブルを作成し、hit_rate を使用してリコール品質を評価 |
| 18 | 最終的な評価指標である hit_rate@top200 を計算 |
コンポーネント 12 では、モデルトレーニングを開始する前に EasyRec 設定ファイルが存在している必要があるため、コンポーネント 11 を先に完了する必要があります。
コンポーネント 15 および 18 の hit_rate 評価では、評価日に出現した新規ユーザーと新規アイテムは除外されます。これは、これらの新規ユーザーやアイテムにはリコールするための履歴データが存在しないためです。
パイプラインの実行と結果の表示
-
キャンバスの上部ツールバーで、[実行] をクリックします。
パイプラインは、依存関係に従ってすべてのコンポーネントを実行します。キャンバス上で各コンポーネントのステータスを監視し、進行状況を確認してください。すべてのコンポーネントに完了ステータスが表示されたら、パイプラインは完了です。
-
コンポーネント 18 (
18_rec_sln_demo_recall_total_hit_rate_v1_2) を右クリックし、[データ表示] > [hit_rate_detail] を選択すると、セグメント別のリコールヒット率を確認できます。
-
コンポーネント 18 を右クリックし、[データを表示] > [total_hit_rate] を選択すると、全体のリコールヒット率を確認できます。
