パブリックデータセットを使用して PAI-Rec で特徴量エンジニアリング、リコール、ランキングを設定し、生成されたコードを DataWorks にデプロイします。モジュール式アプローチにより、パイプラインの他の部分に影響を与えることなく、個々のコンポーネントを公開または非公開にできます。
レコメンデーションソリューションのカスタマイズをモジュール化する理由:
特徴量グループにより、モデルの反復が簡素化されます。
ワンクリック公開により、コードがデプロイされ、データバックフィルが自動的に開始されます。
ランキングモジュールのみが、必要なすべてのコンポーネント (特徴量グループ、サンプル、特徴量生成モジュール) を完全にバックフィルするため、特徴量エンジニアリングのエラーによる手戻りを削減します。
前提条件
以下の準備を完了してください:
Virtual Private Cloud (VPC) と vSwitch を作成します。IPv4 CIDR ブロックを持つ VPC を構築します。
PAI-FeatureStore をアクティブ化します (「データソースの作成」の「前提条件」セクションをご参照ください)。Hologres はアクティブ化しないでください。データソースとして FeatureDB を選択します (オンラインデータソースの作成:FeatureDB)。
MaxCompute をアクティブ化し、
project_mcという名前で MaxCompute プロジェクトを作成します。購入ガイドを参照し、以下の操作を完了します:
サーバーレスリソースグループを購入します (サーバーレスリソースグループの使用)。このリソースグループは、PAI-FeatureStore のデータを同期し、
eascmdコマンドを実行して PAI-Elastic Algorithm Service (PAI-EAS) サービスを作成および更新します。DataWorks データソースを設定します:
OSS データソースを作成してバインドします (データソース管理)。
MaxCompute データソースを作成してバインドします (MaxCompute 計算リソースのバインド)。
FeatureStore プロジェクトと特徴量エンティティを作成します (ステップ 2:FeatureStore の作成と登録)。サーバーレスリソースグループを使用する場合は、このステップをスキップします。専用リソースグループを使用する場合は、リソースグループに FeatureStore Python SDK をインストールします (FeatureStore Python SDK のインストール)。
Realtime Compute for Apache Flink をアクティブ化します。[ストレージタイプ] には、[OSS バケット] を選択します ([フルマネージドストレージ] ではありません)。OSS バケットは、PAI-Rec 用に設定されたものと一致する必要があります。Flink はリアルタイムのユーザー動作データを記録し、リアルタイムのユーザー特徴量を計算します。
EasyRec (TensorFlow ベースのフレームワーク) を使用する場合、トレーニングはデフォルトで MaxCompute 上で実行されます。
TorchEasyRec (PyTorch ベースのフレームワーク) を使用する場合、トレーニングはデフォルトで PAI-Deep Learning Containers (PAI-DLC) 上で実行されます。PAI-DLC で MaxCompute データをダウンロードするには、Data Transmission Service をアクティブ化します。
1. PAI-Rec インスタンスの作成とサービスの初期化
レコメンデーションシステム開発プラットフォームのホームページにログインし、[今すぐ購入] をクリックします。
PAI-Rec インスタンス購入ページで、次の主要なパラメーターを設定し、[今すぐ購入] をクリックします。
パラメーター
説明
リージョンとゾーン
クラウドサービスがデプロイされているリージョン。
サービスタイプ
[Standard Edition とレコメンデーションソリューションのカスタマイズを有効にする] を選択します。
PAI-Rec 管理コンソールにログインします。トップメニューバーの左上隅で、リージョンを選択します。
左側のナビゲーションウィンドウで [インスタンス] を選択し、インスタンス名をクリックしてインスタンス詳細ページを開きます。
操作ガイド セクションで クラウドプロダクトの設定 をクリックして、システム設定 > クラウドプロダクトの設定 ページを開きます。編集 をクリックし、「リソース設定」テーブルに示すようにパラメーターを設定してから、ログアウト をクリックします。
左側のナビゲーションウィンドウで システム設定 > 権限管理 を選択します。サービスへのアクセス タブで、各クラウドサービスの権限付与ステータスを確認します。
2. パブリックデータセットのクローン
1. データテーブルの同期
2 つのデータ入力オプションが利用可能です:
固定タイムウィンドウ内で pai_online_project からデータをクローンします。このオプションは定期タスクをサポートしていません。
Python スクリプトを使用してデータを生成します。DataWorks でタスクを実行して、指定した時間範囲のデータを生成できます。
毎日のデータ生成とモデルトレーニングを定期的に行うには、代わりに Python スクリプトをデプロイします。「コードを使用したデータ生成」タブをご参照ください。
固定タイムウィンドウ
PAI-Rec は、パブリックプロジェクト pai_online_project に 3 つのテーブルを用意しています:
ユーザーテーブル:
pai_online_project.rec_sln_demo_user_tableアイテムテーブル:
pai_online_project.rec_sln_demo_item_table動作テーブル:
pai_online_project.rec_sln_demo_behavior_table
以下の操作では、これら 3 つのテーブルを使用します。データはシミュレーションのためにランダムに生成されるため、AUC などのトレーニングメトリックが低くなる可能性があります。DataWorks で SQL コマンドを実行して、テーブルデータを pai_online_project からご利用の DataWorks プロジェクト (例:DataWorks_a) に同期します:
DataWorks コンソールにログインし、トップメニューバーの左上隅からリージョンを選択します。
左側のナビゲーションウィンドウで、データ開発と О&М > [データ開発] をクリックします。
作成した DataWorks ワークスペースを選択し、[データ開発] をクリックします。
新規作成 にカーソルを合わせ、[新しいノード] > MaxCompute > [ODPS SQL] を選択します。以下の表の説明に従ってパラメーターを設定し、OK をクリックします。
新しいノードエディターで、次のコードをコピーして実行し、ユーザー、アイテム、および動作テーブルを
pai_online_projectプロジェクトからご利用の MaxCompute プロジェクト (例:project_mc) に同期します。コードを実行する前に、bizdateで終わる 100 日間のデータウィンドウを指定する変数を設定します。通常、bizdateは前日に設定する必要があります。[スケジューリングパラメーター] エリアで [パラメーターの追加] をクリックし、値が$[yyyymmdd-1]の `bizdate` と、値が$[yyyymmdd-100]の `bizdate_100` の 2 つのパラメーターを追加します。次のコードを実行すると、パブリックのpai_online_projectプロジェクトからご利用のプロジェクトにデータが同期されます:
CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_v1(
user_id BIGINT COMMENT '一意のユーザー ID',
gender STRING COMMENT '性別',
age BIGINT COMMENT '年齢',
city STRING COMMENT '都市',
item_cnt BIGINT COMMENT '公開アイテム数',
follow_cnt BIGINT COMMENT 'フォローアカウント数',
follower_cnt BIGINT COMMENT 'フォロワー数',
register_time BIGINT COMMENT '登録時間',
tags STRING COMMENT 'ユーザータグ'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_user_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_user_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_item_table_v1(
item_id BIGINT COMMENT 'アイテム ID',
duration DOUBLE COMMENT '動画の持続時間',
title STRING COMMENT 'タイトル',
category STRING COMMENT 'プライマリカテゴリ',
author BIGINT COMMENT '作成者',
click_count BIGINT COMMENT '総クリック数',
praise_count BIGINT COMMENT '総いいね数',
pub_time BIGINT COMMENT '公開時間'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_item_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_item_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_behavior_table_v1(
request_id STRING COMMENT '追跡 ID/リクエスト ID',
user_id STRING COMMENT '一意のユーザー ID',
exp_id STRING COMMENT '実験 ID',
page STRING COMMENT 'ページ',
net_type STRING COMMENT 'ネットワークタイプ',
event_time BIGINT COMMENT 'イベント時間',
item_id STRING COMMENT 'アイテム ID',
event STRING COMMENT 'イベントタイプ',
playtime DOUBLE COMMENT '再生/閲覧時間'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_behavior_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_behavior_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";コード生成
固定タイムウィンドウデータは定期タスクをサポートしていません。タスクをスケジュール通りに実行するには、Python スクリプトをデプロイしてデータを生成します:
DataWorks コンソールで、PyODPS 3 ノードを作成します (MaxCompute ノードの作成と管理)。
create_data.py をダウンロードし、ファイルの内容を PyODPS 3 ノードエディターに貼り付けます。
エディターの右側で スケジューリング構成 をクリックし、パラメーターを設定します。次に、右上隅にある保存アイコン
と送信アイコン
をクリックします。スケジューリングパラメーターの設定:
変数の置換に関する注意:
スケジューリングパラメーターで、
$user_table_name引数をrec_sln_demo_user_tableに設定します。$item_table_name引数をrec_sln_demo_item_tableに設定します。$behavior_table_name引数をrec_sln_demo_behavior_tableに設定します。3 つのテーブル名引数に加えて、スクリプトは
bizdateスケジューリングパラメーターも使用し、これは$bizdate変数として渡されます。パラメーター設定:
bizdateという名前のパラメーターを追加し、その値を$[yyyymmdd-1]に設定します。
スケジューリングの依存関係を設定します。
オペレーションセンターをクリックし、 を選択します。
対象タスクの [操作] 列で、 をクリックします。
[データバックフィル] パネルでデータタイムスタンプを設定し、[送信して移動] をクリックします。
最適な 60 日間のデータバックフィル期間を確保するため、データタイムスタンプを
Scheduled Task Date - 60に設定して、データの整合性を確保します。
2. 依存ノードの設定
DataWorks プロジェクトに 3 つの仮想ノードを追加し、ルートノードにスケジューリングの依存関係を設定してから、それらを公開します:
新規作成 にカーソルを合わせ、[新しいノード] > 全般 > [仮想ノード] を選択します。以下のリソース設定を使用して 3 つの仮想ノードを作成し、OK をクリックします。
各ノードを選択し、その内容を
select 1;に設定します。次に、右側の スケジューリング構成 をクリックし、次の設定を完了します:[時間属性] セクションで、[再実行属性] を [成功または失敗後にノードを再実行] に設定します。
[スケジューリングの依存関係] > [祖先ノード] セクションで、DataWorks ワークスペース名を入力し、_root サフィックスを持つノードを選択して、追加 をクリックします。
この依存関係設定を 3 つすべての仮想ノードに適用します。
各仮想ノードの
アイコンをクリックしてノードを送信します。
3. データの登録
特徴量エンジニアリング、リコール、ランキングを設定する前に、PAI-Rec に 3 つの同期済みテーブルを登録します:
PAI-Rec 管理コンソールにログインし、左上隅からリージョンを選択します。
左側のナビゲーションウィンドウで [インスタンス] をクリックし、インスタンスの名前をクリックして詳細ページを開きます。
左側のナビゲーションウィンドウで、推奨構成のカスタマイズ > データ登録 に移動します。MaxCompute テーブル タブで、データテーブルの追加 をクリックします。以下の表の設定を使用して、ユーザーテーブル、アイテムテーブル、動作テーブルを追加します。次に、インポートの開始 をクリックします。
パラメーター
説明
例
MaxCompute プロジェクト
作成した MaxCompute プロジェクトを選択します。
project_mc
MaxCompute テーブル
DataWorks ワークスペースに同期されたデータテーブルを選択します。
ユーザーテーブル:rec_sln_demo_user_table_v1
アイテムテーブル:rec_sln_demo_item_table_v1
動作テーブル:rec_sln_demo_behavior_table_v1
データテーブル名
カスタム名を入力します。
ユーザーテーブル
アイテムテーブル
動作テーブル
4. レコメンデーションシナリオの作成
レコメンデーションタスクを設定する前に、レコメンデーションシナリオを作成します。基本概念とトラフィックエンコーディングについては、「基本概念」をご参照ください。
左側のナビゲーションウィンドウで 推奨シナリオ をクリックし、次に シナリオの作成 をクリックします。以下のリソース設定でレコメンデーションシナリオを設定し、OK をクリックします。
5. アルゴリズムの設定
完全な本番環境の設定には、次のリコールとランキングの設定が含まれます:
グローバルホットリコール:ログデータに基づいて、最も人気のある上位 K 個のアイテムを取得します。
グループ化ホットリコール:都市や性別などの特定のグループから人気のあるアイテム候補を取得し、関連性を向上させます。
Etrec u2i リコール:etrec 協調フィルタリングアルゴリズムを使用します。
Swing u2i リコール (オプション):Swing アルゴリズムを使用します。
ベクトルリコール (オプション):高度構造化セマンティックモデル (DSSM) を使用して候補を生成します。
詳細ランキング:単一目的のランキングには MultiTower モデルを使用し、多目的のランキングには DBMTL モデルを使用します。
以下の手順では、グローバルホットリコールと RECommender (eTREC、協調フィルタリングの実装) からの etrec u2i リコール、さらに詳細ランキングについて説明します。手順:
左側のナビゲーションウィンドウで 推奨構成のカスタマイズ を選択します。作成したシナリオを選択し、モジュラーレコメンデーションソリューションの作成 をクリックします。以下のリソース設定でソリューションを作成し、保存してアルゴリズムプランの構成へ をクリックします。
指定されていないパラメーターはデフォルト値のままにします。データテーブル設定。
データテーブルの設定 タブで、データテーブルの横にある 追加 をクリックします。動作ログテーブル、ユーザーテーブル、アイテムテーブルの対応するパーティション、イベント、特徴量、タイムスタンプフィールドを設定し、次へ をクリックします。
指定されていないパラメーターはデフォルト値のままにします。データテーブル設定。
特徴グループ構成 で 追加 をクリックします。以下の表に示すようにパラメーターを設定します。特徴量モジュール名とバージョンを設定し、データテーブルの設定 タブで設定したユーザーテーブル、アイテムテーブル、動作ログテーブルを選択します。
OK をクリックします。この操作により、ユーザーとアイテムの両方に対してさまざまな統計的特徴量が生成されます。この特徴量グループの 特徴の設定 をクリックして、検証特徴量を確認します。このソリューションでは、派生特徴量を編集せず、デフォルト設定を維持します。ビジネスニーズに合わせて派生特徴量を編集できます (特徴量設定)。この特徴量グループの 公開 をクリックし、最新のデータパーティション日付をタスク実行日として選択し、最大タスク並列度を 10 に設定し、その他の設定はデフォルトのままにします。次に、OK をクリックします。この操作により、ノードが生成され、DataWorks にデプロイされ、日付ごとにデータがバックフィルされます。次のステップに進む前に、モジュールのステータスが 公開済み に変わるのを待ちます。公開の詳細 をクリックして、モジュールの詳細情報を表示します。バックフィルタスク一覧 で、各タスクの実行ステータスを確認できます。タスクが失敗した場合は、タスクノードの表示 をクリックして DataWorks に移動し、詳細なエラー情報を表示します。問題を修正した後、バックフィルタスク一覧 でノードを見つけ、再実行 をクリックします。タスクが成功したら、次に進むことができます。
ラベルテーブル設定 では、このモジュールは動作テーブルからサンプルターゲットを構築します。追加 をクリックし、モジュールタイプとして [ラベルモジュール] を選択し、ラベルモジュールの名前を入力し、前のステップで設定した特徴量モジュールを選択します。[詳細ランキングターゲット設定 (ラベル)] の横にある 追加 をクリックし、次の 2 つのラベルを追加します:
ターゲット 1:[詳細ランキングターゲット名] を
is_clickに、[詳細ランキングターゲット式] をmax(if(event='click',1,0))に設定し、[ターゲットタイプ] に [CLASSIFICATION] を選択します。ターゲット 2 (「ln」の「l」は小文字であることに注意):[詳細ランキングターゲット名] を
ln_playtimeに、[詳細ランキングターゲット式] をln(sum(playtime)+1)に、[詳細ランキングターゲット依存関係] をis_clickに設定し、[ターゲットタイプ] に [REGRESSION] を選択します。次に、[OK] をクリックします。OK をクリックした後、特徴量モジュールを公開したのと同じ方法でモジュールを公開します。次のステップに進む前に、ステータスが 公開済み に変わるのを待ちます。
サンプル設定 では、このモジュールはサンプルターゲットテーブルを特徴量と関連付け、FeatureStore にモデル特徴量を生成します。追加 をクリックし、モジュールタイプとして [サンプルモジュール] を選択し、モデル特徴量の名前を付け、前のステップの特徴量およびラベルモジュールを選択します。モジュールを公開し、次のステップに進む前にステータスが 公開済み に変わるのを待ちます。
特徴生成設定 では、このモジュールはサンプルテーブルのすべての特徴量から追加の特徴量を派生させます。現在、カスタム設定はサポートされていません。追加 をクリックし、モジュールタイプとして [特徴量生成] を選択し、特徴量生成タイプとして [ランキング] を選択し、前のサンプル設定ステップのモデル特徴量モジュールを選択します。次のステップに進む前に、ステータスが 公開済み に変わるのを待ちます。
ソート設定 で、詳細ランキングセクションの 追加 をクリックします。特徴量モジュールの出力には、前のステップの特徴量生成モジュールを選択します。他のオプションはデフォルト値のままにして、OK をクリックします。次に、モジュールを公開します。ステータスが 公開済み に変わると、モデルサービスは PAI-EAS にデプロイされます。
取得設定 で、ターゲットカテゴリの横にある 追加 をクリックし、パラメーターを設定し、OK をクリックしてから、設定を 公開 します。このドキュメントには、いくつかのリコール設定メソッドが含まれています。デプロイを迅速に完了させるには、[グローバルホットリコール] と [etrec u2i リコール] のみを設定する必要があります。ベクトルリコールや協調メトリックリコールなどの他のメソッドは参考用です。