パブリックデータセットを使用して PAI-Rec をすぐに開始します。特徴量エンジニアリング、リコール、詳細ランキングなどのカスタム推薦アルゴリズムの主要な機能を設定し、コードを生成して DataWorks の対応するワークフローにデプロイします。
前提条件
開始する前に、以下を完了してください:
PAI を有効化します。詳細については、「PAI の有効化とデフォルトワークスペースの作成」をご参照ください。
Virtual Private Cloud (VPC) と vSwitch を作成します。詳細については、「IPv4 CIDR ブロックを持つ VPC の作成」をご参照ください。
PAI-FeatureStore を有効化します。詳細については、「データソースの作成」の「前提条件」セクションをご参照ください。Hologres の有効化は不要です。データソースには FeatureDB を選択します。詳細については、「オンラインデータソースの作成:FeatureDB」をご参照ください。
MaxCompute を有効化し、`project_mc` という名前の MaxCompute プロジェクトを作成します。詳細については、「MaxCompute の有効化」および「MaxCompute プロジェクトの作成」をご参照ください。
Object Storage Service (OSS) バケットを作成します。詳細については、「バケットの作成」をご参照ください。
DataWorks ワークスペースを作成します。詳細については、「ワークスペースの作成」をご参照ください。
DataWorks 用のサーバーレスリソースグループを購入します。詳細については、「サーバーレスリソースグループの使用」をご参照ください。このリソースグループは、PAI-FeatureStore のデータを同期し、eascmd コマンドを実行して PAI-EAS サービスを作成および更新します。
DataWorks データソースを設定します:
OSS データソースを作成してバインドします。詳細については、「データソース管理」をご参照ください。
MaxCompute データソースを作成してバインドします。詳細については、「MaxCompute コンピュートエンジンのバインド」をご参照ください。
FeatureStore プロジェクトと特徴量エンティティを作成します。サーバーレスリソースグループを使用する場合は、このステップをスキップしてください。DataWorks に専用リソースグループを使用する場合は、リソースグループに FeatureStore Python SDK をインストールする必要があります。詳細については、「ステップ 2:FeatureStore の作成と登録」および「FeatureStore Python SDK のインストール」をご参照ください。
Realtime Compute for Apache Flink を有効化します。詳細については、「Realtime Compute for Apache Flink の有効化」をご参照ください。注意:[ストレージタイプ] は [OSS バケット] に設定し、[完全マネージドストレージ] には設定しないでください。Flink の OSS バケットが PAI-Rec で設定されているものと同じであることを確認してください。Flink はリアルタイムのユーザー行動データを記録し、リアルタイムのユーザー特徴量を計算します。
後で EasyRec (TensorFlow フレームワーク) を使用することを選択した場合、トレーニングはデフォルトで MaxCompute 上で実行されます。
後で TorchEasyRec (PyTorch フレームワーク) を使用することを選択した場合、トレーニングはデフォルトで PAI-DLC 上で実行されます。PAI-DLC で MaxCompute データをダウンロードするには、Data Transmission Service を有効化する必要があります (「Data Transmission Service の専用リソースグループの購入と使用」をご参照ください)。
1. PAI-Rec インスタンスの作成
PAI-Rec のホームページにログインし、[今すぐ購入] をクリックします。
PAI-Rec インスタンス購入ページで、次のパラメーターを設定し、[今すぐ購入] をクリックします。
パラメーター
説明
リージョンとアベイラビリティゾーン
サービスがデプロイされるリージョン。
サービスタイプ
このソリューションでは、Standard Edition を選択し、推奨構成のカスタマイズ 機能を有効にします。
PAI-Rec コンソールにログインします。左上のトップメニューバーで、リージョンを選択します。
左側のナビゲーションウィンドウで、[インスタンスリスト] を選択します。インスタンス名をクリックして、インスタンス詳細ページに移動します。
操作ガイド セクションで、クラウドプロダクトの設定 をクリックします。 システム設定 > クラウドプロダクトの設定 ページが表示されます。 編集 をクリックして以下のパラメーターを設定し、ログアウト をクリックします。
左側のナビゲーションウィンドウで、システム設定 > 権限管理 を選択します。サービスへのアクセス タブで、各クラウドプロダクトが正しく承認されていることを確認します。
2. パブリックデータセットのクローン
1. テーブルの同期
このソリューションは、2 つの方法で入力データを受け入れます:
pai_online_projectプロジェクトから固定タイムウィンドウのデータをクローンします。この方法は、定期的なスケジューリングをサポートしていません。Python スクリプトを使用してデータを生成します。DataWorks でタスクを実行して、特定の期間のこのデータを生成できます。
毎日のデータ生成とモデルトレーニングをスケジュールするには、2 番目の方法を使用します。指定された Python コードをデプロイしてデータを生成します。詳細については、[コードを使用してデータを生成] タブをご参照ください。
固定タイムウィンドウ
PAI-Rec は、公開されている pai_online_project プロジェクトで、推薦アルゴリズム用の 3 つの一般的なテーブルを提供します:
ユーザーテーブル:
pai_online_project.rec_sln_demo_user_tableアイテムテーブル:
pai_online_project.rec_sln_demo_item_table行動テーブル:
pai_online_project.rec_sln_demo_behavior_table
データはデモンストレーション目的でランダムに生成されるため、トレーニングによる AUC などのメトリックは低くなります。DataWorks で SQL コマンドを実行して、pai_online_project プロジェクトからご利用の DataWorks プロジェクト (例:DataWorks_a) にテーブルデータを同期します。次の手順に従ってください:
DataWorks コンソールにログインします。トップメニューバーで、リージョンを選択します。
左側のナビゲーションウィンドウで、データ開発と О&М > [データ開発] をクリックします。
作成した DataWorks ワークスペースを選択し、[データ開発へ移動] をクリックします。
新規作成 にカーソルを合わせ、[ノードの作成] > MaxCompute > [ODPS SQL] を選択します。次の表の説明に従ってパラメーターを設定し、OK をクリックします。
新しいノードのエディターで、次のコードを貼り付けて実行し、ユーザー、アイテム、行動テーブルを
pai_online_projectプロジェクトからご利用の MaxCompute プロジェクト (例:project_mc) に同期します。このコードには 100 日間のデータウィンドウが必要です。このウィンドウを前日に終了するように定義するには、[スケジューリングパラメーター] セクションに移動し、[パラメーターの追加] をクリックして、値が$[yyyymmdd-1]のbizdateと、値が$[yyyymmdd-100]のbizdate_100の 2 つのパラメーターを追加します。
CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_v1(
user_id BIGINT COMMENT '一意のユーザー ID',
gender STRING COMMENT '性別',
age BIGINT COMMENT '年齢',
city STRING COMMENT '都市',
item_cnt BIGINT COMMENT '作成されたアイテム数',
follow_cnt BIGINT COMMENT 'フォロー数',
follower_cnt BIGINT COMMENT 'フォロワー数',
register_time BIGINT COMMENT '登録時間',
tags STRING COMMENT 'ユーザータグ'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_user_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_user_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_item_table_v1(
item_id BIGINT COMMENT 'アイテム ID',
duration DOUBLE COMMENT 'ビデオの持続時間',
title STRING COMMENT 'タイトル',
category STRING COMMENT 'プライマリタグ',
author BIGINT COMMENT '作成者',
click_count BIGINT COMMENT '総クリック数',
praise_count BIGINT COMMENT '総いいね数',
pub_time BIGINT COMMENT '公開時間'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_item_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_item_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";
CREATE TABLE IF NOT EXISTS rec_sln_demo_behavior_table_v1(
request_id STRING COMMENT 'インストルメンテーション ID/リクエスト ID',
user_id STRING COMMENT '一意のユーザー ID',
exp_id STRING COMMENT '実験 ID',
page STRING COMMENT 'ページ',
net_type STRING COMMENT 'ネットワークタイプ',
event_time BIGINT COMMENT '行動時間',
item_id STRING COMMENT 'アイテム ID',
event STRING COMMENT '行動タイプ',
playtime DOUBLE COMMENT '再生/読み取り持続時間'
) PARTITIONED BY (ds STRING) STORED AS ALIORC;
INSERT OVERWRITE TABLE rec_sln_demo_behavior_table_v1 PARTITION(ds)
SELECT *
FROM pai_online_project.rec_sln_demo_behavior_table
WHERE ds >= "${bizdate_100}" and ds <= "${bizdate}";コード生成
固定タイムウィンドウデータでは、定期的なタスクスケジューリングはサポートされていません。定期タスクを実行するには、Python スクリプトをデプロイしてデータを生成する必要があります。次の手順に従ってください:
DataWorks コンソールで、PyODPS 3 ノードを作成します。詳細については、「MaxCompute ノードの作成と管理」をご参照ください。
create_data.py をダウンロードし、その内容を PyODPS 3 ノードに貼り付けます。
右側の スケジューリング構成 をクリックし、次のパラメーターを設定してから、右上隅の [保存]
と [送信]
をクリックします。スケジューリングパラメーターを設定します:
$user_table_nameパラメーターをrec_sln_demo_user_tableに設定します。$item_table_nameパラメーターをrec_sln_demo_item_tableに設定します。$behavior_table_nameパラメーターをrec_sln_demo_behavior_tableに設定します。テーブル名パラメーターに加えて、業務日付のパラメーターも追加する必要があります。
このパラメーターの名前は bizdate です。
その値を
$[yyyymmdd-1]に設定します。
スケジューリングの依存関係を設定します。
オペレーションセンターに移動し、 を選択します。
対象タスクの [操作] 列で、 を選択します。
[データバックフィル] パネルで、営業日を設定し、[送信して実行] をクリックします。
データバックフィルの最適な時間範囲は 60 日です。データの整合性を確保するために、業務日付を
タスクスケジュール日 - 60に設定することを推奨します。
2. 依存関係ノードの設定
コードの生成とデプロイをスムーズに行うために、DataWorks プロジェクトに 3 つの SQL コードノードを追加します。これらのノードのスケジューリング依存関係をワークスペースのルートノードに設定し、ノードを公開します。
新規作成 にカーソルを合わせ、[ノードの作成] > 全般 > [仮想ノード] を選択します。次のリソース設定で 3 つの仮想ノードを作成し、OK をクリックします。
各仮想ノードの内容を
select 1;に設定します。次に、右側の スケジューリング構成 をクリックし、次の設定を構成します:[時間プロパティ] セクションで、[再実行プロパティ] を [成功または失敗した場合に再実行] に設定します。
[スケジューリング依存関係] > [上流依存関係] セクションで、DataWorks ワークスペース名を入力し、_root サフィックスの付いたノードを選択して、追加 をクリックします。
これらの設定を 3 つすべての仮想ノードに適用します。
各仮想ノードの横にある
アイコンをクリックして送信します。
3. データの登録
カスタム推薦ソリューションで特徴量エンジニアリング、リコール、ソートアルゴリズムを設定するには、まず DataWorks プロジェクトに同期された 3 つのテーブルを登録します。
PAI-Rec コンソールにログインします。トップメニューバーで、リージョンを選択します。
左側のナビゲーションウィンドウで、[インスタンスリスト] を選択します。インスタンス名をクリックして、インスタンス詳細ページを開きます。
左側のナビゲーションウィンドウで、推奨構成のカスタマイズ > データ登録 を選択します。MaxCompute テーブル タブで、データテーブルの追加 をクリックします。次の表の説明に従って、1 つのユーザーテーブル、1 つのアイテムテーブル、1 つの行動テーブルを追加し、インポートの開始 をクリックします。
パラメーター
説明
例
MaxCompute プロジェクト
ご利用の MaxCompute プロジェクトを選択します。
project_mc
MaxCompute テーブル
DataWorks ワークスペースに同期されたデータテーブルを選択します。
ユーザーテーブル:rec_sln_demo_user_table_v1
アイテムテーブル:rec_sln_demo_item_table_v1
行動テーブル:rec_sln_demo_behavior_table_v1
データテーブル名
カスタム名を入力します。
user table
item table
behavior table
4. 推薦シナリオの作成
推薦タスクを設定する前に、推薦シナリオを作成します。推薦シナリオとトラフィック ID の説明については、「基本概念」をご参照ください。
左側のナビゲーションウィンドウで、推奨シナリオ をクリックします。シナリオの作成 をクリックし、次の表に従って新しいシナリオを設定し、OK をクリックします。
5. アルゴリズムソリューションの設定
実際のシナリオを完全に設定するには、次のリコールと詳細ランキングの設定を使用します:
グローバルホットリコール:ログデータから最も人気のある上位 k 個のアイテムを選択します。
グローバルホットフォールバックリコール:Redis をフォールバックとして使用し、推薦 API からの空の応答を防ぎます。
グループ化ホットリコール:グループ (例:都市、性別) ごとにアイテムをリコールし、より正確な人気アイテムの推薦を提供します。
etrec u2i リコール:etrec 協調フィルタリングアルゴリズムを使用します。
Swing u2i リコール (オプション):Swing アルゴリズムを使用します。
コールドスタートリコール (オプション):DropoutNet アルゴリズムを使用してコールドスタートシナリオを処理します。
詳細ランキング:単一目的ランキングには MultiTower を、多目的ランキングには DBMTL を使用します。
ベクトルリコールや PDN リコールなどのアルゴリズムは、最初のリコールが候補のほとんどをカバーした後にのみ有効にすべきです。ベクトルリコールにはベクトルリコールエンジンが必要です。FeatureDB はベクトルリコールをサポートしていないため、この例では設定しません。
プロセスを簡略化するため、この例ではリコールにグローバルホットリコールと RECommender (eTREC、協調フィルタリングの実装) の u2i リコール戦略のみを使用し、ソートには詳細ランキングを使用します。
左側のナビゲーションウィンドウで、推奨構成のカスタマイズ > ソリューション構成 を選択します。作成したシナリオを選択し、推奨プランの作成 をクリックし、次のリソース設定を提供してから、保存してアルゴリズムプランの構成へ をクリックします。
指定されていないパラメーターについては、デフォルト値を保持します。詳細については、「データテーブル設定」をご参照ください。
データテーブルの設定 ノードで、対象のデータテーブルの横にある 追加 をクリックします。次のセクションで詳述するように、行動ログテーブル、ユーザーテーブル、アイテムテーブルのパーティション、イベント、特徴量、タイムスタンプを設定します。次へ をクリックします。
説明されていないパラメーターについては、デフォルト値を保持できます。詳細については、「データテーブル設定」をご参照ください。
特徴の設定 ノードで、次の表の説明に従ってパラメーターを設定し、特徴の生成 をクリックし、特徴量バージョンを設定してから、次へ をクリックします。
特徴の生成 をクリックすると、システムはユーザーとアイテムのさまざまな統計的特徴量を導出します。このソリューションではデフォルトの導出特徴量を使用しますが、ビジネス要件に基づいて編集できます。詳細については、「特徴量設定」をご参照ください。
取得設定 ノードで、対象カテゴリの横にある 追加 をクリックし、パラメーターを設定し、OK をクリックしてから、次へ をクリックします。
すぐに開始するには、グローバルホットリコールと etrec u2i リコールを設定します。他の方法は参考として提供されています。
ソート設定 ノードで、[詳細ランキング] の横にある 追加 をクリックし、以下のようにパラメーターを設定し、OK をクリックしてから、次へ をクリックします。
スクリプトの生成 ノードで、デプロイメントスクリプトの生成 をクリックします。
重要デプロイスクリプトが生成されると、システムはすべてのデプロイファイルを含む OSS アドレスを提供します。後でデプロイスクリプトを手動で実行するために、このアドレスを保存できます。
スクリプトが生成されたら、ダイアログボックスの OK をクリックして、推奨構成のカスタマイズ > デプロイメントレコード ページに移動します。
スクリプトの生成に失敗した場合は、実行ログを確認してエラーを特定して修正し、スクリプトを再生成します。
6. 推薦のデプロイ
スクリプトが生成されたら、2 つの方法で DataWorks にデプロイできます。
方法 1:統合デプロイメント
対象ソリューションの右側にある デプロイメントへ をクリックします。[デプロイメントレコード] ページでは、[シナリオ] と [デプロイメントステータス] でレコードをフィルタリングできます。対象の推薦ソリューション (例:
pai_rec_testdemo_v1) を見つけ、そのデプロイメントステータスが [準備完了] であることを確認します。デプロイメントのプレビュー ページの ファイル diff セクションで、デプロイするファイルを選択します。初回デプロイメントの場合は、すべて選択 をクリックし、次に Dataworksへのデプロイメント をクリックします。
ページは デプロイメントレコード ページに戻ります。このページでは、[ホームページ] シナリオの
pai_rec_testdemo_v1レコメンデーションソリューションの [デプロイステータス] が [実行中] と表示されます。しばらく待ってから、
をクリックしてリストを更新し、デプロイメントステータスを確認します。デプロイメントが失敗した場合は、操作 列の ログの表示 をクリックします。特定のエラーを分析して解決した後、スクリプトを再生成してデプロイします。
デプロイメントの状態 が 完了 に変更されると、このソリューション用に設定された DataWorks ワークスペース内の DataStudio に移動して、デプロイされたコードを表示できます。 詳細については、「データ開発: 開発者」をご参照ください。 DataStudio の左側のナビゲーションウィンドウで ビジネスフロー > ワークフロー > MaxCompute > データ開発 を展開すると、feature、feature_v726、rank_v1、recall_v1 (etrec_u2i_recall および global_hot_recall サブノードを含む)、および test などのデプロイされたノードフォルダを表示できます。
タスクデータのバックフィルプロセスを表示します。
ページで、正常にデプロイされたソリューションの 操作 列の 詳細 をクリックします。
デプロイメントのプレビュー ページで [タスクデータバックフィルプロセスを表示] をクリックして、プロセスとその手順を確認します。
ユーザーテーブル、アイテムテーブル、ユーザー行動テーブルのパーティションに、直近 n 日間のデータが含まれていることを確認します。ここで n は、トレーニングタイムウィンドウと最大特徴量タイムウィンドウの合計です。このトピックのデモデータを使用している場合は、最新のデータパーティションを同期します。Python スクリプトでデータを生成している場合は、DataWorks オペレーションセンターでデータバックフィルを実行して最新のパーティションを生成します。
左上隅の バックフィルジョブの作成 をクリックし、次に バックフィルタスク一覧 の下にある タスクの順次起動 をクリックします。すべてのタスクが正常に実行されることを確認します。タスクが失敗した場合は、詳細 をクリックしてログ情報を表示し、エラーを分析して解決してからタスクを再実行します。再実行が成功したら、ページ左上隅の 再開 をクリックし、すべてのタスクが成功するまで続けます。データバックフィルプロセスの DAG は、完全な特徴量エンジニアリングパイプラインを示しています:上部には 3 つのデータソーステーブル (
pairec_demo.rec_sln_demo_item_table_v1、pairec_demo.rec_sln_demo_behavior_table_v1、pairec_demo.rec_sln_demo_user_table_v1) があり、これらは順に前処理、ワイドテーブル構築 (例:behavior_table_v1_wide)、集計統計 (例:item_id_30d_aggおよびuser_id_30d_agg)、静的特徴抽出を経て、完全な特徴量テーブル (例:item_table_v1_all_featおよびuser_table_v1_all_feat) を生成します。最後に、PyODPS3 タイプのcreate_sync_onlinestoreノードがデータをオンライン特徴量ストアに同期します。各ノードカードには、開始日と終了日、データバックフィルの順序などの情報が含まれています。左上隅の [バックフィルタスクの作成] ボタンが、このデータバックフィルプロセスを開始します。
方法 2:移行アシスタント
DataWorks コンソールの移行アシスタントを使用して、スクリプトを手動でデプロイすることもできます。その他の操作については、「DataWorks インポートタスクの作成と表示」をご参照ください。
インポート名:コンソールのプロンプトに従って設定します。
アップロード方法:[OSS ファイル] を選択し、[OSS リンク] を入力して、[検証] をクリックします。
デプロイファイルは、ステップ 5 で生成された OSS アドレスに保存されます。例:
oss://examplebucket/algoconfig/plan/1723717372/package.zip。OSS コンソールにログインし、以下の手順でファイルの URL を取得できます。OSS コンソールの左側のナビゲーションウィンドウで、[バケットリスト] をクリックします。対象のバケットに移動し、[ファイルリスト] をクリックします。対象のファイル (例:package.zip) を見つけてクリックします。右側に表示される詳細パネルで、[HTTPS] トグルを有効にし、[ファイル URL のコピー] をクリックして署名付き URL を取得します。この URL を OSS リンクとして使用します。
7. ノードのフリーズ
バックフィルが完了したら、オペレーションセンターでタスク (ステップ 2.2 の 3 つのノード) をフリーズして、毎日実行されないようにします。
DataWorks のオペレーションセンターで、定期タスクの運用保守 > 定期タスク に移動します。ノード (たとえば rec_sln_demo_user_table_v1) を検索し、ノード (Workspace.node name) を選択して、[一時停止 (凍結)] を選択します。