このチュートリアルでは、推薦アルゴリズムに合わせた特徴量エンジニアリングを使用し、元のデータセット (ユーザー、アイテム、行動テーブルを含む) を処理して、後続のリコールとランキングのために新しい特徴量テーブルを生成します。
前提条件
-
PAI (Designer) が有効化され、デフォルトのワークスペースが作成されていること。詳細については、「PAI を有効化し、デフォルトのワークスペースを作成」をご参照ください。
-
MaxCompute コンピューティングリソースがワークスペースに関連付けられていること。詳細については、「ワークスペースのコンピューティングリソースの管理」をご参照ください。
-
MaxCompute データソースが作成され、ワークスペースのエンジンとして関連付けられていること。詳細については、「MaxCompute データソースの作成」をご参照ください。
データセット
このチュートリアルで使用されるユーザー、アイテム、行動テーブルは、デモンストレーション目的でスクリプトによって生成されたものであり、実際のデータは含まれていません。
ユーザーテーブル
|
パラメーター |
タイプ |
説明 |
|
user_id |
bigint |
ユーザーの一意の ID。 |
|
gender |
string |
ユーザーの性別。 |
|
age |
bigint |
ユーザーの年齢。 |
|
city |
string |
ユーザーが居住する都市。 |
|
item_cnt |
bigint |
ユーザーが作成したアイテムの数。 |
|
follow_cnt |
bigint |
このユーザーがフォローしているユーザーの数。 |
|
follower_cnt |
bigint |
フォロワーの数。 |
|
register_time |
bigint |
登録時間。 |
|
tags |
string |
ユーザーのタグ。 |
|
ds |
string |
テーブルのパーティションキー。 |
アイテムテーブル
|
パラメーター |
タイプ |
説明 |
|
item_id |
bigint |
アイテムの一意の ID。 |
|
duration |
double |
動画の再生時間。 |
|
title |
string |
タイトル。 |
|
category |
string |
プライマリカテゴリ。 |
|
author |
bigint |
著者。 |
|
click_count |
bigint |
クリックの総数。 |
|
praise_count |
bigint |
「いいね!」の総数。 |
|
pub_time |
bigint |
公開時間。 |
|
ds |
string |
テーブルのパーティションキー。 |
行動テーブル
|
パラメーター |
タイプ |
説明 |
|
request_id |
bigint |
リクエスト ID またはトラッキング ID。 |
|
user_id |
bigint |
ユーザーの一意の ID。 |
|
exp_id |
string |
実験 ID。 |
|
page |
string |
ページ。 |
|
net_type |
string |
ネットワークタイプ。 |
|
event_time |
bigint |
イベントが発生した時間。 |
|
item_id |
bigint |
アイテム ID。 |
|
event |
string |
イベントタイプ。 |
|
playtime |
double |
再生または閲覧時間。 |
|
ds |
string |
テーブルのパーティションキー。 |
操作手順
ステップ 1: Designer ページへの移動
-
PAI コンソールにログインします。
-
左側メニューで [Workspaces] をクリックします。[Workspaces] ページで、管理するワークスペースの名前をクリックします。
-
ワークスペースの左側メニューで、[Model Development and Training] > [Visualized Modeling (Designer)] を選択します。
ステップ 2: パイプラインの構築
-
Designer ページで、[Preset Templates] タブをクリックします。
-
[Recommended solution-feature engineering] セクションで、 [Create] をクリックします。
-
[Create pipeline] ダイアログボックスで、パラメーターを設定します。デフォルト設定を使用できます。
[Pipeline data storage] パラメーターには、パイプラインの実行中に生成される一時データとモデルを格納するための OSS バケットパスを指定します。
-
[OK] をクリックします。
約 10 秒でパイプラインが作成されます。
-
パイプラインリストで、[Recommended solution-feature engineering] パイプラインをダブルクリックして開きます。
-
テンプレートに基づいて、次の図に示すように、システムが自動的にパイプラインを構築します。

コンポーネント
説明
1
アイテムテーブルを前処理します:
-
特徴量生成 (FG) ステップでは、タグ特徴量の区切り文字を
chr(29)に置き換えます。 -
アイテムが新しいかどうかを示す特徴量を生成します。
2
行動テーブルを前処理します:イベント時間から
day_hやweek_dayなどの時間派生特徴量を生成します。3
ユーザーテーブルを前処理します:
-
ユーザーが新しいかどうかを示す特徴量を生成します。
-
特徴量生成 (FG) ステップでは、タグ特徴量の区切り文字を
chr(29)に置き換えます。
4
行動、ユーザー、アイテムのテーブルを結合して、統計属性を持つ幅広行動ログテーブルを作成します。
5
特定の期間におけるアイテムの統計的特徴量を含むアイテム特徴量テーブルを生成します:
-
item__{event}_cnt_{N}d:N 日以内に特定のイベントがアイテムで発生した回数。これはアイテムの人気度を示します。 -
item__{event}_{itemid}_dcnt_{N}d:N 日以内に特定のイベントでアイテムとインタラクションしたユニークユーザー数。これはアイテムの人気度を示します。 -
item__{min|max|avg|sum}_{field}_{N}d:N 日以内にアイテムに対するポジティブなインタラクションを行ったユーザーの数値属性の統計分布 (min、max、avg、または sum)。これは特定の数値属性を持つユーザーの嗜好を示します。 -
item__kv_{cate}_{event}_{N}d:N 日以内にアイテムでの特定のイベントに対するユーザーのカテゴリカル属性の統計。これは特定のカテゴリカル属性を持つユーザーの嗜好を示します。
6
特定の期間におけるユーザーの統計的特徴量を含むユーザー特徴量テーブルを生成します。
-
ステップ 3: カスタム関数の追加
-
ワークフローを作成します。詳細については、「ワークフローの作成」をご参照ください。
-
作成したワークフローの下にある [MaxCompute] を右クリックし、 [New Resource] > [Python] を選択して、count_cates_kvs.py という名前の Python スクリプトリソースを作成します。詳細については、「MaxCompute リソースの作成と使用」をご参照ください。
-
作成したワークフローの下にある [MaxCompute] を右クリックし、 [New Function] を選択します。
COUNT_CATES_KVSという名前の MaxCompute 関数を作成します。[Class name] にcount_cates_kvs.CountCatesKVSを、[Resource list] にcount_cates_kvs.pyを設定します。詳細については、「カスタム関数の作成と使用」をご参照ください。
ステップ 4: パイプラインの実行と結果の表示
デフォルトでは、このパイプラインは 45 日分のデータを処理するため、実行に時間がかかることがあります。実行を高速化するには、次のように処理するデータ量を減らすことができます:
-
実行期間パラメーターを更新して、より短い期間のデータを使用します。
-
次の各コンポーネントをクリックし、右側の パラメーター設定 タブで、[Execution Time Window] パラメーターをデフォルトの
(-45,0]から(-9,0]に変更します:-
1_rec_sln_demo_item_table_preprocess_v2 -
2_rec_sln_demo_behavior_table_preprocess_v2 -
3_rec_sln_demo_user_table_preprocess_v2 -
4_rec_sln_demo_behavior_table_preprocess_wide_v2
-
-
次の各コンポーネントをクリックし、右側の パラメーター設定 タブで、[Execution Time Window] パラメーターを
(-31,0]から(-8,0]に変更します:-
5_rec_sln_demo_item_table_preprocess_all_feature_v2 -
6_rec_sln_demo_user_table_preprocess_all_feature_v2
-
-
-
SQL スクリプトを変更して、より小さなユーザーサンプルを選択します。
-
ノード
2_rec_sln_demo_behavior_table_preprocess_v2をクリックし、右側の パラメーター設定 タブで、 [SQL Script] パラメーターのコードの 32 行目をWHERE ds = '${pai.system.cycledate}'からWHERE ds = '${pai.system.cycledate}' and user_id %10=1に変更します。 -
コンポーネント
3_rec_sln_demo_user_table_preprocess_v2をクリックし、右側の パラメーター設定 タブで、 [SQL Script] パラメーターの 38 行目をWHERE ds = '${pai.system.cycledate}'からWHERE ds = '${pai.system.cycledate}' and user_id %10=1に変更します。
-
-
Designer キャンバスの上にあるツールバーで、実行アイコン
をクリックします。 -
パイプラインの実行が完了したら、次の MaxCompute テーブルに 8 日分のデータが含まれていることを確認します:
-
アイテム特徴量テーブル:
rec_sln_demo_item_table_preprocess_all_feature_v2 -
幅広行動ログテーブル:
rec_sln_demo_behavior_table_preprocess_wide_v2 -
ユーザー特徴量テーブル:
rec_sln_demo_user_table_preprocess_all_feature_v2
これらのテーブルのデータは、SQL クエリページで照会できます。詳細については、「DataWorks を使用した接続」をご参照ください。
説明これらのテーブルが属するプロジェクトでは、パーティションテーブルに対するフルテーブルスキャンが禁止されています。クエリでパーティション条件を指定する必要があります。フルテーブルスキャンが必要な場合は、SQL ステートメントの前に
set odps.sql.allow.fullscan=true;ステートメントを追加して、一緒に実行します。フルテーブルスキャンはより多くのデータを処理するため、コストが増加する可能性があります。 -