すべてのプロダクト
Search
ドキュメントセンター

Platform For AI:特徴量エンジニアリング

最終更新日:Sep 11, 2026

このチュートリアルでは、推薦アルゴリズムに合わせた特徴量エンジニアリングを使用し、元のデータセット (ユーザー、アイテム、行動テーブルを含む) を処理して、後続のリコールとランキングのために新しい特徴量テーブルを生成します。

前提条件

データセット

このチュートリアルで使用されるユーザー、アイテム、行動テーブルは、デモンストレーション目的でスクリプトによって生成されたものであり、実際のデータは含まれていません。

ユーザーテーブル

パラメーター

タイプ

説明

user_id

bigint

ユーザーの一意の ID。

gender

string

ユーザーの性別。

age

bigint

ユーザーの年齢。

city

string

ユーザーが居住する都市。

item_cnt

bigint

ユーザーが作成したアイテムの数。

follow_cnt

bigint

このユーザーがフォローしているユーザーの数。

follower_cnt

bigint

フォロワーの数。

register_time

bigint

登録時間。

tags

string

ユーザーのタグ。

ds

string

テーブルのパーティションキー。

アイテムテーブル

パラメーター

タイプ

説明

item_id

bigint

アイテムの一意の ID。

duration

double

動画の再生時間。

title

string

タイトル。

category

string

プライマリカテゴリ。

author

bigint

著者。

click_count

bigint

クリックの総数。

praise_count

bigint

「いいね!」の総数。

pub_time

bigint

公開時間。

ds

string

テーブルのパーティションキー。

行動テーブル

パラメーター

タイプ

説明

request_id

bigint

リクエスト ID またはトラッキング ID。

user_id

bigint

ユーザーの一意の ID。

exp_id

string

実験 ID。

page

string

ページ。

net_type

string

ネットワークタイプ。

event_time

bigint

イベントが発生した時間。

item_id

bigint

アイテム ID。

event

string

イベントタイプ。

playtime

double

再生または閲覧時間。

ds

string

テーブルのパーティションキー。

操作手順

ステップ 1: Designer ページへの移動

  1. PAI コンソールにログインします。

  2. 左側メニューで [Workspaces] をクリックします。[Workspaces] ページで、管理するワークスペースの名前をクリックします。

  3. ワークスペースの左側メニューで、[Model Development and Training] > [Visualized Modeling (Designer)] を選択します。

ステップ 2: パイプラインの構築

  1. Designer ページで、[Preset Templates] タブをクリックします。

  2. [Recommended solution-feature engineering] セクションで、 [Create] をクリックします。

  3. [Create pipeline] ダイアログボックスで、パラメーターを設定します。デフォルト設定を使用できます。

    [Pipeline data storage] パラメーターには、パイプラインの実行中に生成される一時データとモデルを格納するための OSS バケットパスを指定します。

  4. [OK] をクリックします。

    約 10 秒でパイプラインが作成されます。

  5. パイプラインリストで、[Recommended solution-feature engineering] パイプラインをダブルクリックして開きます。

  6. テンプレートに基づいて、次の図に示すように、システムが自動的にパイプラインを構築します。image.png

    コンポーネント

    説明

    1

    アイテムテーブルを前処理します:

    • 特徴量生成 (FG) ステップでは、タグ特徴量の区切り文字を chr(29) に置き換えます。

    • アイテムが新しいかどうかを示す特徴量を生成します。

    2

    行動テーブルを前処理します:イベント時間から day_h や week_day などの時間派生特徴量を生成します。

    3

    ユーザーテーブルを前処理します:

    • ユーザーが新しいかどうかを示す特徴量を生成します。

    • 特徴量生成 (FG) ステップでは、タグ特徴量の区切り文字を chr(29) に置き換えます。

    4

    行動、ユーザー、アイテムのテーブルを結合して、統計属性を持つ幅広行動ログテーブルを作成します。

    5

    特定の期間におけるアイテムの統計的特徴量を含むアイテム特徴量テーブルを生成します:

    • item__{event}_cnt_{N}d:N 日以内に特定のイベントがアイテムで発生した回数。これはアイテムの人気度を示します。

    • item__{event}_{itemid}_dcnt_{N}d:N 日以内に特定のイベントでアイテムとインタラクションしたユニークユーザー数。これはアイテムの人気度を示します。

    • item__{min|max|avg|sum}_{field}_{N}d:N 日以内にアイテムに対するポジティブなインタラクションを行ったユーザーの数値属性の統計分布 (min、max、avg、または sum)。これは特定の数値属性を持つユーザーの嗜好を示します。

    • item__kv_{cate}_{event}_{N}d:N 日以内にアイテムでの特定のイベントに対するユーザーのカテゴリカル属性の統計。これは特定のカテゴリカル属性を持つユーザーの嗜好を示します。

    6

    特定の期間におけるユーザーの統計的特徴量を含むユーザー特徴量テーブルを生成します。

ステップ 3: カスタム関数の追加

  1. ワークフローを作成します。詳細については、「ワークフローの作成」をご参照ください。

  2. 作成したワークフローの下にある [MaxCompute] を右クリックし、 [New Resource] > [Python] を選択して、count_cates_kvs.py という名前の Python スクリプトリソースを作成します。詳細については、「MaxCompute リソースの作成と使用」をご参照ください。

  3. 作成したワークフローの下にある [MaxCompute] を右クリックし、 [New Function] を選択します。COUNT_CATES_KVS という名前の MaxCompute 関数を作成します。[Class name] に count_cates_kvs.CountCatesKVS を、[Resource list] に count_cates_kvs.py を設定します。詳細については、「カスタム関数の作成と使用」をご参照ください。

ステップ 4: パイプラインの実行と結果の表示

説明

デフォルトでは、このパイプラインは 45 日分のデータを処理するため、実行に時間がかかることがあります。実行を高速化するには、次のように処理するデータ量を減らすことができます:

  • 実行期間パラメーターを更新して、より短い期間のデータを使用します。

    • 次の各コンポーネントをクリックし、右側の パラメーター設定 タブで、[Execution Time Window] パラメーターをデフォルトの (-45,0] から (-9,0] に変更します:

      • 1_rec_sln_demo_item_table_preprocess_v2

      • 2_rec_sln_demo_behavior_table_preprocess_v2

      • 3_rec_sln_demo_user_table_preprocess_v2

      • 4_rec_sln_demo_behavior_table_preprocess_wide_v2

    • 次の各コンポーネントをクリックし、右側の パラメーター設定 タブで、[Execution Time Window] パラメーターを (-31,0] から (-8,0] に変更します:

      • 5_rec_sln_demo_item_table_preprocess_all_feature_v2

      • 6_rec_sln_demo_user_table_preprocess_all_feature_v2

  • SQL スクリプトを変更して、より小さなユーザーサンプルを選択します。

    • ノード 2_rec_sln_demo_behavior_table_preprocess_v2 をクリックし、右側の パラメーター設定 タブで、 [SQL Script] パラメーターのコードの 32 行目を WHERE ds = '${pai.system.cycledate}' から WHERE ds = '${pai.system.cycledate}' and user_id %10=1 に変更します。

    • コンポーネント 3_rec_sln_demo_user_table_preprocess_v2 をクリックし、右側の パラメーター設定 タブで、 [SQL Script] パラメーターの 38 行目を WHERE ds = '${pai.system.cycledate}' から WHERE ds = '${pai.system.cycledate}' and user_id %10=1 に変更します。

  1. Designer キャンバスの上にあるツールバーで、実行アイコン image.png をクリックします。

  2. パイプラインの実行が完了したら、次の MaxCompute テーブルに 8 日分のデータが含まれていることを確認します:

    • アイテム特徴量テーブル:rec_sln_demo_item_table_preprocess_all_feature_v2

    • 幅広行動ログテーブル:rec_sln_demo_behavior_table_preprocess_wide_v2

    • ユーザー特徴量テーブル:rec_sln_demo_user_table_preprocess_all_feature_v2

    これらのテーブルのデータは、SQL クエリページで照会できます。詳細については、「DataWorks を使用した接続」をご参照ください。

    説明

    これらのテーブルが属するプロジェクトでは、パーティションテーブルに対するフルテーブルスキャンが禁止されています。クエリでパーティション条件を指定する必要があります。フルテーブルスキャンが必要な場合は、SQL ステートメントの前に set odps.sql.allow.fullscan=true; ステートメントを追加して、一緒に実行します。フルテーブルスキャンはより多くのデータを処理するため、コストが増加する可能性があります。