すべてのプロダクト
Search
ドキュメントセンター

Platform For AI:データビュー

最終更新日:Jun 22, 2026

機械学習において、データピボットアルゴリズムは、データセットの可視化と探索的データ分析のためのメソッドです。チャート、テーブル、その他の可視化ツールを使用して、データの構造、ディストリビューション、関係性を明らかにし、ユーザーが特徴を理解し、パターンを特定し、異常を発見するのに役立ちます。このアルゴリズムは、後続のモデリングと分析の指針となるため、データの前処理および特徴量エンジニアリングの段階で非常に重要です。

コンポーネントの構成

方法1:コンソールを使用

ビジュアルモデリングで、[データピボット] コンポーネントをパイプラインに追加し、右側のペインでそのパラメーターを構成します。

パラメータータイプ

パラメーター

説明

フィールド設定

特徴列

可視化と分析に使用する特徴列を指定します。コンポーネントは、それらのディストリビューションと関係性をチャートやテーブルに表示します。

ターゲット列

予測または分析のためのターゲット変数 (通常はラベルまたは応答変数) を指定します。

列挙型特徴量

選択した特徴を列挙型特徴量として扱います。

k:v、k:v スパースデータ形式

キーと値のペア形式のスパースデータを使用するかどうかを指定します。

パラメーター設定

連続特徴量のビン数

可視化と分析のために、連続特徴量を分割する離散的な間隔 (ビン) の数を指定します。

チューニング

コア数

計算に使用するコア数。正の整数である必要があります。

コアあたりのメモリ

各コアのメモリ量 (MB) 。値は 1 から 65536 までの整数である必要があります。

方法2:PAI コマンドを使用

SQL スクリプトコンポーネントで PAI コマンドを実行することで、[データピボット] コンポーネントのパラメーターを構成できます。詳細については、「シナリオ 4:SQL スクリプトコンポーネントで PAI コマンドを実行」をご参照ください。

PAI
-name fe_meta_runner
-project algo_public
-DinputTable="pai_dense_10_10"
-DoutputTable="pai_temp_2263_20384_1"
-DmapTable="pai_temp_2263_20384_2"
-DselectedCols="pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign,poutcome"
-DlabelCol="y"
-DcategoryCols="previous"
-Dlifecycle="28"-DmaxBins="5" ;

パラメーター

必須

デフォルト

説明

inputTable

はい

なし

入力テーブルの名前。

inputTablePartitions

いいえ

なし

トレーニングに使用する入力テーブルのパーティション。次のフォーマットがサポートされています:

  • partition_name=value

  • name1=value1/name2=value2:複数レベルのパーティションの場合

説明

単一のパーティションキーに複数の値を指定するには、値をカンマ (,) で区切ります。例:name1=value1,value2。

outputTable

はい

なし

出力テーブルの名前。

mapTable

はい

なし

出力マッピングテーブル。機械学習のトレーニング用にデータを準備するため、データピボットは STRING 型の特徴の統計を収集し、それらを整数 ID にマッピングします (ラベルエンコーディング)。

selectedCols

はい

なし

入力テーブルから選択する列の名前。

labelCol

いいえ

なし

ラベル列。

categoryCols

いいえ

なし

列挙型特徴量として扱う数値 (INT または DOUBLE) 型の列を指定します。

maxBins

いいえ

100

連続特徴量の等距離離散化のための最大間隔数を指定します。

isSparse

いいえ

false

入力データがスパースフォーマットであるかどうかを指定します。有効な値は true と false です。

itemSpliter

いいえ

カンマ (,)

入力データがスパースフォーマットの場合に、キーと値のペアを区切るデリミタを指定します。

kvSpliter

いいえ

コロン (:)

入力データがスパースフォーマットの場合に、キーと値を区切るデリミタを指定します。

lifecycle

いいえ

28

テーブルのライフサイクル。

coreNum

いいえ

システムが決定

ジョブに使用する CPU コア数。正の整数である必要があります。有効値:[1, 9999]。

memSizePerCore

いいえ

システムが決定

各コアのメモリ量 (MB) 。値は 1 から 65536 までの整数である必要があります。

  1. 次のテーブルに示すように、テストデータを準備します。

    年齢

    勤務形態

    Fwlght

    学歴

    学歴 (数値)

    既婚

    C

    家族

    人種

    性別

    Gail

    損失

    勤続年数

    収入

    39

    State-gov

    77516

    Bachelors

    13

    Never-married

    Adm-clerical

    Not-in-family

    White

    Male

    2174.0

    0.0

    40.0

    United-States

    <=50K

    50

    Self-emp-not-inc

    83311

    Bachelors

    13

    Married-civ-spouse

    Exec-managerial

    Husband

    White

    Male

    0.0

    0.0

    13.0

    United-States

    <=50K

    38

    Private

    215646

    HS-grad

    9

    Divorced

    Handlers-cleaners

    Not-in-family

    White

    Male

    0.0

    0.0

    40.0

    United-States

    <=50K

    53

    Private

    234721

    11th

    7

    Married-civ-spouse

    Handlers-cleaners

    Husband

    Black

    Male

    0.0

    0.0

    40.0

    United-States

    <=50K

    28

    Private

    338409

    Bachelors

    13

    Married-civ-spouse

    Prof-specialty

    Wife

    Black

    Female

    0.0

    0.0

    40.0

    Other

    <=50K

    37

    Private

    284582

    Masters

    14

    Married-civ-spouse

    Exec-managerial

    Wife

    White

    Female

    0.0

    0.0

    40.0

    United-States

    <=50K

    49

    Private

    160187

    9th

    5

    Married-spouse-absent

    Other-service

    Not-in-family

    Black

    Female

    0.0

    0.0

    16.0

    Jamaica

    <=50K

    52

    Self-emp-not-inc

    209642

    HS-grad

    9

    Married-civ-spouse

    Exec-managerial

    Husband

    White

    Male

    0.0

    0.0

    45.0

    United-States

    >50K

    31

    Private

    45781

    Masters

    14

    Never-married

    Prof-specialty

    Not-in-family

    White

    Female

    14084.0

    0.0

    50.0

    United-States

    >50K

    42

    Private

    159449

    Bachelors

    13

    Married-civ-spouse

    Exec-managerial

    Husband

    White

    Male

    5178.0

    0.0

    40.0

    United-States

    >50K

  2. Read Table コンポーネントとデータピボットコンポーネントをパイプラインに追加し、接続します。

    image

    [データピボット] コンポーネントの [フィールド設定] タブで、income をターゲット列として選択し、他の 14 のフィールドを特徴列として選択します。BIGINT 型の edu_num フィールドを列挙型特徴量として扱います。[データピボット] コンポーネントの [フィールド設定] タブには、[特徴列][ターゲット列][列挙型特徴量] にそれぞれ 14、1、1 のフィールドが選択されていることが表示されます。

  3. 左上隅の image をクリックしてパイプラインを実行します。

  4. パイプラインの実行が完了したら、データピボットコンポーネントを右クリックし、[データを表示] を選択して結果を表示します:

    • 出力:機械学習アルゴリズム用にデータを準備するため、familyracesexincome などの STRING 型の列が数値にマッピングされます。結果のトレーニングデータテーブルには、age、fwlght、edu_num、edu、workclass、married、c、family、race、sex、country、gail、loss、work_year、income の 15 列が含まれます。country 列は、STRING 型の特徴列であることを示すためにハイライト表示されます。

    • 文字列型特徴量マッピングテーブル

      説明

      STRING 型の特徴列が選択されていない場合、[文字列カラム特徴マッピングテーブル]は空になります。

      文字列型特徴量マッピングテーブルには、feature_namefeature_valuemap_id の 3 つの列が含まれます。各行は、カテゴリカル特徴量の値を数値 ID にマッピングします。たとえば、特徴 edu_num の場合、値 13 は 1 に、14 は 2 にマッピングされます。特徴 edu の場合、値 '11th' は 1 に、'Bachelors' は 3 にマッピングされます。

    • 出力メタテーブル:出力特徴メタデータテーブルには 10 列 (feature_namefeature_idfeature_typefeature_valuemeanstdmin_valuemax_valuelabel_numdistribute_info) と 15 行の特徴データが含まれます。feature_type は、label (income の場合)、enum (edu_num、edu、workclass、married、c、family、race、sex、country の場合)、または num (age、fwlght、gail、loss、work_year の場合) になります。数値特徴 (num) の場合、mean、std、min_value、max_value の列には特定の統計値が含まれます。列挙 (enum) およびラベル特徴の場合、これらの列にはすべて -1.0 が含まれます。feature_value 列には、各特徴の列挙値または数値範囲が表示され、distribute_info 列には、特徴値のディストリビューションが表示されます。distribute_info は、特徴の値の範囲を等間隔に分割した後の各間隔のレコード数を示します。