特徴量スケーリング - Platform For AI - Alibaba Cloud ドキュメントセンター

特徴量スケーリングコンポーネントは、密または疎な数値特徴量に対して一般的なスケーリング変換をサポートします。

概要

特徴量スケーリングコンポーネントは以下の機能を提供します。

log2、log10、ln、abs、および sqrt などの一般的なスケーリング関数を適用できます。
密フォーマットおよび疎フォーマットの両方のデータを処理できます。

コンポーネント構成

特徴量スケーリングコンポーネントは、以下のいずれかの方法で構成できます。

方法 1：コンソールを使用する

Designer パイプラインでコンポーネントパラメーターを設定します。

タブ	パラメーター	説明
フィールド設定	スケーリング対象の特徴量	スケーリングする特徴量です。
	ラベル列	このパラメーターを指定すると、目的変数に対する特徴量の x-y ディストリビューションヒストグラムを表示できます。
	k:v,k:v 形式のスパース特徴量である	トレーニングデータがスパースかどうかを指定します。スパースデータは通常、複数のフィールドではなく単一のフィールドに格納されます。
	元の変換済み特徴を保持する	元の特徴量を保持するかどうかを指定します。このオプションを選択すると、scale_ プレフィックス付きで新しいスケーリング済み特徴量が作成されます。
パラメーター設定	スケーリング関数	特徴量スケーリングコンポーネントは、以下のスケーリング関数をサポートしています。 log2 log10 ln abs sqrt

方法 2：CLI を使用する

PAI コマンドを使用してコンポーネントパラメーターを設定します。SQL スクリプトコンポーネント内でコマンドを実行できます。

PAI -name fe_scale_runner -project algo_public
    -Dlifecycle=28
    -DscaleMethod=log2
    -DscaleCols=nr_employed
    -DinputTable=pai_dense_10_1
    -DoutputTable=pai_temp_2262_20380_1;

パラメーター	必須	説明	デフォルト
inputTable	はい	入力テーブルの名前です。	N/A
inputTablePartitions	いいえ	トレーニングに使用する入力テーブルのパーティションです。`Partition_name=value` の形式でパーティションを指定します。マルチレベルパーティションの場合は、`name1=value1/name2=value2;` の形式を使用します。複数のパーティションはカンマ (,) で区切ります。	入力テーブル内のすべてのパーティションです。
outputTable	はい	スケーリング結果の出力テーブルです。	N/A
scaleCols	はい	スケーリングする特徴量です。コンポーネントは自動的にスパース特徴量を除外します。数値特徴量のみ選択可能です。	N/A
labelCol	いいえ	ラベル列です。このパラメーターを指定すると、目的変数に対する特徴量の x-y ディストリビューションヒストグラムを表示できます。	N/A
categoryCols	いいえ	カテゴリカル特徴量として扱う列です。これらの列はスケーリングされません。	""
scaleMethod	いいえ	スケーリング方法です。有効値： log2 log10 ln abs sqrt	log2
scaleTopN	いいえ	scaleCols パラメーターが選択されていない場合、システムは自動的にスケーリング対象の TopN 特徴量を選択します。	10
isSparse	いいえ	特徴量がスパースであり、k:v 形式であるかどうかを指定します。	dense
itemSpliter	いいえ	スパース特徴量内のアイテムのデリミタです。	,
kvSpliter	いいえ	スパース特徴量アイテム内のキーと値の間のデリミタです。	:
lifecycle	いいえ	出力テーブルのライフサイクル（日数）です。	7
coreNum	いいえ	ノード数です。値は [1, 9999] の範囲内の正の整数である必要があります。memSizePerCore パラメーターと併用します。	自動的に割り当てられます。
memSizePerCore	いいえ	コアあたりのメモリサイズ（MB 単位）です。値は [2048, 64 * 1024] の範囲内の正の整数である必要があります。	自動的に割り当てられます。

使用例

入力データ

次の SQL スクリプトを使用して入力データを生成します。

create table if not exists pai_dense_10_1 as
select
    nr_employed
from bank_data limit 10;

パラメーター設定

nr_employed をスケーリング対象の特徴量として選択します。数値特徴量のみサポートされています。スケーリング関数 には log2 を選択します。

結果

nr_employed
12.352071021075528
12.34313018339218
12.285286613666395
12.316026916036957
12.309533196497519
12.352071021075528
12.316026916036957
12.316026916036957
12.309533196497519
12.316026916036957