二項分類評価の設定 - Platform for AI

バイナリ分類モデルの評価は、AUC（Area Under the Curve）、KS（Kolmogorov-Smirnov）スコア、F1 スコアなどの指標を算出することで、バイナリ分類モデルの性能を評価する手法です。評価結果には、KS 曲線、適合率・再現率（PR）曲線、受信者動作特性（ROC）曲線、LIFT チャート、および Gain チャートが含まれます。これらの出力により、モデルの分類性能を包括的に把握できます。

コンポーネントの設定

方法 1：GUI を使用する

Designer ワークフロー画面で、バイナリ分類モデルの評価 コンポーネントを追加し、右側ペインでパラメーターを設定します。

パラメーター	説明
ラベル列名	ターゲット列の名前です。
スコア列名	予測スコア列です。通常は prediction_score 列です。
正例ラベル値	正例の分類。
等頻度ビニングのビン数	等頻度分割におけるバケット数を指定します。
グループ列名	グループ ID 列です。各グループ内のデータについて、評価指標が個別に算出されます。これはグループ単位での評価シナリオに適用されます。
詳細オプション	詳細オプションのチェックボックスを選択すると、「予測詳細列」「予測対象と評価対象が一致しているか」「パフォーマンス指標の保存」の各パラメーターが有効になります。
予測詳細列	予測詳細を含む列の名前です。
予測対象と評価対象が一致しているか	たとえば金融シナリオでは、学習プログラムが顧客が「不良」である確率を予測します。値が大きいほど、その顧客が不良である可能性が高くなります。関連する指標（例：LIFT）は、不良顧客が検出される割合を評価します。この場合、予測対象と評価対象は一致しています。一方、信用スコアリングのシナリオでは、学習プログラムが顧客が「良好」である確率を予測します。値が大きいほど、その顧客が良好である可能性が高くなりますが、関連する指標は依然として不良顧客の検出率を評価します。この場合、予測対象と評価対象は一致していません。
パフォーマンス指標の保存	パフォーマンス指標を保存するかどうかを指定します。

方法 2：PAI コマンドを使用する

バイナリ分類モデルの評価 コンポーネントのパラメーターは、PAI コマンドを使用して設定できます。SQL Script コンポーネントから PAI コマンドを呼び出すことができます。詳細については、「SQL Script」をご参照ください。

PAI -name=evaluate -project=algo_public
    -DoutputMetricTableName=output_metric_table
    -DoutputDetailTableName=output_detail_table
    -DinputTableName=input_data_table
    -DlabelColName=label
    -DscoreColName=score

パラメーター	必須	デフォルト値	説明
inputTableName	はい	該当なし	入力テーブルの名前です。
inputTablePartitions	いいえ	全テーブル	入力テーブル内のパーティションです。
labelColName	はい	該当なし	ターゲット列の名前です。
scoreColName	はい	該当なし	スコア列の名前です。
groupColName	いいえ	該当なし	グループ列の名前です。グループ単位での評価シナリオに使用します。
binCount	いいえ	1000	KS や PR などの指標算出に使用する等頻度ビニングのビン数です。
outputMetricTableName	はい	該当なし	AUC、KS、F1 スコアなどの指標を格納する出力テーブルです。
outputDetailTableName	いいえ	該当なし	グラフ描画に使用する詳細データテーブルです。
positiveLabel	いいえ	1	正例のラベル値です。
lifecycle	いいえ	該当なし	出力テーブルのライフサイクルです。
coreNum	いいえ	システムが自動計算	コア数です。
memSizePerCore	いいえ	システムが自動計算	コアあたりのメモリサイズです。