Evaluasi klasifikasi biner adalah teknik untuk menilai performa model klasifikasi biner dengan menghitung metrik seperti Area Under the Curve (AUC), Kolmogorov-Smirnov (KS), dan F1 Score. Output evaluasi mencakup kurva KS, kurva precision-recall (PR), kurva receiver operating characteristic (ROC), LIFT Charts, dan Gain Charts, yang secara komprehensif menggambarkan performa klasifikasi model.
Konfigurasikan komponen
Metode 1: Gunakan GUI
Pada halaman alur kerja Designer, tambahkan komponen Binary Classification Evaluation dan konfigurasikan parameternya di panel sebelah kanan:
|
Parameter |
Deskripsi |
|
Label column name |
Nama kolom target. |
|
Score column name |
Kolom skor prediksi, biasanya berupa kolom prediction_score. |
|
Positive sample label value |
Mengklasifikasikan contoh positif. |
|
Number of bins for equal frequency binning |
Jumlah bucket untuk partisi frekuensi sama. |
|
Group column name |
Kolom ID kelompok. Metrik evaluasi dihitung secara terpisah untuk data dalam setiap kelompok, yang berlaku untuk skenario evaluasi-per-kelompok. |
|
Advanced options |
Jika Anda memilih kotak centang Advanced options, parameter Prediction detail column, Are prediction and evaluation targets consistent, dan Save performance metrics akan tersedia. |
|
Prediction detail column |
Nama kolom yang berisi detail prediksi. |
|
Are prediction and evaluation targets consistent |
Sebagai contoh, dalam skenario keuangan, program pelatihan memprediksi probabilitas bahwa pelanggan bersifat "buruk". Nilai yang lebih tinggi berarti pelanggan lebih mungkin buruk. Metrik terkait, seperti LIFT, mengevaluasi laju deteksi pelanggan buruk. Dalam kasus ini, target prediksi konsisten dengan target evaluasi. Sebaliknya, dalam skenario skor kredit, program pelatihan memprediksi probabilitas bahwa pelanggan bersifat "baik". Nilai yang lebih tinggi berarti pelanggan lebih mungkin baik, tetapi metrik terkait tetap mengevaluasi laju deteksi pelanggan buruk. Dalam kasus ini, target prediksi tidak konsisten dengan target evaluasi. |
|
Save performance metrics |
Menentukan apakah metrik performa disimpan. |
Metode 2: Gunakan perintah PAI
Anda dapat menggunakan perintah PAI untuk mengonfigurasi parameter komponen Binary Classification Evaluation. Perintah PAI dapat dipanggil melalui komponen SQL Script. Untuk informasi selengkapnya, lihat SQL Script.
PAI -name=evaluate -project=algo_public
-DoutputMetricTableName=output_metric_table
-DoutputDetailTableName=output_detail_table
-DinputTableName=input_data_table
-DlabelColName=label
-DscoreColName=score|
Parameter |
Wajib |
Nilai Default |
Deskripsi |
|
inputTableName |
Ya |
N/A |
Nama tabel input. |
|
inputTablePartitions |
Tidak |
Full table |
Partisi dalam tabel input. |
|
labelColName |
Ya |
N/A |
Nama kolom target. |
|
scoreColName |
Ya |
N/A |
Nama kolom skor. |
|
groupColName |
Tidak |
N/A |
Nama kolom kelompok. Gunakan parameter ini untuk skenario evaluasi-per-kelompok. |
|
binCount |
Tidak |
1000 |
Jumlah bin frekuensi sama untuk menghitung metrik seperti KS dan PR. |
|
outputMetricTableName |
Ya |
N/A |
Tabel output untuk metrik, yang mencakup AUC, KS, dan F1 Score. |
|
outputDetailTableName |
Tidak |
N/A |
Tabel data detail yang digunakan untuk membuat grafik. |
|
positiveLabel |
Tidak |
1 |
Label untuk contoh positif. |
|
lifecycle |
Tidak |
N/A |
Siklus hidup tabel output. |
|
coreNum |
Tidak |
Otomatis dihitung oleh sistem |
Jumlah core. |
|
memSizePerCore |
Tidak |
Otomatis dihitung oleh sistem |
Ukuran memori per core. |