Evaluasi Klasifikasi Biner - Platform For AI

Evaluasi Klasifikasi Biner adalah teknik untuk menilai kinerja model klasifikasi biner dengan menghitung metrik seperti AUC, KS, dan Skor F1. Output evaluasi mencakup kurva KS, kurva PR, kurva ROC, bagan LIFT, dan bagan Gain, yang secara kolektif memberikan pandangan komprehensif tentang efektivitas klasifikasi dan performa model.

Konfigurasikan komponen

Anda dapat menggunakan salah satu dari metode berikut untuk mengonfigurasi komponen Evaluasi Klasifikasi Biner.

Metode 1: Konfigurasikan komponen pada halaman pipeline

Anda dapat mengonfigurasi parameter komponen Evaluasi Klasifikasi Biner pada halaman pipeline Machine Learning Designer dari Platform for AI (PAI). Machine Learning Designer sebelumnya dikenal sebagai Machine Learning Studio. Tabel berikut menjelaskan parameter tersebut.

Parameter	Deskripsi
Original Label Column	Nama kolom objektif.
Score Column	Kolom skor prediksi. Nilai default: prediction_score.
Positive Sample Label	Menentukan apakah sampel merupakan contoh positif.
Number of Bins with Same Frequency when Calculating Indexes such as KS and PR	Jumlah bins yang diperoleh dengan menggunakan metode binning frekuensi sama.
Grouping Column	Kolom ID grup. Parameter ini digunakan untuk menghitung metrik evaluasi untuk setiap grup.
Advanced Options	Jika Anda memilih Advanced Options, parameter Prediction Result Detail Column, Prediction Targets Consistent With Evaluation Targets, dan Save Performance Index valid.
Prediction Result Detail Column	Nama kolom detail hasil prediksi.
Prediction Targets Consistent with Evaluation Targets	Menentukan apakah tujuan prediksi sesuai dengan tujuan evaluasi. Sebagai contoh, dalam skenario keuangan, sebuah program dilatih untuk memprediksi probabilitas bahwa pelanggan buruk. Semakin besar probabilitas, semakin mungkin pelanggan tersebut buruk. Metrik terkait seperti lift mengevaluasi tingkat deteksi pelanggan buruk. Dalam kasus ini, tujuan prediksi sesuai dengan tujuan evaluasi. Dalam skenario penilaian kredit, sebuah program dilatih untuk memprediksi probabilitas bahwa pelanggan baik. Semakin besar probabilitas, semakin mungkin pelanggan tersebut baik. Namun, metrik terkait mengevaluasi tingkat deteksi pelanggan buruk. Dalam kasus ini, tujuan prediksi tidak sesuai dengan tujuan evaluasi.
Save Performance Index	Menentukan apakah akan menyimpan metrik performa.

Metode 2: Gunakan perintah PAI

Konfigurasikan parameter komponen dengan menggunakan perintah PAI. Anda dapat menggunakan komponen SQL Script untuk memanggil perintah PAI. Untuk informasi lebih lanjut, lihat SQL Script.

PAI -name=evaluate -project=algo_public
    -DoutputMetricTableName=output_metric_table
    -DoutputDetailTableName=output_detail_table
    -DinputTableName=input_data_table
    -DlabelColName=label
    -DscoreColName=score

Parameter	Diperlukan	Deskripsi	Nilai default
inputTableName	Ya	Nama tabel input.	Tidak tersedia
inputTablePartitions	Tidak	Partisi yang dipilih dari tabel input untuk pelatihan.	Tabel lengkap
labelColName	Ya	Nama kolom objektif.	Tidak tersedia
scoreColName	Ya	Nama kolom skor.	Tidak tersedia
groupColName	Tidak	Nama kolom grup. Parameter ini digunakan untuk evaluasi setiap grup.	Tidak tersedia
binCount	Tidak	Jumlah bins yang diperoleh dengan menggunakan metode binning frekuensi sama selama perhitungan metrik seperti KS dan PR.	1000
outputMetricTableName	Ya	Tabel metrik keluaran. Metrik mencakup AUC, KS, dan Skor F1.	Tidak tersedia
outputDetailTableName	Tidak	Tabel data detail yang dihasilkan.	Tidak tersedia
positiveLabel	Tidak	Menentukan apakah sampel merupakan contoh positif.	1
lifecycle	Tidak	Lifecycle tabel keluaran.	Tidak tersedia
coreNum	Tidak	Jumlah core.	Ditentukan oleh sistem
memSizePerCore	Tidak	Ukuran memori setiap core.	Ditentukan oleh sistem