配置混淆矩阵组件 - Platform For AI - Alibaba Cloud Documentation Center

Confusion matrix digunakan dalam Supervised Learning dan berkorespondensi dengan matriks pencocokan dalam Unsupervised Learning. Dalam evaluasi kinerja, confusion matrix membandingkan hasil klasifikasi dengan nilai aktual serta menampilkan akurasi klasifikasi dalam bentuk matriks. Topik ini menjelaskan cara mengonfigurasi komponen Confusion Matrix.

Batasan

Satu-satunya engine komputasi yang didukung adalah MaxCompute.

Konfigurasi komponen

Anda dapat mengonfigurasi komponen Confusion Matrix menggunakan salah satu metode berikut.

Metode 1: Gunakan UI

Konfigurasikan parameter komponen pada halaman pipeline di Machine Learning Designer.

Parameter	Deskripsi
Original Label Column	Mendukung tipe data numerik.
Prediction Result Label Column	Parameter ini wajib diisi jika Threshold tidak ditentukan.
Threshold	Sampel dianggap positif jika nilainya lebih besar daripada ambang batas ini.
Prediction Result Detail Column	Parameter ini tidak dapat digunakan bersamaan dengan parameter Prediction Result Label Column. Parameter ini wajib diisi jika Threshold ditentukan.
Positive Sample Label	Parameter ini wajib diisi jika Threshold ditentukan.

Metode 2: Gunakan perintah PAI

Anda dapat menggunakan perintah PAI untuk mengonfigurasi parameter komponen. Perintah PAI dapat dijalankan melalui komponen SQL Script. Untuk informasi selengkapnya, lihat SQL script.

Threshold tidak ditentukan

pai -name confusionmatrix -project algo_public
    -DinputTableName=wpbc_pred
    -DoutputTableName=wpbc_confu
    -DlabelColName=label
    -DpredictionColName=prediction_result;

Threshold ditentukan

pai -name confusionmatrix -project algo_public
    -DinputTableName=wpbc_pred
    -DoutputTableName=wpbc_confu
    -DlabelColName=label
    -DpredictionDetailColName=prediction_detail
    -Dthreshold=0.8
    -DgoodValue=N;

Parameter	Wajib	Deskripsi	Default
inputTableName	Ya	Nama tabel input, yaitu tabel output dari komponen prediksi.	N/A
inputTablePartition	Tidak	Partisi tabel input.	Seluruh tabel
outputTableName	Ya	Nama tabel output untuk menyimpan confusion matrix.	N/A
labelColName	Ya	Nama kolom label asli.	N/A
predictionColName	Tidak	Nama kolom hasil prediksi. Parameter ini wajib diisi jika threshold tidak ditentukan.	N/A
predictionDetailColName	Tidak	Nama kolom detail hasil prediksi. Parameter ini wajib diisi jika threshold ditentukan.	N/A
threshold	Tidak	Ambang batas untuk mengklasifikasikan contoh positif.	0.5
goodValue	Tidak	Nilai label yang merepresentasikan hasil positif dalam klasifikasi biner. Parameter ini wajib diisi jika threshold ditentukan.	N/A
coreNum	Tidak	Jumlah core untuk komputasi.	Dialokasikan secara otomatis
memSizePerCore	Tidak	Jumlah memori untuk setiap core, dalam MB.	Dialokasikan secara otomatis
lifecycle	Tidak	Siklus hidup tabel output.	N/A

Contoh

Gunakan client MaxCompute untuk membuat tabel bernama test_data dengan kolom berikut: id bigint, label string, prediction_result string. Untuk mempelajari cara menginstal dan mengonfigurasi client MaxCompute, lihat Connect by using a local client (odpscmd). Untuk membuat tabel, lihat Create a table.
Impor data sampel berikut ke dalam tabel test_data. Untuk mempelajari cara mengimpor data, lihat Import data.

id

label

prediction_result

0

A

A

1

A

B

2

A

A

3

A

A

4

B

B

5

B

B

6

B

A

7

B

B

8

B

A

9

A

A
Buat pipeline dan jalankan komponennya. Untuk informasi selengkapnya, lihat Algorithm modeling.
1. Pada daftar komponen di sisi kiri Machine Learning Designer, cari komponen Read Table dan Confusion Matrix, lalu seret ke kanvas.
2. Hubungkan komponen-komponen tersebut untuk membuat pipeline.
3. Konfigurasikan parameter komponen.
  - Klik komponen Read Table-1 pada kanvas. Pada tab Select Table di panel kanan, atur Table Name menjadi test_data.
  - Klik komponen Confusion Matrix-1 pada kanvas. Di panel kanan, konfigurasikan parameter seperti pada tabel berikut. Biarkan parameter lainnya pada nilai default-nya.
    
    Parameter
    
    Deskripsi
    
    Original Label Column
    
    Pilih kolom label.
    
    Prediction Result Label Column
    
    Masukkan prediction_result.
4. Setelah mengonfigurasi parameter, klik tombol Run untuk menjalankan pipeline.
Saat pipeline selesai, klik kanan komponen Confusion Matrix-1 dan pilih Visual Analysis dari menu pintasan untuk melihat output.
- Klik tab Confusion Matrix untuk melihat confusion matrix hasilnya.
- Klik tab Statistics untuk melihat statistik model.
  
  Statistik mencakup TruePositive, FalsePositive, Accuracy, Precision, Recall, dan F1 score. Sebagai contoh, untuk Model A, nilai metrik masing-masing adalah 4, 2, 0,7, 0,6667, 0,8, dan 0,7273. Untuk Model B, nilai metrik masing-masing adalah 3, 1, 0,7, 0,75, 0,6, dan 0,6667.

Topik Terkait

Untuk informasi selengkapnya tentang komponen dalam Machine Learning Designer, lihat Overview of Machine Learning Designer.
Machine Learning Designer menyediakan berbagai komponen algoritma. Anda dapat memilih komponen yang sesuai untuk pemrosesan data berdasarkan kasus penggunaan Anda. Untuk informasi selengkapnya, lihat Component Reference.

id	label	prediction_result
0	A	A
1	A	B
2	A	A
3	A	A
4	B	B
5	B	B
6	B	A
7	B	B
8	B	A
9	A	A