Konfigurasi PCA untuk pengurangan dimensi dan noise - Platform For AI - Alibaba Cloud - Platform For AI

Principal Component Analysis (PCA) adalah metode statistik multivariat untuk mengeksplorasi struktur internal sejumlah variabel dan menguji korelasinya. PCA melakukan reduksi dimensi dengan menghasilkan beberapa komponen utama yang tidak berkorelasi dari variabel asli. Komponen-komponen tersebut mempertahankan informasi sebanyak mungkin dari data asli dan berfungsi sebagai indikator komposit baru.

Batasan

Komponen Principal Component Analysis (PCA) digunakan untuk reduksi dimensi dan pengurangan noise, serta hanya mendukung data padat (dense data).

Konfigurasi

Metode 1: Antarmuka visual

Di Machine Learning Designer, tambahkan komponen Principal Component Analysis (PCA) ke pipeline Anda dan konfigurasikan parameternya di panel sebelah kanan.

Tab	Parameter	Description
Fields Setting	Feature Columns	Kolom dari tabel input yang akan digunakan untuk analisis.
Fields Setting	Appended Columns	Kolom yang akan ditambahkan ke tabel output hasil reduksi dimensi.
Parameters Setting	Information Retention Ratio	Proporsi informasi dari data asli yang dipertahankan setelah reduksi dimensi.
	Feature Decomposition Mode	Metode yang digunakan untuk dekomposisi fitur. Nilai yang valid: CORR COVAR_SAMP COVAR_POP
	Data Conversion Method	Metode yang digunakan untuk mengubah data menjadi komponen utama. Nilai yang valid: Simple Sub-Mean Normalization
Tuning	Lifecycle	Siklus hidup tabel output. Harus berupa bilangan bulat positif.
	Number of Cores	Digunakan bersama parameter Memory Size per Core (MB). Nilainya harus berupa bilangan bulat positif dalam rentang [1, 9999].
	Memory Size per Core (MB)	Unit: MB. Nilainya harus berupa bilangan bulat positif dalam rentang [1024, 65536].

Metode 2: Perintah PAI

Sebagai alternatif, jalankan perintah PAI (Machine Learning Platform for AI) di komponen SQL Script untuk mengonfigurasi komponen Principal Component Analysis (PCA). Untuk informasi selengkapnya, lihat SQL Script.

PAI -name PrinCompAnalysis
    -project algo_public
    -DinputTableName=bank_data
    -DeigOutputTableName=pai_temp_2032_17900_2
    -DprincompOutputTableName=pai_temp_2032_17900_1
    -DselectedColNames=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed
    -DtransType=Simple
    -DcalcuType=CORR
    -DcontriRate=0.9;

Parameter	Required	Default	Description
inputTableName	Yes	None	Tabel input untuk analisis komponen utama.
selectedColNames	Yes	None	Nama kolom dalam tabel input yang akan digunakan untuk analisis. Pisahkan beberapa nama kolom dengan koma. Hanya kolom dengan tipe data INT dan DOUBLE yang didukung.
eigOutputTableName	Yes	None	Tabel output untuk vektor fitur dan eigenvalue.
princompOutputTableName	Yes	None	Tabel output yang berisi hasil setelah reduksi dimensi dan pengurangan noise.
transType	No	Simple	Metode yang digunakan untuk mengubah data menjadi komponen utama. Nilai yang valid: Simple Sub-Mean Normalization
calcuType	No	CORR	Metode yang digunakan untuk dekomposisi fitur. Nilai yang valid: CORR COVAR_SAMP COVAR_POP
contriRate	No	0.9	Proporsi informasi yang dipertahankan setelah reduksi dimensi. Nilainya harus berada dalam rentang (0, 1).
remainColumns	No	None	Kolom dari tabel asli yang akan disertakan dalam tabel output hasil reduksi dimensi.
coreNum	No	System-assigned	Jumlah core yang digunakan. Parameter ini bekerja bersama parameter memSizePerCore. Nilainya harus berupa bilangan bulat positif dalam rentang [1, 9999].
memSizePerCore	No	System-assigned	Ukuran memori untuk setiap core, dalam satuan MB. Nilainya harus berupa bilangan bulat positif dalam rentang [1024, 65536].
lifecycle	No	None	Siklus hidup tabel output. Harus berupa bilangan bulat positif.

Contoh

Contoh output

Tabel output ini berisi empat kolom komponen utama: prin0, prin1, prin2, dan prin3. Setiap baris merepresentasikan nilai komponen utama untuk suatu sampel setelah reduksi dimensi.
Tabel eigenvalue dan vektor fitur: Tabel ini berisi empat komponen utama (prin0 hingga prin3). Kolom-kolomnya menunjukkan komponen vektor fitur (pdays, previous, emp_var_rate, cons_price_idx, cons_conf_idx, euribor3m, dan nr_employed), serta eigenvalue, contributionrate (laju kontribusi), dan sumcontributionrate (laju kontribusi kumulatif) yang sesuai.