Konfigurasi komponen Chi-square Goodness of Fit Test - Platform For AI - Alibaba Cloud - Platform For AI

Dokumen ini menjelaskan komponen uji kecocokan chi-square di Designer. Komponen ini menguji apakah jumlah observasi variabel kategorikal konsisten dengan jumlah yang diharapkan. Hipotesis nol menyatakan bahwa tidak terdapat perbedaan signifikan antara jumlah observasi dan jumlah yang diharapkan.

Konfigurasikan komponen

Anda dapat mengonfigurasi komponen menggunakan salah satu metode berikut.

Metode 1: Gunakan UI

Konfigurasikan parameter komponen pada halaman pipeline Designer.

Parameter	Deskripsi
Input column	Kolom yang akan diuji.
Class probability	Menentukan probabilitas kelas. Gunakan format `class:probability`. Jumlah seluruh probabilitas harus sama dengan 1.

Metode 2: Gunakan perintah PAI

Konfigurasikan parameter komponen dengan menggunakan perintah PAI. Anda dapat menjalankan perintah PAI melalui komponen SQL script. Untuk informasi selengkapnya, lihat SQL script.

PAI -name chisq_test
    -project algo_public
    -DinputTableName=pai_chisq_test_input
    -DcolName=f0
    -DprobConfig=0:0.3,1:0.7
    -DoutputTableName=pai_chisq_test_output0
    -DoutputDetailTableName=pai_chisq_test_output0_detail

Parameter	Wajib	Deskripsi	Default
inputTableName	Ya	Nama tabel input.	Tidak ada
colName	Ya	Kolom yang akan dianalisis.	Tidak ada
outputTableName	Ya	Nama tabel output.	Tidak ada
outputDetailTableName	Ya	Nama tabel detail output.	Tidak ada
inputTablePartitions	Tidak	Partisi tabel input yang akan diuji. Format berikut didukung: Partition_name=value name1=value1/name2=value2 untuk partisi multi-level. Catatan Pisahkan beberapa partisi dengan koma (,).	Kosong
probConfig	Tidak	Menentukan probabilitas kelas. Gunakan format `class:probability`. Jumlah seluruh probabilitas harus sama dengan 1.	Jika dihilangkan, semua kelas diasumsikan memiliki probabilitas yang sama.

Contoh

Data uji

create table pai_chisq_test_input as
select * from
(
  select '1' as f0,'2' as f1
  union all
  select '1' as f0,'3' as f1
  union all
  select '1' as f0,'4' as f1
  union all
  select '0' as f0,'3' as f1
  union all
  select '0' as f0,'4' as f1
)tmp;

Perintah PAI

PAI -name chisq_test
    -project algo_public
    -DinputTableName=pai_chisq_test_input
    -DcolName=f0
    -DprobConfig=0:0.3,1:0.7
    -DoutputTableName=pai_chisq_test_output0
    -DoutputDetailTableName=pai_chisq_test_output0_detail

Output

Tabel outputTableName berupa tabel satu baris dan satu kolom dalam format JSON.

{
    "Chi-Square": {
        "comment": "Pearson's chi-square test",
        "df": 1,
        "p-value": 0.75,
        "value": 0.2380952380952381
    }
}

Tabel outputDetailTableName berisi bidang-bidang berikut.

Nama kolom	Deskripsi
Kolom yang ditentukan oleh `colName`.	Kelas
observed	Frekuensi observasi
expected	Frekuensi harapan
residuals	Residu standar`(residuals = (observed - expected) / sqrt(expected))`

Contoh output

f0    observed    expected    residuals
0        2.0         1.5         0.408248290463863
1        3.0         3.5        -0.267261241912424