Topik ini menjelaskan komponen Stop Word Filter yang tersedia di Designer.
Gunakan komponen ini untuk menghapus stop word—kata umum berfrekuensi tinggi dengan bobot semantik rendah, seperti "the", "is", atau "a"—dari hasil tokenisasi kata.
Komponen Stop Word Filter memerlukan dua input: tabel input yang berisi teks yang akan difilter dan tabel stop word satu kolom yang setiap barisnya berisi satu stop word.
Anda dapat mengonfigurasi parameter komponen Stop Word Filter melalui antarmuka visual Designer atau perintah PAI.
Konfigurasi komponen
Konfigurasikan komponen Stop Word Filter menggunakan salah satu metode berikut.
Metode 1: Antarmuka visual
Konfigurasikan parameter komponen pada halaman pipeline Designer.
|
Tab |
Parameter |
Description |
|
field settings |
columns to filter |
Menentukan kolom yang akan difilter. Untuk menentukan multiple kolom, pisahkan nama kolom dengan koma (,). |
|
tuning |
cores |
Sistem secara otomatis mengalokasikan sumber daya secara default. |
|
memory size |
Sistem secara otomatis mengalokasikan sumber daya secara default. |
Metode 2: Perintah PAI
Konfigurasikan parameter komponen dengan perintah PAI. Anda dapat menjalankan perintah PAI menggunakan komponen SQL Script. Untuk informasi selengkapnya, lihat SQL Script.
PAI -name FilterNoise -project algo_public \
-DinputTableName=”test_input” -DnoiseTableName=”noise_input” \
-DoutputTableName=”test_output” \
-DselectedColNames=”words_seg1,words_seg2” \
-Dlifecycle=30|
Parameter |
Required |
Description |
Default |
|
inputTableName |
Yes |
Nama tabel input yang berisi teks yang telah ditokenisasi. |
None |
|
inputTablePartitions |
No |
Partisi tabel input yang akan digunakan. |
All partitions |
|
noiseTableName |
Yes |
Nama tabel stop word. |
None |
|
noiseTablePartitions |
No |
Partisi tabel stop word yang akan digunakan. |
All partitions |
|
outputTableName |
Yes |
Nama tabel output. |
None |
|
selectedColNames |
Yes |
Kolom yang akan difilter. Untuk menentukan multiple kolom, pisahkan nama kolom dengan koma (,). |
None |
|
lifecycle |
No |
Lifecycle tabel output dalam satuan hari. Nilainya harus berupa bilangan bulat positif. |
None |
|
coreNum |
No |
Jumlah core untuk pekerjaan. |
System-allocated |
|
memSizePerCore |
No |
Ukuran memori per core. |
System-allocated |