Konversi Tipe Data - Platform For AI

Komponen Konversi Tipe Data digunakan untuk mengubah fitur dari berbagai tipe menjadi tipe STRING, DOUBLE, dan INT. Komponen ini juga mendukung imputasi nilai yang hilang dalam kasus pengecualian konversi, memastikan integritas dan konsistensi data.

Informasi latar belakang

Anda dapat mengonversi tipe data kolom tabel.
Anda dapat mengonversi beberapa tipe data kolom tabel sekaligus.
Anda dapat mengonversi kolom tipe data numerik ODPS 2.0, seperti DECIMAL, FLOAT, dan INT.
null
Fitur ini hanya tersedia di wilayah China (Beijing), China (Shanghai), China (Hangzhou), China (Shenzhen), China (Zhangjiakou), dan China (Chengdu).
Anda dapat memilih apakah akan menyimpan kolom asli.

Konfigurasikan komponen

Gunakan salah satu metode berikut untuk mengonfigurasi parameter komponen:

Metode 1: Menggunakan Konsol Machine Learning Platform for AI (PAI)

Konfigurasikan parameter komponen pada halaman pipeline Machine Learning Designer.

Tab	Parameter	Deskripsi
Fields Setting	Convert to Double Type Columns	Kolom yang tipe datanya perlu dikonversi menjadi tipe data DOUBLE.
	Default Imputed Value When Conversion Fails	Nilai default yang dimasukkan saat konversi ke tipe data DOUBLE gagal.
	Convert to Int Type Columns	Kolom yang tipe datanya perlu dikonversi menjadi tipe data INT.
	Default Imputed Value When Conversion Fails	Nilai default yang dimasukkan saat konversi ke tipe data INT gagal.
	Convert to String Type Columns	Kolom yang tipe datanya perlu dikonversi menjadi tipe data STRING.
	Default Imputed Value When Conversion Fails	Nilai default yang dimasukkan saat konversi ke tipe data STRING gagal.
	Reserve Original Columns	Menentukan apakah akan menyimpan kolom asli. Nama kolom diberi awalan typed_ setelah konversi tipe data.
	Memory Size per Node	Nilai valid: 1.024 hingga 65.536 (64 × 1.024). Satuan: MB.
	Cores	Jumlah core yang digunakan dalam komputasi. Parameter ini harus digunakan bersama dengan parameter Memory Size per Node. Nilai valid: [1,9999].

Metode 2: Menggunakan perintah PAI

Konfigurasikan parameter komponen menggunakan perintah PAI. Anda dapat menggunakan komponen SQL Script untuk memanggil perintah PAI. Untuk informasi lebih lanjut, lihat SQL Script.

pai -project algo_public
    -name type_transform_v1
    -DinputTable=type_test
    -Dcols_to_string="f0"
    -Ddefault_double_value=0.0
    -DoutputTable=type_test_output;

Parameter	Diperlukan	Deskripsi	Nilai default
inputTable	Ya	Nama tabel input.	Tidak ada
inputTablePartitions	Tidak	Partisi yang dipilih dari tabel input untuk pelatihan. Tentukan parameter ini dalam salah satu format berikut: Partition_name=value name1=value1/name2=value2: partisi multi-level null Jika Anda menentukan beberapa partisi, pisahkan mereka dengan koma (,).	Semua partisi
outputTable	Ya	Tabel output dari konversi tipe data.	Tidak ada
reserveOldFeat	Tidak	Menentukan apakah akan menyimpan kolom asli.	Tidak ada
cols_to_double	Tidak	Kolom fitur yang tipe datanya perlu dikonversi menjadi DOUBLE.	Tidak ada
cols_to_string	Tidak	Kolom fitur yang tipe datanya perlu dikonversi menjadi STRING.	Tidak ada
cols_to_int	Tidak	Kolom fitur yang tipe datanya perlu dikonversi menjadi INT.	Tidak ada
default_int_value	Tidak	Nilai yang dimasukkan saat parameter cols_to_int tidak ditentukan.	0
default_double_value	Tidak	Nilai yang dimasukkan saat parameter cols_to_double tidak ditentukan.	0.0
default_string_value	Tidak	Nilai yang dimasukkan saat parameter cols_to_string tidak ditentukan.	""
coreNum	Tidak	Jumlah core. Parameter ini harus digunakan bersama dengan parameter memSizePerCore. Nilai valid: [1,9999].	Ditentukan oleh sistem
memSizePerCore	Tidak	Ukuran memori setiap core. Nilai valid: 1024 hingga 65536 (64 × 1024). Satuan: MB.	Ditentukan oleh sistem
lifecycle	Tidak	Lifecycle tabel output.	7

Contoh

Data Uji

create table transform_test as
select * from
(
select true as f0,2.0 as f1,1 as f2 union all
select false as f0,3.0 as f1,1 as f2 union all
select false as f0,4.0 as f1,1 as f2 union all
select true as f0,3.0 as f1,1 as f2 union all
select false as f0,3.0 as f1,1 as f2 union all
select false as f0,4.0 as f1,1 as f2 union all
select true as f0,3.0 as f1,1 as f2 union all
select false as f0,5.0 as f1,1 as f2 union all
select false as f0,3.0 as f1,1 as f2 union all
select true as f0,4.0 as f1,1 as f2 union all
select false as f0,3.0 as f1,1 as f2 union all
select true as f0,4.0 as f1,1 as f2
)tmp;

Data Pelatihan
f0
f1
f2
false
3.0
1
false
3.0
1
true
2.0
1
true
4.0
1
false
4.0
1
false
3.0
1
false
3.0
1
true
3.0
1
false
4.0
1
true
4.0
1
false
5.0
1
true
3.0
1

Perintah PAI untuk Pelatihan

pai -project projectxlib4
    -name type_transform_v1
    -DinputTable=transform_test
    -Dcols_to_double=f0
    -Dcols_to_int=f1
    -Dcols_to_string=f2
    -DoutputTable=trans_test_output;

Output
Tabel Hasil
f0
f1
f2
0.0
3
1
0.0
3
1
1.0
2
1
1.0
4
1
0.0
4
1
0.0
3
1
1.0
3
1
0.0
4
1
0.0
3
1
0.0
5
1
1.0
3
1
1.0
4
1

f0	f1	f2
false	3.0	1
false	3.0	1
true	2.0	1
true	4.0	1
false	4.0	1
false	3.0	1
false	3.0	1
true	3.0	1
false	4.0	1
true	4.0	1
false	5.0	1
true	3.0	1

f0	f1	f2
0.0	3	1
0.0	3	1
1.0	2	1
1.0	4	1
0.0	4	1
0.0	3	1
1.0	3	1
0.0	4	1
0.0	3	1
0.0	5	1
1.0	3	1
1.0	4	1

f0	f1	f2
0.0	3	1
0.0	3	1
1.0	2	1
1.0	4	1
0.0	4	1
0.0	3	1
1.0	3	1
0.0	4	1
0.0	3	1
0.0	5	1
1.0	3	1
1.0	4	1

f0	f1	f2
0.0	3	1
0.0	3	1
1.0	2	1
1.0	4	1
0.0	4	1
0.0	3	1
1.0	3	1
0.0	4	1
0.0	3	1
0.0	5	1
1.0	3	1
1.0	4	1