Platform for AI (PAI) içindeki Machine Learning Designer'ın Split bileşeni, bir veri kümesini iki çıkış tablosuna böler. Model eğitimi öncesinde eğitim ve test kümeleri oluşturmak için bu bileşeni kullanın.
Verilerinize uygun bölme yöntemini seçin:
| Yöntem | Kullanım durumu |
|---|---|
| Orana göre böl | Rastgele, oran temelli bölmeler — çoğu veri kümesi için uygundur |
| Eşiğe göre böl | Zaman serisi verileri gibi, belirli bir kesim tarihinden önceki tüm satırların tek bir tabloya gitmesi gereken durumlarda sayısal bir sütun değerine dayalı sıralı bölmeler |
Hem oran hem de eşik parametreleri yapılandırıldığında eşik temelli yöntem önceliklidir.
Bileşeni yapılandırma
Yöntem 1: PAI konsolunu kullanma
İşlem hattı ayrıntıları sayfasında sol taraftaki bileşen listesinde Split bileşenini bulun, tuvale sürükleyin ve bunu bir yukarı akış düğümüne bağlayın. Yapılandırma panelini açmak için bileşene tıklayın.
Orana göre bölme
Aşağıdaki parametreleri Parameters Setting sekmesi altında yapılandırın:
| Parametre | Açıklama | Gerekli |
|---|---|---|
| Splitting Method | Split by Ratio seçeneğini seçin. | Evet |
| Splitting Fraction | Tam veri kümesine kıyasla Output Table 1 içindeki verilerin oranı. Geçerli değerler: (0, 1). Örneğin, satırların %80'ini Output Table 1'e ve %20'sini Output Table 2'ye koymak için 0.8 değerini ayarlayın. |
Evet |
| Random Seed | Rastgele oluşturucu durumunu sabitler; böylece aynı tohumla işlem hattının yeniden çalıştırılması aynı bölümü üretir. Boş bırakılırsa sistem otomatik olarak bir tohum oluşturur. | Hayır |
| ID Column (Advanced Options altında kullanılabilir) | Aynı ID değerine sahip tüm satırları aynı çıkış tablosunda birlikte tutar. Veri kümenizde varlık başına birden fazla satır varsa (örneğin, müşteri başına birden fazla işlem) bu özelliği kullanarak aynı varlığın her iki tabloda da görünmesini (veri sızıntısını) önleyin. Yalnızca bir sütun seçilebilir. | Hayır |
Eşiğe göre bölme
| Parametre | Açıklama | Gerekli |
|---|---|---|
| Splitting Method | Split by Threshold seçeneğini seçin. | Evet |
| Threshold Column | Bölme için kullanılan sayısal sütun. STRING sütunlar desteklenmez. | Evet |
| Threshold | Sütun değeri eşikten küçük olan satırlar Output Table 1 içine gider. Değer eşikten büyük veya eşit olan satırlar Output Table 2 içine gider. Örneğin, 100 eşik değeriyle: değeri 80 olan bir satır Output Table 1'e gider; değeri 100 veya 120 olan bir satır Output Table 2'ye gider. |
Evet |
İnce ayar parametreleri
| Parametre | Açıklama |
|---|---|
| Cores | İş için çekirdek sayısı. Giriş verisi boyutuna göre otomatik olarak tahsis edilir. |
| Memory size per core | Çekirdek başına MB cinsinden bellek. Giriş verisi boyutuna göre otomatik olarak tahsis edilir. |
Yöntem 2: PAI komutlarını çalıştırma
İşlem hattı ayrıntıları sayfasında SQL Script bileşenini tuvale sürükleyin ve yapılandırma panelini açmak için buna tıklayın. Parameters Setting altında Whether the system adds a create table statement seçeneğinin işaretini kaldırın, aşağıdaki komutu SQL Script düzenleyicisine yapıştırın ve çalıştırın.
Aşağıdaki örnek wbpc tablosunu orana göre böler; verilerin %25'ini wpbc_split1 içine, kalan %75'ini ise wpbc_split2 içine yerleştirir:
PAI -name split -project algo_public
-DinputTableName=wbpc
-Doutput1TableName=wpbc_split1
-Doutput2TableName=wpbc_split2
-Dfraction=0.25;SQL Script bileşeni hakkında daha fazla bilgi için bkz. SQL Script.
Oran parametreleri (fraction,randomSeed,idColName) ve eşik parametreleri (thresholdColName,threshold) aynı komutta kullanılamaz.
Ortak parametreler
| Parametre | Gerekli | Açıklama | Varsayılan |
|---|---|---|---|
inputTableName |
Evet | Giriş tablosunun adı. | — |
inputTablePartitions |
Hayır | Giriş tablosundan okunacak bölümler. Biçimler: Tek düzeyli bölümler için partition_name=value; çok düzeyli bölümler için name1=value1/name2=value2. Birden fazla bölümü virgülle ayırın. |
Tüm bölümler |
output1TableName |
Evet | Output Table 1'in adı. | — |
output1TablePartition |
Hayır | Output Table 1 için bölüm adı. | Bölümsüz |
output2TableName |
Evet | Output Table 2'nin adı. | — |
output2TablePartition |
Hayır | Output Table 2 için bölüm adı. | Bölümsüz |
lifecycle |
Hayır | Çıkış tablolarının yaşam döngüsü (gün cinsinden). Geçerli değerler: [1, 3650]. | — |
coreNum |
Hayır | Çekirdek sayısı. İnce ayar parametresi; giriş verisi boyutuna göre otomatik olarak tahsis edilir. | Otomatik |
memSizePerCore |
Hayır | Çekirdek başına MB cinsinden bellek. İnce ayar parametresi; giriş verisi boyutuna göre otomatik olarak tahsis edilir. Geçerli değerler: (1, 65536). | Otomatik |
Orana göre bölme parametreleri
| Parametre | Gerekli | Açıklama | Varsayılan |
|---|---|---|---|
fraction |
Evet | Output Table 1'deki verilerin oranı. Geçerli değerler: (0, 1). | — |
randomSeed |
Hayır | Rastgele tohum; pozitif bir tam sayı olmalıdır. | Otomatik |
idColName |
Hayır | ID sütunu adı. Aynı ID'ye sahip tüm satırları aynı çıkış tablosunda tutarak eğitim ve test kümeleri arasında veri sızıntısını önler. Yalnızca bir sütun seçilebilir. | — |
Eşiğe göre bölme parametreleri
| Parametre | Gerekli | Açıklama | Varsayılan |
|---|---|---|---|
thresholdColName |
Evet | Eşik sütunu adı. STRING sütunlar desteklenmez. | — |
threshold |
Evet | Bölme eşiği. Değerleri eşikten küçük olan satırlar Output Table 1'e gider; değerleri eşitten büyük veya eşit olan satırlar Output Table 2'ye gider. | — |