Behavior Sequence Transformer (BST) algoritması, kullanıcı davranış dizilerini modellemek ve tahmin görevleri için örtük özellikler çıkarmak amacıyla Transformer çerçevesini kullanır. BST, sıralı verilerdeki uzun vadeli zaman serisi kalıplarını yakalamada üstün başarım gösterir; bu da onu öneri sistemleri ve kullanıcı yaşam döngüsü değeri madenciliği için ideal kılar.
Kullanım alanları
BST hem sınıflandırma hem de regresyon görevlerini destekler. Giriş verisi, bir LONGTEXT sütununda depolanan bir davranış dizisidir; bu dizi, zaman damgasına göre sıralanmış tamsayı davranış kimliklerinden oluşan sıralı bir listedir. Çıktı ise ödeme tutarı, terk etme olasılığı veya ödeme onay bayrağı gibi bir tamsayı ya da kayan noktalı tahmin değeridir.
Sınıflandırma örneği
Bir oyun operasyonu senaryosunda, oyuncunun son 14 gündeki oyun içi davranışlarını BST giriş dizisi olarak oluşturun. Model, önümüzdeki 14 gün içinde hangi ücretli kullanıcıların oyunu bırakma (churn) eğiliminde olduğunu tahmin eder. Bir kullanıcı art arda 14 gün giriş yapmazsa terk etmiş sayılır.
Regresyon örneği
Aynı oyun bağlamında, yeni kullanıcıların ilk 24 saatteki davranışlarını giriş dizisi olarak kullanın. Model, her kullanıcının sonraki 7 gün boyunca yapacağı toplam harcamayı tahmin eder.
Sınırlamalar
Sınıf dengesizliği
BST, sınıflar kabaca dengeli olduğunda en iyi performansı gösterir. Çoğunluk sınıfı, herhangi bir azınlık sınıfından 20 kat daha fazla örnek içeriyorsa, eğitim öncesi PolarDB for AI'deki K-means clustering algorithm kullanarak dengesiz sınıfları ön işlemeden geçirerek dengeli bir sınıf dağılımı sağlayın.
Dizi ve pencere boyutu kısıtlamaları
sequence_lengthdeğeri 3.000'i aşmamalıdır.window_size, maksimum davranış kimliği değerinin 1 fazlasına eşit veya ondan büyük olmalıdır.window_size900'ü aşıyorsa bellek sorunlarını önlemek içinsequence_lengthdeğerini maksimum değerin oldukça altında tutun.auto_heads=1olduğunda,int(sqrt(window_size)) + int(sqrt(sequence_length)) + 2ifadesinin sonucu asal sayı olmamalıdır. Sonuç asal sayı iseauto_heads=0ayarlayın venum_headsdeğerini manuel olarak belirtin.Küçük bir
batch_sizedeğeri aşırı öğrenme riskini artırır. Varsayılan değer 16'dır; daha kararlı bir eğitim için daha büyük bir değer kullanın.
Veri biçimi
Model oluşturma tablosu
| Sütun | Zorunlu | Tür | Açıklama | Örnek |
|---|---|---|---|---|
uid |
Zorunlu | VARCHAR | Her veri girdisinin kimliği (kullanıcı kimliği veya ürün kimliği) | 253460731706911258 |
event_list |
Zorunlu | LONGTEXT | Eğitim için kullanılan davranış dizisi. Zaman damgasına göre artan sırada sıralanmış, virgülle ayrılmış tamsayı davranış kimlikleri. | "[183, 238, 153, 152]" |
target |
Zorunlu | INT, FLOAT, DOUBLE | Model ölçümlerini hesaplamak için kullanılan örnek etiketi | 0 |
val_row |
İsteğe bağlı | INT | Doğrulama bölmesi için satır düzeyi bayrağı. 0 = eğitim verisi; 1 = doğrulama verisi. Yalnızca version=1 ve val_flag=1 olduğunda etkili olur. val_flag=0 olduğunda yalnızca val_row=0 olan satırlar kullanılır. |
1 |
other_feature |
İsteğe bağlı | INT, FLOAT, DOUBLE, LONGTEXT | Ek özellikler. LONGTEXT JSON, liste veya virgülle ayrılmış biçimi destekler. Birden fazla sütuna izin verilir (örneğin other_feature1, other_feature2). |
2 |
val_x_cols |
İsteğe bağlı | LONGTEXT | Parametre ayarlama için kullanılan doğrulama davranış dizisi. Yalnızca version=0 olduğunda etkili olur. |
"[183, 238, 153, 152]" |
val_y_cols |
İsteğe bağlı | INT, FLOAT, DOUBLE | Parametre ayarlama için kullanılan doğrulama etiketi. Yalnızca version=0 olduğunda etkili olur. |
1 |
Model değerlendirme tablosu
| Sütun | Zorunlu | Tür | Açıklama | Örnek |
|---|---|---|---|---|
uid |
Zorunlu | VARCHAR(255) | Her veri girdisinin kimliği | 123213 |
event_list |
Zorunlu | LONGTEXT | Davranış dizisi. Eğitim tablosundakiyle aynı biçimdedir. | "[183, 238, 153, 152]" |
target |
Zorunlu | INT, FLOAT, DOUBLE | Model hatalarını hesaplamak için kullanılan örnek etiketi | 0 |
other_feature |
İsteğe bağlı | INT, FLOAT, DOUBLE, LONGTEXT | Ek özellikler, model oluşturma sırasında kullanılanlarla tutarlı olmalıdır | 2 |
Model tahmini tablosu
| Sütun | Zorunlu | Tür | Açıklama | Örnek |
|---|---|---|---|---|
uid |
Zorunlu | VARCHAR(255) | Her veri girdisinin kimliği | 123213 |
event_list |
Zorunlu | LONGTEXT | Davranış dizisi. Eğitim tablosundakiyle aynı biçimdedir. | "[183, 238, 153, 152]" |
other_feature |
İsteğe bağlı | INT, FLOAT, DOUBLE, LONGTEXT | Ek özellikler, model oluşturma sırasında kullanılanlarla tutarlı olmalıdır | 2 |
Model parametreleri
Aşağıdaki parametreler, CREATE MODEL deyimindeki model_parameter değerleridir.
| Parametre | Varsayılan | Açıklama |
|---|---|---|
version |
0 |
Model sürümü. 0 = eski sürüm; 1 = yeni sürüm (önerilen). Eski sürüm val_x_cols ve val_y_cols öğelerini destekler ancak val_row, çok sınıflı sınıflandırma veya yığınlama (stacking) özelliklerini desteklemez. |
model_task_type |
classification |
Görev türü. Geçerli değerler: classification, regression, multi_classification. |
num_classes |
2 |
Çok sınıflı sınıflandırma için tahmin kategorilerinin sayısı. Örnek etiketleri 0'dan başlamalı ve farklı etiketlerin toplam sayısı bu değerden küçük olmalıdır. Örneğin, num_classes=3 olduğunda geçerli etiketler {0, 1, 2} kümesindedir. |
batch_size |
16 |
Toplu iş boyutu. Daha küçük bir değer aşırı öğrenme riskini artırır. |
window_size |
— | Davranış kimlikleri için gömme alanının boyutu. Maksimum davranış kimliği değerinin 1 fazlasına eşit veya ondan büyük olmalıdır. Aksi takdirde ayrıştırma hatası oluşur. |
sequence_length |
— | Model hesaplamalarına dahil edilen davranış olaylarının sayısı. 3.000'i aşmamalıdır. |
success_id |
— | Modelin tahmin ettiği davranış kimliği. |
max_epoch |
1 |
Maksimum eğitim yineleme sayısı. |
learning_rate |
0.0002 |
Öğrenme oranı. |
loss |
CrossEntropyLoss |
Kayıp fonksiyonu. İkili sınıflandırma için CrossEntropyLoss; regresyon için mse, mae veya msle. |
val_flag |
0 |
Her epoch sonrası doğrulama yapılıp yapılmayacağını belirtir. 0 = doğrulama yok (son epoch modelini kaydeder); 1 = her epoch'ta doğrula (en iyi ölçüme sahip modeli kaydeder; val_metric ve val_row gerektirir). |
val_metric |
loss |
Epoch düzeyi doğrulama için kullanılan ölçüm. Aşağıdaki tabloya bakın. |
auto_data_statics |
off |
Dizideki kimlik oluşumlarını sayıp istatistiksel özellikler oluşturup oluşturmayacağını belirtir. on = say; off = atla. |
auto_heads |
1 |
Çok başlı dikkat (multi-head attention) başlık sayısının otomatik olarak ayarlanıp ayarlanmayacağını belirtir. 1 = otomatik; 0 = manuel (num_heads belirtin). 1 olarak ayarlandığında yetersiz video belleği riski oluşabilir. int(sqrt(window_size)) + int(sqrt(sequence_length)) + 2 ifadesinin asal sayı olmadığını doğrulayın. |
num_heads |
4 |
Çok başlı dikkat başlık sayısı. Yalnızca auto_heads=0 olduğunda kullanılır. |
x_value_cols |
— | Sayısal ayrık özellikler olarak kullanılacak sütun adları. Boş bırakılamaz. Değerler tamsayı veya kayan noktalı sayı olmalıdır. Örnek: 'num_events, max_level, max_viplevel'. |
x_statics_cols |
— | İstatistiksel özellikler olarak kullanılacak sütun adları. Boş bırakılamaz. Her sütun sabit uzunluklu satırlara sahip LONGTEXT olmalıdır. JSON, liste veya virgülle ayrılmış biçimi destekler. Örnek: 'stats_item_list, stats_event_list'. |
x_seq_cols |
— | Dizi özellikleri olarak kullanılacak sütun adları. Her sütun liste veya virgülle ayrılmış biçimde LONGTEXT olmalıdır. Örnek: 'event_list'. |
data_normalization |
0 |
x_value_cols ile belirtilen sütunların normalleştirilip normalleştirilmeyeceğini belirtir. 0 = kapalı; 1 = açık. |
remove_seq_adjacent_duplicates |
off |
x_seq_cols ile belirtilen sütunlardaki bitişik yinelenen değerlerin kaldırılıp kaldırılmayacağını belirtir. off = yinelemeleri koru; on = kaldır. |
stacking |
off |
Model birleşimi yoluyla BST algoritmasının geliştirilip geliştirilmeyeceğini belirtir. Yalnızca model_task_type='classification' olduğunda geçerlidir. off = birleşim yok; on = model birleşimi ve tekrarları kaldırma. |
stacking_model |
'gbdt,svc,rt' |
Ensemble birleşimine dahil edilecek modeller. Yalnızca stacking='on' olduğunda geçerlidir. Geçerli değerler: bst, gbdt, svc, rt. Boş bırakılamaz. |
**Doğrulama ölçümleri (val_metric)**
| Değer | Ne ölçer | Görev türü |
|---|---|---|
loss |
Eğitim sırasında kullanılan aynı kayıp fonksiyonu | Sınıflandırma, regresyon |
f1score |
Kesinlik ve duyarlılığın harmonik ortalaması — sınıf dağılımı dengesiz olduğunda kullanışlıdır | Sınıflandırma, çok sınıflı sınıflandırma |
r2_score |
Belirlilik katsayısı — tahminlerin gerçek değerlere ne kadar uyduğunu gösterir | Regresyon |
mse |
Ortalama kare hata — tahminler ile gerçek değerler arasındaki ortalama karesel fark | Regresyon |
mape |
Ortalama mutlak yüzde hata — gerçek değerlerden ortalama yüzde sapma | Regresyon |
mape_plus |
Hatayı yalnızca pozitif etiketlerde ölçen MAPE varyantı | Regresyon |
Değerlendirme ölçümleri
Aşağıdakiler, EVALUATE deyimindeki metrics parametresinin geçerli değerleridir.
| Değer | Ne ölçer | Görev türü |
|---|---|---|
acc |
Doğruluk — doğru tahminlerin oranı | Sınıflandırma, çok sınıflı sınıflandırma |
auc |
ROC eğrisi altındaki alan — modelin pozitif ve negatif sınıfları ayırma yeteneği | Sınıflandırma, çok sınıflı sınıflandırma |
Fscore |
F1 skoru — kesinlik ve duyarlılığın harmonik ortalaması, sınıf dağılımı dengesiz olduğunda kullanışlıdır | Sınıflandırma, çok sınıflı sınıflandırma |
r2_score |
Belirlilik katsayısı | Regresyon |
mse |
Ortalama kare hata | Regresyon |
mape |
Ortalama mutlak yüzde hata | Regresyon |
mape_plus |
Yalnızca pozitif etiketler için MAPE varyantı | Regresyon |
Örnekler
Aşağıdaki örnekler sınıflandırma görevlerini kullanır. Diğer görev türleri içinmodel_task_typeve ilgililossilemetricsparametrelerini ayarlayın.
Model oluşturma
/*polar4ai*/CREATE MODEL sequential_bst WITH (
model_class = 'bst',
x_cols = 'event_list,other_feature1',
y_cols = 'target',
model_parameter = (
batch_size = 128,
window_size = 900,
sequence_length = 3000,
success_id = 900,
max_epoch = 2,
learning_rate = 0.0008,
val_flag = 1,
x_seq_cols = 'event_list',
x_value_cols = 'other_feature1',
val_metric = 'f1score',
auto_data_statics = 'on',
data_normalization = 1,
remove_seq_adjacent_duplicates = 'on',
version = 1
)
) AS (SELECT * FROM seqential_train);
seqential_train, model oluşturma veri tablosudur.
Model değerlendirme
/*polar4ai*/SELECT uid, target FROM evaluate(
MODEL sequential_bst,
SELECT * FROM seqential_eval
) WITH (
x_cols = 'event_list,other_feature1',
y_cols = 'target',
metrics = 'Fscore'
);
seqential_eval, model değerlendirme veri tablosudur.
Tahmin çalıştırma
/*polar4ai*/SELECT uid, target FROM PREDICT(
MODEL sequential_bst,
SELECT * FROM seqential_test
) WITH (
x_cols = 'event_list,other_feature1',
mode = 'async'
);
seqential_test, model tahmini veri tablosudur.