Artificial Intelligence Recommendation：Operator fitur bawaan

Pengenalan fungsi

Operator id_feature merepresentasikan fitur diskrit dan mendukung fitur diskrit bernilai tunggal—seperti ID pengguna dan ID item—maupun fitur diskrit bernilai ganda, seperti warna produk yang dapat memiliki beberapa nilai.

Konfigurasi

{
  "feature_type": "id_feature",
  "feature_name": "item_is_main",
  "expression": "item:is_main",
  "need_prefix": true,
  "separator": "\u001D",
  "default_value": ""
}

• Operator ini mendukung Pengelompokan. Untuk informasi selengkapnya, lihat Pengelompokan fitur (diskretisasi).

• Operator ini mendukung input bernilai ganda bertipe array.

Contoh

Contoh berikut menggunakan fitur sisi-item is_main untuk menunjukkan input dan output fitur dengan konfigurasi berbeda:

Simbol ^] merepresentasikan pemisah bernilai ganda. Ini adalah satu karakter dengan kode ASCII "\x1D", yang juga dapat ditulis sebagai "\u001d".

Pengenalan fungsi

Operator raw_feature merepresentasikan fitur kontinu dan mendukung tipe numerik seperti int, float, dan double, serta menangani fitur kontinu bernilai tunggal maupun bernilai ganda.

Konfigurasi

{
 "feature_type" : "raw_feature",
 "feature_name" : "ctr",
 "expression" : "item:ctr",
 "normalizer" : "method=log10"
}

• Operator ini mendukung Pengelompokan. Untuk informasi selengkapnya, lihat Pengelompokan fitur (diskretisasi).

• Operator ini mendukung input bernilai ganda bertipe array.

Contoh

Simbol ^] merepresentasikan pemisah bernilai ganda. Perhatikan bahwa ini adalah satu karakter dengan kode ASCII "\x1D", bukan dua karakter.

Normalizer

Operator raw_feature dan match_feature mendukung empat metode normalisasi: minmax, zscore, log10, dan expression. Konfigurasi dan metode perhitungannya sebagai berikut:

• minmax

  Contoh konfigurasi: method=minmax,min=2.1,max=2.2

  Rumus: x = (x - min) / (max - min)

• zscore

  Contoh konfigurasi: method=zscore,mean=0.0,standard_deviation=10.0

  Rumus: x = (x - mean) / standard_deviation

• log10

  Contoh konfigurasi: method=log10,threshold=1e-10,default=-10

  Rumus: x = x > threshold ? log10(x) : default;

• expression

  Contoh konfigurasi: method=expression,expr=sign(x)

  Rumus: Anda dapat mengonfigurasi fungsi atau ekspresi apa pun. Nama variabel tetap sebagai x, yang merepresentasikan input ekspresi.

Pengenalan fungsi

Operator expr_feature merepresentasikan fitur ekspresi dengan mengevaluasi suatu ekspresi dan menghasilkan nilai fitur bertipe float. Operator ini mendukung komputasi batch dan broadcasting.

Catatan: Saat menggunakan operator ini, semua input harus dapat dikonversi ke tipe double.

Konfigurasi

{
  "feature_type" : "expr_feature",
  "feature_name" : "ctr_sigmoid",
  "expression" : "sigmoid(pv/(1+click))",
  "variables": ["item:pv", "item:click"]
}

Jika pv = 2, click = 3, nilai fitur ekspresi adalah: 0.6224593312

Contoh konfigurasi

{
    "feature_name": "expr_feat",
    "feature_type": "expr_feature",
    "expression": "a+b",
    "variables": ["a", "b"],
    "value_dimension": 3
}

• Perhitungan skalar dan vektor (broadcasting)

  • Jika variabel a=1 dan variabel b=[1, 2, 6], hasilnya adalah [2, 3, 7].

• Komputasi element-wise vektor-ke-vektor

  • Jika variabel a=[3, 2, 1] dan variabel b=[1, 2, 6], hasilnya adalah [4, 4, 7].

• Mendukung variabel sementara dan ekspresi koma

  • Contohnya: x=roundp(a),(a-x)*b. Dalam contoh ini, x adalah variabel sementara dan tidak perlu dikonfigurasi dalam variables.

  • Ekspresi koma dievaluasi dari kiri ke kanan. Nilai sub-ekspresi paling kanan yang dikembalikan.

  • Untuk mengurangi overhead memori, gunakan kembali variabel yang ada sebagai variabel sementara jika secara semantik sesuai.

Menggabungkan fitur ekspresi dan fitur sekuens

{
  "features": [
    {
      "feature_name": "sphere_distance",
      "feature_type": "expr_feature",
      "expression": "sphere_dist(click_id_lng,click_id_lat,j_lng,j_lat)",
      "variables": ["user:click_id_lng", "user:click_id_lat", "item:j_lng", "item:j_lat"],
      "default_value": "0",
      "value_dimension": 3,
      "stub_type": true
    },
    {
      "feature_name": "time_diff",
      "feature_type": "expr_feature",
      "variables": ["user:cur_time", "user:clk_time_seq"],
      "expression": "cur_time-clk_time_seq",
      "default_value": "0",
      "separator": ";",
      "value_dimension": 3,
      "stub_type": true
    },
    {
      "sequence_name": "click_seq",
      "sequence_length": 3,
      "sequence_delim": ";",
      "sequence_pk": "user:click_item",
      "features": [
        {
          "feature_name": "spherical_distance",
          "feature_type": "raw_feature",
          "expression": "feature:sphere_distance",
          "default_value": "0.0"
        },
        {
          "feature_name": "time_diff_seq",
          "feature_type": "id_feature",
          "expression": "feature:time_diff",
          "default_value": "0.0",
          "num_buckets": 10000
        }
      ]
    }
  ]
}

Ekspresi

• Fungsi bawaan (skalar)

  Nama fungsi	Jumlah parameter	Deskripsi
  rnd	0	Hasilkan bilangan acak antara 0 dan 1
  sin	1	fungsi sinus
  cos	1	fungsi cosinus
  tan	1	fungsi tangen
  asin	1	fungsi arcus sinus
  acos	1	fungsi arcus cosinus
  atan	1	fungsi arcus tangen
  sinh	1	fungsi sinus hiperbolik
  cosh	1	cosinus hiperbolik
  tanh	1	fungsi tangen hiperbolik
  asinh	1	fungsi arcus sinus hiperbolik
  acosh	1	fungsi arcus tangen hiperbolik
  atanh	1	fungsi arcus tangen hiperbolik
  log2	1	logaritma basis 2
  log10	1	logaritma basis 10
  log	1	logaritma basis e (2.71828...)
  ln	1	logaritma basis e (2.71828...)
  exp	1	e dipangkatkan x
  sqrt	1	akar kuadrat dari suatu nilai
  sign	1	fungsi sign -1 jika x<0; 1 jika x>0
  abs	1	nilai absolut
  rint	1	pembulatan ke bilangan bulat terdekat
  round	1	Membulatkan ke bilangan bulat terdekat. Selalu membulatkan setengah menjauhi nol.
  roundp	1	Membulatkan ke presisi khusus. Contohnya, roundp(3.14159,2)=3.14.
  mod	2	Operasi modulo
  floor	1	Membulatkan ke bawah ke bilangan bulat terdekat.
  ceil	1	Membulatkan ke atas ke bilangan bulat terdekat.
  trunc	1	Memotong ke bilangan bulat dengan menghapus bagian desimal.
  sigmoid	1	fungsi sigmoid
  sphere_dist	4	jarak bola antara dua titik gps, argumen(lng1, lat1, lng2, lat2)
  haversine	4	jarak haversine antara dua titik gps, argumen(lng1, lat1, lng2, lat2)
  min	var.	minimum dari semua argumen
  max	var.	maksimum dari semua argumen
  sum	var.	jumlah dari semua argumen
  avg	var.	nilai rata-rata dari semua argumen

  Catatan: Fungsi bawaan di atas mendukung komputasi batch dan broadcasting.

• Fungsi operasi vektor bawaan

  Nama fungsi	Jumlah parameter	Deskripsi
  len	1	panjang vektor
  l2_norm	1	normalisasi l2 dari vektor
  squared_norm	1	Normalisasi kuadrat suatu vektor
  dot	2	hasil kali titik dua vektor
  euclid_dist	2	jarak Euclidean antara dua vektor
  corr	2	Koefisien Korelasi Pearson dari dua vektor
  std_dev	1	deviasi standar vektor, bagi n
  pop_std_dev	1	simpangan baku populasi vektor, bagi n-1
  variance	1	varians sampel vektor, bagi n
  pop_variance	1	varians populasi vektor, bagi n-1
  reduce_min	1	reduce minimum vektor
  reduce_max	1	reduce maksimum vektor
  reduce_sum	1	reduce jumlah vektor
  reduce_mean	1	reduksi rata-rata suatu vektor
  reduce_prod	1	reduce perkalian vektor

  Catatan: Jika ekspresi berisi fungsi operasi vektor bawaan di atas, variabel lain yang bukan parameter fungsi vektor harus berupa skalar.

• Operator biner bawaan

  Operator	Deskripsi	Prioritas
  =	penugasan *	0
  ||	logis atau	1
  &&	dan logis	2
  |	bitwise or	3
  &	bitwise and	4
  <=	kurang dari atau sama dengan	5
  >=	lebih dari atau sama dengan	5
  !=	tidak sama dengan	5
  ==	sama dengan	5
  >	lebih besar dari	5
  <	kurang dari	5
  +	penambahan	6
  -	pengurangan	6
  *	perkalian	7
  /	pembagian	7
  %	modulo	7
  ^	pangkat x ke y	8

  Operator penugasan bersifat khusus karena memodifikasi salah satu argumennya dan hanya dapat diterapkan pada variabel.

• Operator ternary bawaan

  Mendukung sintaks if-else.

  Menggunakan evaluasi malas untuk memastikan hanya cabang ekspresi yang diperlukan yang dievaluasi.

  Operator	Deskripsi	Prioritas
  ?:	operator if then else	sintaks gaya C++

• Konstanta bawaan

  Operator	Deskripsi	Prioritas
  _pi	Bilangan pi yang satu-satunya.	3.141592653589793238462643
  _e	Bilangan Euler.	2.718281828459045235360287

Pengenalan fungsi

Operator combo_feature membuat kombinasi (Produk Kartesius) dari beberapa bidang atau ekspresi. Operator id_feature dapat dianggap sebagai kasus khusus combo_feature di mana hanya satu bidang yang digunakan untuk perkalian silang. Biasanya, bidang yang terlibat dalam perkalian silang berasal dari tabel berbeda, seperti menggabungkan fitur pengguna dengan fitur item.

Konfigurasi

{
  "feature_type" : "combo_feature",
  "feature_name" : "comb_age_item",
  "expression" : ["user:age_class", "item:item_id"],
  "need_prefix": true,
  "separator": "\u001D",
  "default_value": ""
}

• Operator ini mendukung Pengelompokan. Untuk informasi selengkapnya, lihat Pengelompokan fitur (diskretisasi).

• Operator ini mendukung input bernilai ganda bertipe array.

Contoh

Simbol ^] merepresentasikan pemisah bernilai ganda. Perhatikan bahwa ini adalah satu karakter dengan kode ASCII "\x1D", bukan dua karakter.

Jumlah fitur output adalah:

|F1| * |F2| * ... * |Fn|

Fn mengacu pada jumlah nilai dalam bidang dependen ke-n.

Pengenalan fungsi

Seperti match_feature, operator lookup_feature mencocokkan dan mengambil hasil yang diperlukan dari sekumpulan pasangan kunci-nilai.

Operator ini bergantung pada dua bidang: map dan key.

• map adalah bidang dictionary atau string bernilai ganda (MultiString) dengan setiap string berformat "k1:v1".

• key dapat berupa bidang bertipe apa pun. Jika Anda memiliki beberapa kunci, disarankan menggunakan input bertipe array. Saat fitur dihasilkan, nilai kunci diambil, diubah menjadi tipe kunci-nilai dari map, lalu dicocokkan dengan pasangan kunci-nilai dalam bidang map untuk mendapatkan fitur akhir.

Konfigurasi

{
  "feature_type": "lookup_feature",
  "feature_name": "item_match_item",
  "map": "item:item_attr",
  "key": "item:item_value",
  "need_discrete": true,
  "need_key": true
}

• Operator ini mendukung Pengelompokan. Untuk informasi selengkapnya, lihat Pengelompokan fitur (diskretisasi).

• Dictionary mendukung input bertipe map, dan kunci mendukung input bertipe array.

Contoh

Untuk konfigurasi di atas, asumsikan untuk dokumen tertentu:

item_attr : "k1:v1^]k2:v2^]k3:v3"

Simbol ^] merepresentasikan pemisah bernilai ganda. Ini adalah satu karakter dengan kode ASCII "\x1D", bukan dua karakter. Anda dapat memasukkan karakter ini di emacs dengan menekan C-q C-5, atau di vim dengan menekan C-v C-5. Di sini, item_attr adalah string bernilai ganda.

Ketika map merepresentasikan beberapa pasangan kunci-nilai, itu adalah string bernilai ganda, bukan string tunggal.

item_value : "k2"

Hasil transformasi fitur adalah item_match_item_k2_v2.

feature_name: fg
map: {"k1:123", "k2:234", "k3:3"}
key: {"k1"}
Result: feature={"fg_123"}

map: {"k1:123", "k2:234", "k3:3"}
key: {"k1"}
Result: feature={123}

Menggabungkan hasil kueri

Jika terdapat beberapa kunci, Anda dapat mengonfigurasi combiner untuk menggabungkan beberapa nilai yang diambil. Konfigurasi yang mungkin adalah sum, mean, max, dan min.

Untuk menggunakan combiner, atur need_discrete ke false. Dalam hal ini, nilai harus bertipe numerik atau string yang dapat dikonversi ke tipe numerik.

Pengenalan fungsi

Operator match_feature biasanya digunakan untuk mendefinisikan hubungan pencocokan antar fitur dan mengimplementasikan proses pencocokan peta dua tingkat.

Konfigurasi

File konfigurasi menggunakan format JSON.

{
  "feature_name": "user__l1_ctr_1",
  "feature_type": "match_feature",
  "category": "ALL",
  "need_discrete": false,
  "item": "item:category_level1",
  "user": "user:l1_ctr_1",
  "match_type": "hit"
}

• user: Dictionary bersarang (nested_dict), yaitu dict of dicts.

  • Bidang user menggunakan string untuk menggambarkan peta dua tingkat.

  • Karakter | adalah pemisah antar item di peta tingkat pertama. Karakter ^ adalah pemisah antara kunci dan nilai di peta tingkat pertama.

  • Karakter , adalah pemisah antar item di peta tingkat kedua. Karakter : adalah pemisah antara kunci dan nilai di peta tingkat kedua.

• category: Kunci utama, yaitu kunci untuk mencari di peta tingkat pertama.

  ALL adalah karakter wildcard yang menunjukkan bahwa semua kunci di tingkat ini dapat dicocokkan.

• item: Kunci sekunder, yaitu kunci untuk mencari di peta tingkat kedua.

  ALL adalah karakter wildcard yang menunjukkan bahwa semua kunci di tingkat ini dapat dicocokkan.

• need_discrete

  • true: Model menggunakan nama fitur yang dioutput oleh match_feature dan mengabaikan nilai fitur. Nilai default adalah false.

  • false: Model menggunakan nilai fitur yang dioutput oleh match_feature dan mengabaikan nama fitur.

• match_type

  • hit: Menghasilkan fitur yang cocok. Operator menggunakan nilai category untuk mencari di peta tingkat pertama, lalu menggunakan nilai item untuk mencari di peta tingkat kedua guna mendapatkan hasil. Jika Anda hanya membutuhkan pencocokan satu tingkat alih-alih dua tingkat, Anda dapat mengatur kunci di tingkat pertama peta ke ALL dan juga mengatur parameter category dalam konfigurasi pembuatan fitur ke "ALL".

  • multihit: Memungkinkan bidang category dan item diatur ke opsi MATCH_WILDCARD, yaitu "ALL", untuk mencocokkan beberapa nilai.

• normalizer

  Opsional. Metode normalisasi. Parameter ini memiliki makna yang sama dengan parameter dengan nama yang sama untuk raw_feature. Parameter ini hanya berlaku ketika need_discrete=false.

• show_category

  Menentukan apakah akan menambahkan awalan category ke hasil kueri. Nilai default-nya adalah true jika need_discrete=true dan match_type=hit; jika tidak, nilai default-nya adalah false.

• show_item

  Menentukan apakah akan menambahkan awalan item ke hasil kueri. Nilai default-nya adalah true jika need_discrete=true dan match_type=hit; jika tidak, nilai default-nya adalah false.

• value_type

  Opsional. Tipe data fitur output. Nilai default adalah string.

• separator

  Opsional. Pemisah untuk bidang key bertipe string dengan nilai ganda. Nilai default-nya adalah "\u001D". Hanya satu karakter yang didukung.

• default_value

  Opsional. Nilai default yang digunakan ketika fitur input kosong.

• value_dimension

  Opsional. Nilai default adalah 0. Anda dapat menggunakan parameter ini untuk memotong output dalam tugas offline. Jika nilainya 1, tipe skema tabel output adalah value_type. Jika tidak, tipe skema adalah array<value_type>.

• stub_type

  Opsional. Nilai default adalah false. Jika Anda mengatur parameter ini ke true, transformasi fitur yang dikonfigurasi hanya digunakan sebagai hasil antara dalam pipeline dan tidak dioutput ke model.

Contoh

{
  "50011740": {
    "50011740": 0.2,
    "36806676": 0.3,
    "122572685": 0.5
  },
  "50006842": {
    "16788": 0.1
  }
}

{
  "feature_name": "brand_hit",
  "feature_type": "match_feature",
  "category": "item:auction_root_category",
  "need_discrete": true,
  "item": "item:brand_id",
  "user": "user:user_brand_tags_hit",
  "match_type": "hit"
}

Pengenalan fungsi

Operator ini menghasilkan fitur yang berisi informasi pencocokan string dan kata. Sebagai contoh, dalam skenario pencarian, operator ini menghitung apakah kueri pencarian terdapat dalam judul produk.

Metode perhitungan untuk fitur Ukuran Kedekatan Istilah dijelaskan dalam makalah "An Exploration of Proximity Measures in Information Retrieval".

Asumsikan urutan istilah judul (dokumen) adalah: t1,t2,t1,t3,t5,t4,t2,t3,t4

• MinCover didefinisikan sebagai panjang segmen dokumen terpendek yang mencakup setiap istilah kueri setidaknya sekali dalam dokumen.

• MinDist (Jarak pasangan minimum): Menghitung minimum dari semua jarak pasangan minimum. Misalnya, jika Q=t1,t2,t3, maka MinDist=min(1,2,3)=1.

• MaxDist (Jarak pasangan maksimum): Kebalikan dari MinDist. Menemukan nilai maksimum. Misalnya, jika Q=t1,t2,t3, maka MaxDist=max(1,2,3)=3.

• AveDist (Jarak pasangan rata-rata): Menghitung rata-rata dari semua jarak pasangan minimum. Misalnya, jika Q=t1,t2,t3, maka AveDist=(1+2+3)/3=2.

Catatan bahwa semua operator agregat (MinDist, MaxDist, dan AveDist) didefinisikan berdasarkan jarak pasangan antara istilah kueri pencarian yang cocok. Ketika dokumen hanya mencocokkan satu istilah kueri pencarian, MinDist, AveDist, dan MaxDist semuanya didefinisikan sebagai panjang dokumen.

Konfigurasi

{
  "feature_type" : "overlap_feature",
  "feature_name" : "is_contain",
  "query" : "user:attr1",
  "title" : "item:attr2",
  "method" : "is_contain",
  "separator" : " ",
  "normalizer" : ""
}

Output fitur overlap bertipe float.

Contoh 1

Kuerinya adalah "high,high2,fiberglass,abc", dan judulnya adalah "high,quality,fiberglass,tube,for,golf,bag".

Contoh 2

method=index_of, dan judulnya adalah the cat sat on the mat.

Pengenalan fungsi

Perilaku historis pengguna merupakan fitur penting. Perilaku historis biasanya berupa sekuens, seperti sekuens klik atau sekuens pembelian. Entitas yang membentuk sekuens dapat berupa item itu sendiri atau properti item tersebut.

Konfigurasi

Sebagai contoh, untuk memproses sekuens klik pengguna dengan panjang 50, Anda dapat mengekstraksi fitur item_id, price, dan ts untuk setiap sekuens. Di sini, ts = request_time - event_time. Konfigurasinya sebagai berikut:

{
  "sequence_name": "click_50_seq",
  "sequence_length": 50,
  "sequence_delim": ";",
  "sequence_pk": "user:click_50_seq",
  "features": [
    {
        "feature_name": "item_id",
        "feature_type": "id_feature",
        "value_type": "string",
        "expression": "item:item_id"
    },
    {
        "feature_name": "price",
        "feature_type": "raw_feature",
        "expression": "item:price"
    },
    {
        "feature_name": "ts",
        "feature_type": "raw_feature",
        "expression": "user:ts"
    },
    {
      "feature_name": "time_diff_seq",
      "feature_type": "custom_feature",
      "operator_name": "SeqExpr",
      "operator_lib_file": "3rdparty/lib64/libseq_expr.so",
      "expression": ["user:cur_time", "user:clk_time_seq"],
      "formula": "cur_time - clk_time_seq",
      "sequence_fields": ["clk_time_seq"],
      "default_value": "0",
      "value_type": "double",
      "is_op_thread_safe": false,
      "value_dimension": 1
    }
  ]
}

• sequence_name: Nama sekuens.

• sequence_length: Panjang maksimum sekuens.

• sequence_delim: Pemisah antar elemen dalam sekuens.

• sequence_pk: Kunci utama sekuens, seperti user:click_50_seq. Menyimpan 50 ID item terbaru yang diklik pengguna. Layanan inferensi model menggunakan bidang ini sebagai kunci untuk mengkueri side info.

  • Parameter permintaan untuk layanan inferensi online (EAS Processor) harus menyertakan fitur yang kuncinya adalah nilai sequence_pk.

    • Contohnya: click_50_seq: 5410233389955966;1832586 (Pemisahnya adalah nilai yang dikonfigurasi untuk sequence_delim).

      • Pada contoh sebelumnya, nilai fitur click_50_seq adalah 5.410.233.389.955.966;1.832.586.

  • Sub-fitur sisi-item dari sekuens tidak perlu dikirimkan ke layanan inferensi model dalam parameter permintaan.

    • Layanan inferensi model menggunakan bidang ini sebagai kunci untuk mengkueri side info item.

    • Sebagai contoh, dalam konfigurasi ini, fitur item_id, price dalam fitur sekuens tidak perlu dikirimkan ke layanan inferensi dalam permintaan. Sebaliknya, fitur-fitur tersebut dibaca dari cache item Processor dan digabungkan oleh SDK pembuatan fitur (FG) dalam Processor untuk memastikan formatnya konsisten dengan yang digunakan selama pelatihan offline.

  • Sub-fitur sisi-pengguna dari sekuens harus dikirimkan ke layanan inferensi model dalam parameter permintaan.

    • Nama fiturnya adalah ${sequence_name}__${input_name}, seperti click_50_seq__ts.

    • ${input_name} umumnya dikonfigurasi menggunakan item konfigurasi expression, tetapi konfigurasi dapat bervariasi untuk tipe sub-fitur yang berbeda, dan ${input_name} tidak menyertakan awalan domain input (item: atau user:).

• features: side info dari sequence, yang mencakup nilai properti statis item dan informasi waktu perilaku.

  • sequence_fields: Menentukan nama bidang dari input sequence. Nilainya berupa string atau array [string].

    • Ketika operator fitur hanya memiliki satu bidang input, konten bidang tersebut harus berupa sequence. Dalam kasus ini, Anda tidak perlu mengonfigurasi sequence_fields.

    • Ketika operator fitur memiliki beberapa bidang input, jika Anda tidak mengonfigurasi sequence_fields, semua fitur sisi item (item:XXX) diasumsikan sebagai bidang input sequence.

  • Tabel input FG yang digunakan dalam Tugas offline harus berisi kolom yang sesuai dengan semua sub-fitur.

    • Jika suatu kolom merupakan sequence (berdasarkan aturan sequence_fields), beri nama kolom tersebut ${sequence_name}__${input_name}.

      • Sebagai contoh, dalam konfigurasi ini, tabel offline memerlukan empat kolom: click_50_seq__item_id, click_50_seq__price, click_50_seq__ts, dan click_50_seq__clk_time_seq.

      • Kami menyarankan agar tipe kolom dalam tabel offline berupa array untuk performa yang lebih baik. Tipe string dengan sequence_delim sebagai pemisah elemen juga didukung.

    • Jika suatu kolom bukan sequence, beri nama ${input_name} tanpa awalan.

      • Sebagai contoh, dalam konfigurasi ini, tabel offline memerlukan satu kolom non-sequence: ${cur_time}.

    • Anda dapat mengonfigurasi input_alias secara global untuk menetapkan alias yang lebih pendek bagi nama kolom yang panjang (lihat contoh di bawah).

  • Operator ini mendukung Pengelompokan. Untuk informasi selengkapnya, lihat Feature binning (discretization). Ketika Pengelompokan dikonfigurasi, tipe elemen output adalah int64, dan bentuknya ditentukan oleh konfigurasi value_dimension di bawah ini.

  • value_dimension (dapat disingkat menjadi value_dim): Dimensi setiap elemen dalam sequence. Untuk sequence_raw_feature, jika diatur ke 1, tipe output-nya adalah array<float>; jika diatur ke nilai lain, tipe output-nya adalah array<array<float>>. Untuk sequence_id_feature, jika diatur ke 1, tipe output-nya adalah array<string>; jika diatur ke nilai lain, tipe output-nya adalah array<array<string>>. Nilai default-nya adalah 0.

Fitur apa pun dapat dikonfigurasi sebagai sub-fitur fitur sekuens, seperti yang ditunjukkan dalam contoh berikut:

{
  "features": [
    {
      "sequence_name": "common_seq",
      "sequence_length": 50,
      "sequence_delim": ";",
      "sequence_pk": "user:click_50_seq",
      "features": [
        {
          "feature_name": "item_id",
          "feature_type": "id_feature",
          "value_type": "String",
          "expression": "item:item_id",
          "value_dimension": 1
        },
        {
          "feature_name": "price",
          "feature_type": "raw_feature",
          "expression": "item:price"
        },
        {
          "feature_name": "ts",
          "feature_type": "raw_feature",
          "expression": "user:ts"
        },
        {
          "feature_name": "expr_feat",
          "feature_type": "expr_feature",
          "expression": "a > b",
          "variables": ["item:a", "item:b"],
          "sequence_fields": "a",
          "default_value": "0",
          "value_dimension": 1
        },
        {
          "feature_name": "lookup_feat",
          "feature_type": "lookup_feature",
          "map": "user:dict",
          "key": "item:prop",
          "separator": ",",
          "default_value": "0",
          "value_type": "float",
          "combiner": "sum",
          "boundaries": [0.0, 0.15, 0.5]
        },
        {
          "feature_name": "match_feat",
          "feature_type": "match_feature",
          "user": "user:nested_dict",
          "category": "item:pkey",
          "item": "item:skey",
          "separator": "\u001D",
          "default_value": "0",
          "matchType": "hit",
          "value_type": "float",
          "value_dimension": 1
        },
        {
          "feature_name": "bm25_score",
          "feature_type": "bm25_feature",
          "separator": " ",
          "default_value": "0",
          "query": "user:query",
          "document": "item:document",
          "sequence_fields": "query",
          "document_number": 100,
          "avg_doc_length": 6,
          "term_doc_freq_dict": {
            "this": 30,
            "example": 10,
            "document": 15
          }
        },
        {
          "feature_name": "overlap_feat",
          "feature_type": "overlap_feature",
          "query": "user:query2",
          "title": "item:title2",
          "sequence_fields": "query2",
          "method": "index_of",
          "separator": " ",
          "default_value": "-1"
        },
        {
          "feature_type": "kv_dot_product",
          "feature_name": "query_doc_sim",
          "query": "user:query3",
          "document": "item:title",
          "sequence_fields": "query3",
          "separator": "|",
          "default_value": "0"
        },
        {
          "feature_name": "seg_feat",
          "feature_type": "tokenize_feature",
          "expression": "input_a",
          "default_value": "0",
          "output_type": "word",
          "tokenizer_type": "sentencepiece",
          "vocab_file": "spmodel.model"
        },
        {
          "feature_name": "txt_norm",
          "feature_type": "text_normalizer",
          "expression": "input",
          "default_value": "<oov>",
          "parameter": 28
        },
        {
          "feature_name": "seq_combo_feat",
          "feature_type": "combo_feature",
          "expression": ["user:tags", "item:cat"],
          "sequence_fields": ["tags"],
          "separator": "_",
          "default_value": "0",
          "value_dimension": 1
        },
        {
          "feature_name": "norm_str",
          "feature_type": "str_replace_feature",
          "expression": ["user:profile"],
          "default_value": "",
          "replace_file": "synonyms.txt",
          "replacements": {
            "|": "",
            "aa": "x",
            "a": "X"
          },
          "value_dimension": 1
        },
        {
          "feature_name": "query_tokens",
          "feature_type": "regex_replace_feature",
          "expression": ["user:query_tokens"],
          "default_value": "",
          "value_type": "string",
          "regex_pattern": [ "\\|", "#", "\\(.*\\)" ],
          "replacement": "",
          "value_dimension": 1
        },
        {
          "feature_name": "slice",
          "feature_type": "slice_feature",
          "value_type": "int32",
          "expression": ["context:array"],
          "slice": "0:3",
          "value_dimension": 3,
          "num_buckets": 100000
        },
        {
          "feature_name": "mask_feature",
          "feature_type": "bool_mask_feature",
          "value_type": "float",
          "expression": [
            "user:click_items",
            "item:is_valid"
          ]
        },
        {
          "feature_name": "time_diff_seq",
          "feature_type": "custom_feature",
          "operator_name": "SeqExpr",
          "operator_lib_file": "3rdparty/lib64/libseq_expr.so",
          "expression": ["user:cur_time", "user:clk_time_seq"],
          "formula": "cur_time - clk_time_seq",
          "sequence_fields": ["clk_time_seq"],
          "default_value": "0",
          "value_type": "double",
          "is_op_thread_safe": false,
          "value_dimension": 1
        }
      ]
    }
  ],
  "input_alias": {
    "common_seq__clk_time_seq": "clk_time_seq"
  }
}

Catatan: Parameter input_alias mengonfigurasi alias untuk bidang input. Formatnya adalah "origin_field": "alias_field". Anda dapat menggunakan nama yang lebih pendek untuk menggantikan nama bidang input asli.

Konfigurasi berbasis ubin

Dalam kebanyakan kasus, Anda dapat membuat versi sekuens dari fitur non-sekuens dengan menambahkan awalan sequence_ ke feature_type-nya. Perhatikan bahwa Anda biasanya harus mengonfigurasi default_value untuk versi sekuens fitur.

Contoh:

• sequence_id_feature

• sequence_raw_feature

• sequence_match_feature

• sequence_lookup_feature

• sequence_expr_feature

• sequence_combo_feature

• sequence_overlap_feature

• sequence_bm25_feature

• sequence_kv_dot_product

• sequence_text_normalizer

• sequence_tokenize_feature

Kasus khusus 1: Beberapa jenis transformasi fitur memiliki versi sekuens dan non-sekuens.

Dalam kasus ini, Anda dapat mengaktifkan versi yang sesuai dengan mengatur is_sequence: true/false.

Dalam kasus ini, item konfigurasi feature_type tidak perlu awalan sequence_.

Contoh:

• str_replace_feature

• regex_replace_feature

• custom_feature

Kasus khusus 2: Beberapa jenis transformasi fitur hanya memiliki versi sekuens, bukan versi non-sekuens.

Dalam kasus ini, item konfigurasi feature_type tidak perlu awalan sequence_.

Contoh:

• slice_feature

• bool_mask_feature

Untuk dua kasus khusus ini, Anda dapat menambahkan konfigurasi opsional berikut:

• sequence_length: Panjang maksimum sekuens. Kelebihan akan dipotong. Nilai default adalah -1, yang berarti tidak ada pemotongan.

• sequence_delim: Pemisah antar elemen dalam sekuens. Nilai default adalah ;.

Contoh konfigurasi:

{
  "feature_name": "clk_seq__item_id",
  "feature_type": "sequence_id_feature",
  "sequence_name": "clk_seq",
  "sequence_length": 50,
  "sequence_delim": ";",
  "expression": "item:clk_item_seq",
  "separator": "\u001D",
  "default_value": ""
},
{
  "feature_name": "clk_seq__item_price",
  "feature_type": "sequence_raw_feature",
  "sequence_name": "clk_seq",
  "sequence_length": 50,
  "sequence_delim": ";",
  "expression": "item:clk_item_prices",
  "separator": "\u001D",
  "default_value": "0"
},
{
  "feature_name": "test",
  "feature_type": "sequence_lookup_feature",
  "map": "user:prefer_tags",
  "key": "item:tags",
  "sequence_length": 2,
  "separator": ",",
  "default_value": "-1024",
  "value_type": "int32",
  "normalizer": "method=expression,expr=x+1",
  "combiner": "sum",
  "default_bucketize_value": 50,
  "num_buckets": 10000
},
{
  "feature_name": "test",
  "feature_type": "sequence_combo_feature",
  "separator": "_",
  "default_value": "0",
  "expression": ["user:f1", "item:f2"],
  "hash_bucket_size": 10000
}

Dalam contoh di atas, bidang input clk_item_seq dan clk_item_prices harus berupa sekuens. Bidang-bidang tersebut dapat bertipe array atau string, dengan nilai elemen dipisahkan oleh karakter yang dikonfigurasi dalam sequence_delim.

• Dengan metode konfigurasi ini, layanan online (Processor) tidak mengkueri sideinfo. Pengguna harus menyediakan input lengkap.

• Nama bidang input untuk fitur sekuens berbasis ubin tetap sama seperti yang dikonfigurasi dan tidak diberi awalan ${sequence_name}__.

Pembuatan fitur online

Ada dua cara untuk mendapatkan side info perilaku. Pertama, mengambil side info dari cache item EasyRec Processor, yang menggunakan bidang yang dikonfigurasi dalam sequence_pk sebagai kunci utama untuk menemukan informasi properti item dari cache tersebut. Kedua, pengguna menyediakan nilai bidang yang sesuai dalam permintaan. Sebagai contoh, bidang "ts" dalam konfigurasi di atas merepresentasikan (request_time - event_time). Karena nilainya berubah seiring waktu permintaan, nilai tersebut harus diperoleh langsung dari permintaan:

user_features {
  key: "click_50_seq"
  value {
    string_feature: "9008721;34926279;22487529;73379;840804;911247;31999202;7421440;4911004;40866551"
  }
}

user_features {
  key: "click__ts"
  value {
    string_feature: "23;113;401363;401369;401375;401405;486678;486803;486922;486969"
  }
}

Pengenalan fungsi

Operator tokenize_feature melakukan tokenisasi string input dan mengembalikan string yang telah ditokenisasi atau ID token-nya. Operator ini mendukung file tokenizer.json dari tokenize-cpp.

Format kamus tokenisasi:

1. https://github.com/huggingface/tokenizers

2. https://github.com/mlc-ai/tokenizers-cpp

Konfigurasi

{
    "feature_name": "title_token",
    "feature_type": "tokenize_feature",
    "expression": "item:title",
    "default_value": "",
    "vocab_file": "tokenizer.json",
    "tokenizer_type": "sentencepiece",
    "output_type": "word_id",
    "output_delim": ","
}

Contoh

Jika output_type=word_id, operator mengambil string sebagai input dan menghasilkan string ID token yang dipisahkan koma.

Contoh file konfigurasi

Pengenalan fungsi

Operator ini menjalankan normalisasi teks, termasuk konversi huruf besar/kecil, konversi Tionghoa tradisional ke sederhana, konversi karakter lebar penuh ke setengah lebar, penyaringan karakter khusus, konversi pengkodean GBK/UTF8, dan pemisahan karakter Tionghoa.

Konfigurasi

{
    "feature_name": "txt_norm",
    "feature_type": "text_normalizer",
    "expression": "item:title",
    "stop_char_file": "stop_char.txt",
    "max_length": 256,
    "parameter": 0,
    "remove_space": false,
    "is_gbk_input": false,
    "is_gbk_output": false
}

Catatan:

• File stop_char_file harus menggunakan pengkodean GBK.

• Setiap baris dalam file stop_char_file hanya boleh berisi satu karakter. Jika tidak, penyaringan akan gagal.

Opsi normalisasi teks

Untuk parameter, pilih satu atau beberapa nilai numerik berikut dan jumlahkan.

Sebagai contoh, untuk mengonversi huruf besar ke kecil, lebar penuh ke setengah lebar, Tionghoa tradisional ke sederhana, dan menyaring karakter khusus, atur parameter=4+8+16+32=60.

Nilai default parameter adalah 60.

#define __NORMALIZED_LOWER2UPPER__ 		2 			/*Mengonversi huruf kecil ke besar*/
#define __NORMALIZED_UPPER2LOWER__ 		4 			/*Mengonversi huruf besar ke kecil*/
#define __NORMALIZED_SBC2DBC__ 			8 			/*Mengonversi lebar penuh ke setengah lebar*/
#define __NORMALIZED_BIG52GBK__			16 			/*Mengonversi Tionghoa tradisional ke sederhana*/
#define __NORMALIZED_FILTER__ 			32 			/*Menyaring karakter khusus*/
#define __NORMALIZED_SPLITCHARS__		512 		/*Memisahkan karakter Tionghoa menjadi karakter tunggal (dipisahkan spasi)*/

Contoh

{
  "feature_name": "txt_norm",
  "feature_type": "text_normalizer",
  "expression": "input_a",
  "parameter": 28
}

• inputs=["Regular expression code generator", "HTML filtering tool", "Regular expression syntax cheat sheet", "The Cat/"]

• outputs=["regular expression code generator", "html filtering tool", "regular expression syntax cheat sheet", "the cat/"]

Pengenalan fungsi

Algoritma BM25 (Best Matching) adalah algoritma pencocokan teks utama di bidang temu balik informasi, biasanya digunakan untuk penilaian relevansi pencarian. Algoritma ini mengurai kueri menjadi morfem $$q_i$$. Kemudian, untuk setiap hasil pencarian D, algoritma menghitung skor relevansi setiap morfem $$q_i$$ dengan D. Akhirnya, algoritma menghitung jumlah tertimbang dari skor relevansi $$q_i$$ relatif terhadap D untuk mendapatkan skor relevansi antara kueri dan D.

Untuk teks Tionghoa, Anda dapat melakukan tokenisasi kueri sebagai analisis morfem, memperlakukan setiap kata (istilah) sebagai morfem $$q_i$$.

Rumus umum algoritma BM25 adalah sebagai berikut:

$$score(Q,d)=\sum _{i=1}^n{w}_{i}R(q_i,d)$$

Di sini, $$Q$$ merepresentasikan kueri, $$q_i$$ merepresentasikan istilah ke-$$i$$ dalam kueri, $$d$$ merepresentasikan dokumen, $$w_i$$ merepresentasikan bobot $$q_i$$, dan R(qi,d) merepresentasikan skor relevansi $$q_i$$ terhadap dokumen $$d$$.

Importansi istilah

Ada beberapa metode untuk menentukan bobot relevansi istilah terhadap dokumen. Metode yang umum digunakan adalah Inverse Document Frequency (IDF). Rumus IDF adalah sebagai berikut:

$$IDF(q_i)=log\frac{N-n(q_i)+0.5}{n(q_i)+0.5}$$

Di sini, $$N$$ merepresentasikan jumlah total dokumen dalam korpus, dan $$n(q_i)$$ merepresentasikan jumlah total dokumen dalam korpus yang berisi qi.

Definisi IDF menunjukkan bahwa untuk koleksi dokumen tertentu, semakin banyak dokumen yang berisi $$q_i$$, semakin rendah bobotnya. Dengan kata lain, ketika banyak dokumen berisi $$q_i$$, istilah tersebut tidak membedakan dengan baik di antara mereka. Oleh karena itu, $$q_i$$ kurang penting untuk menentukan relevansi.

Relevansi istilah

Skor relevansi antara istilah $$q_i$$ dan dokumen $$d$$ adalah $$R(q_i,d)$$. Bentuk umum skor relevansi dalam BM25 adalah sebagai berikut:

$$R(q_i,d)=\frac{f_i\cdot (k_1+1)}{f_i+K}\cdot \frac{q{f}_i\cdot (k_2+1)}{q{f}_i+k_2}$$

$$K=k_1\cdot \left(1-b+b\cdot \frac{dl}{avgdl}\right)$$

Dalam rumus ini, $$k_1,k_2,b$$ adalah faktor penyesuaian. Faktor-faktor ini biasanya diatur berdasarkan pengalaman, dengan nilai umum $$k_1=1.2,b=0.75,k_2=0$$. $$f_i$$ adalah frekuensi $$q_i$$ dalam $$d$$, dan $$q{f}_i$$ adalah frekuensi $$q_i$$ dalam kueri. $$dl$$ adalah panjang dokumen $$d$$, dan $$avgdl$$ adalah panjang rata-rata semua dokumen. Karena $$q_i$$ biasanya hanya muncul sekali dalam kebanyakan kueri, $$q{f}_i=1$$. Oleh karena itu, rumus dapat disederhanakan sebagai berikut:

$$R(q_i,d)=\frac{f_i\cdot (k_1+1)}{f_i+K}$$

Definisi $$K$$ menunjukkan bahwa parameter $$b$$ menyesuaikan efek panjang dokumen terhadap relevansi. Semakin besar nilai $$b$$, semakin besar pengaruh panjang dokumen terhadap skor relevansi, dan sebaliknya. Dokumen yang lebih panjang menghasilkan nilai $$K$$ yang lebih besar dan skor relevansi yang lebih kecil. Dokumen yang lebih panjang memiliki peluang lebih besar untuk berisi $$q_i$$. Oleh karena itu, untuk nilai $$f_i$$ yang sama, dokumen panjang dianggap kurang relevan terhadap $$q_i$$ dibandingkan dokumen pendek terhadap $$q_i$$.

Secara ringkas, rumus skor relevansi untuk algoritma BM25 adalah sebagai berikut:

$$score(Q,d)=\sum _{j=1}^{n}IDF(q_i)\frac{f_i\cdot (k_1+1)}{f_i+k_1\cdot (1-b+b\cdot \frac{dl}{avgdl})}$$

Rumus BM25 menunjukkan bahwa berbagai metode perhitungan skor relevansi pencarian dapat diturunkan menggunakan berbagai metode untuk tokenisasi, pembobotan istilah, dan penentuan relevansi antara istilah dan dokumen. Hal ini memberikan fleksibilitas signifikan untuk desain algoritma.

Metode konfigurasi

{
  "feature_type": "bm25_feature",
  "feature_name": "query_doc_relevance",
  "query": "user:query",
  "document": "item:title",
  "term_doc_freq_file": "term_doc_freq.txt",
  "avg_doc_length": 100.0,
  "k1": 1.2,
  "b": 0.75,
  "separator": "\u001D",
  "default_value": ""
}

• Gunakan salah satu dari term_doc_freq_file atau term_doc_freq_dict. Yang pertama memiliki prioritas, dan sistem menggunakannya jika keduanya dikonfigurasi.

• Untuk menggunakan fitur ini untuk layanan online, letakkan file term_doc_freq_file dan fg.json dalam folder yang sama.

Pengenalan fungsi

Menghitung hasil kali titik dua vektor indeks key-value atau ukuran irisan dua himpunan.

Metode konfigurasi

{
  "feature_type": "kv_dot_product",
  "feature_name": "query_doc_sim",
  "query": "user:query",
  "document": "item:title",
  "separator": "|",
  "default_value": "0"
}

• Fitur ini mendukung tipe input kompleks, seperti array dan map. Gunakan tipe kompleks bila memungkinkan.

• Jika input tidak memiliki bagian value, nilai default value adalah 1,0. Gunakan perilaku ini untuk menghitung ukuran irisan dua himpunan.

• Jika default_value tidak dikonfigurasi, nilai default-nya diatur ke 0.

Contoh

Pengenalan fungsi

str_replace_feature adalah fitur penggantian string yang mengganti semua substring yang cocok dengan substring yang ditentukan.

Pencocokan yang tumpang tindih diganti secara rakus.

Metode konfigurasi

{
  "feature_name": "norm_str",
  "feature_type": "str_replace_feature",
  "expression": ["user:query"],
  "default_value": "",
  "replacements": {
    "brown": "box",
    "dogs": "jugs",
    "fox": "with",
    "jumped": "five",
    "over": "dozen",
    "quick": "my",
    "the": "pack",
    "the lazy": "liquor",
    "|": "",
    "aa": "x",
    "a": "X"
  },
  "value_dimension": 1
}

• Anda dapat mengonfigurasi kedua replace_file dan replacements. Dictionary penggantian digabungkan. Dictionary replacements memiliki prioritas lebih tinggi.

• Operasi Pengelompokan didukung. Untuk metode konfigurasi, lihat dokumentasi operasi Pengelompokan Fitur (Diskretisasi):

  • hash_bucket_size: Melakukan hash pada hasil transformasi fitur dan melakukan operasi modulo.

  • vocab_list: Mengelompokkan input berdasarkan daftar kosakata dan memetakan input ke indeks dalam kosakata.

  • vocab_dict: Hasil pengelompokan adalah nilai dari dictionary vocab_dict yang sesuai dengan nilai fitur.

  • vocab_file: Membaca vocab_list atau vocab_dict dari file.

• Input bernilai ganda bertipe array didukung.

Contoh

Hasil eksekusi konfigurasi di atas adalah sebagai berikut:

Pengenalan fungsi

Fitur regex_replace_feature mengganti substring yang cocok dengan substring yang ditentukan.

Anda dapat mengonfigurasi beberapa pola. Substring apa pun yang cocok dengan salah satu pola akan diganti.

Metode konfigurasi

{
  "feature_name": "query",
  "feature_type": "regex_replace_feature",
  "expression": ["user:query"],
  "regex_pattern": "\\|",
  "replacement": " ",
  "default_value": ""
}

• Fitur ini mendukung operasi pengelompokan. Untuk informasi lebih lanjut tentang konfigurasi, lihat dokumen Pengelompokan fitur (diskretisasi):

  • hash_bucket_size: Melakukan hash dan operasi modulo pada hasil transformasi fitur.

  • vocab_list: Mengelompokkan data berdasarkan daftar kosakata dan memetakan input ke indeks dalam daftar.

  • vocab_dict: Hasil pengelompokan adalah nilai dari dictionary vocab_dict yang sesuai dengan nilai fitur.

  • vocab_file: Membaca vocab_list atau vocab_dict dari file.

• Fitur ini mendukung input bernilai ganda bertipe array.

Contoh

Pengenalan fungsi

Menyaring elemen menggunakan nilai Boolean. Ini mirip dengan tf.boolean_mask(tensor, mask).

Ini adalah fitur sekuens.

Konfigurasi

{
  "feature_name": "mask_feature",
  "feature_type": "bool_mask_feature",
  "value_type": "float",
  "expression": [
    "user:click_items",
    "item:is_valid"
  ],
  "sequence_delim": ","
}

• Mendukung operasi pengelompokan. Untuk informasi lebih lanjut tentang konfigurasi, lihat Pengelompokan fitur (diskretisasi).

• Mendukung input bernilai ganda yang direpresentasikan oleh tipe array dan tipe array bersarang.

Contoh

Penggunaan dengan fitur ekspresi

{
  "features": [
    {
      "feature_name": "mask",
      "feature_type": "expr_feature",
      "expression": "price>100",
      "variables": ["item:price"],
      "value_dimension": 3
    },
    {
      "feature_name": "filter_list",
      "feature_type": "bool_mask_feature",
      "expression": [
        "user:click_items",
        "feature:mask"
      ],
      "num_buckets": 10000
    }
  ]
}

Pengenalan fungsi

Memotong array input menggunakan sintaks mirip Python atau mendapatkan elemen dari indeks tertentu.

Ini adalah jenis fitur sekuens.

Konfigurasi

{
  "feature_name": "test_feature",
  "feature_type": "slice_feature",
  "value_type": "float",
  "expression": [
    "user:click_items"
  ],
  "slice": "2:4"
}

• Mendukung operasi pengelompokan. Untuk informasi selengkapnya, lihat Pengelompokan fitur (diskretisasi).

• Mendukung input bernilai ganda menggunakan tipe array dan tipe array bersarang.

Contoh

Ketika sequence_delim="," dan value_dimension=1, input dan output adalah sebagai berikut: