Artificial Intelligence Recommendation:Konfigurasikan filter

Jenis filter

Konfigurasi umum

Semua filter dikonfigurasi dalam array FilterConfs. Setiap entri mendefinisikan satu kebijakan filter.

"FilterConfs": [
  {
    "Name": "",
    "FilterType": "",
    "Dimension": "",
    "DaoConf": {},
    "AdjustCountConfs": [{}],
    "ItemStateDaoConf": {},
    "FilterParams": [{}],
    "DiversityDaoConf": {},
    "FilterVal": {}
  }
]

User2ItemExposureFilter

Gunakan filter ini untuk mencegah item yang telah ditampilkan kepada pengguna muncul kembali dalam rekomendasi berikutnya.

Cara Kerja Pelacakan Eksposur

Karena log waktu nyata memiliki latensi inheren, kumpulan item yang benar-benar telah dilihat pengguna tidak dapat ditentukan secara instan. PAI-Rec memperlakukan semua item yang dikembalikan oleh mesin rekomendasi sebagai pseudo-exposed—mesin itu sendiri yang menulis data ini. Data eksposur aktual (berdasarkan interaksi pengguna sungguhan) tiba melalui pipeline komputasi waktu nyata seperti Realtime Compute for Apache Flink dan ditulis ke database agar dapat dikonsumsi oleh PAI-Rec.

Parameter filter

"FilterConfs": [
  {
    "Name": "holo_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf": {
      "AdapterType": "hologres",
      "HologresName": "holo_info",
      "HologresTableName": "exposure_history"
    }
  }
]

BEGIN;
CREATE TABLE "exposure_history" (
  "uid" text NOT NULL,
  "item" text NOT NULL,
  "create_time" int4 NOT NULL,
  PRIMARY KEY ("uid", "create_time")
);
CALL SET_TABLE_PROPERTY('"exposure_history"', 'orientation', 'column');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'clustering_key', '"uid","create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'segment_key', '"create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'bitmap_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'dictionary_encoding_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'time_to_live_in_seconds', '172800');
COMMENT ON TABLE "exposure_history" IS 'the table that stores exposure records';
COMMIT;

"FilterConfs": [
  {
    "Name": "redis_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf": {
      "AdapterType": "redis",
      "RedisName": "redis_info",
      "RedisPrefix": "exposure_"
    }
  }
]

"FilterConfs": [
  {
    "Name": "ots_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf": {
      "AdapterType": "tablestore",
      "TableStoreName": "tablestore_info",
      "TableStoreTableName": "exposure_history"
    }
  }
]

User2ItemCustomFilter

Gunakan filter ini jika Anda memiliki tabel user-to-item (U2I) sendiri yang menentukan item mana yang harus dikecualikan untuk setiap pengguna.

"FilterConfs": [
  {
    "Name": "u2i_custom_filter",
    "FilterType": "User2ItemCustomFilter",
    "DaoConf": {
      "AdapterType": "tablestore",
      "TableStoreName": "tablestore_info",
      "TableStoreTableName": "u2i_table"
    }
  }
]

AdjustCountFilter

Gunakan filter ini untuk mengacak hasil recall secara acak dan membatasi jumlah total item sebelum proses ranking. Filter ini berguna ketika tautan recall mengembalikan jauh lebih banyak item daripada yang dibutuhkan.

"FilterConfs": [
  {
    "Name": "adjust_count_filter",
    "FilterType": "AdjustCountFilter",
    "ShuffleItem": true,
    "RetainNum": 500
  }
]

PriorityAdjustCountFilter

Gunakan filter ini jika Anda ingin mengontrol jumlah item dari setiap tautan recall, dengan item diurutkan berdasarkan skor dalam setiap tautan.

Parameter Type mengatur perilaku saat tautan recall mengembalikan lebih sedikit item daripada target Count-nya:

• accumulator: Kekurangan tersebut dikompensasi dengan mengambil item tambahan dari tautan recall berikutnya hingga mencapai total kumulatif yang ditentukan.

• fix: Jumlah item setiap tautan bersifat tetap. Kekurangan pada satu tautan tidak memengaruhi tautan lainnya.

"FilterConfs": [
  {
    "Name": "priority_adjust_count_filter",
    "FilterType": "PriorityAdjustCountFilter",
    "AdjustCountConfs": [
      {
        "RecallName": "recall_1",
        "Count": 125,
        "Type": "accumulator"
      },
      {
        "RecallName": "recall_2",
        "Count": 250,
        "Type": "accumulator"
      },
      {
        "RecallName": "recall_3",
        "Count": 400,
        "Type": "accumulator"
      }
    ]
  }
]

Dalam contoh ini, ketiga tautan menggunakan accumulator. Jika recall_1 mengembalikan kurang dari 125 item, PAI-Rec mengambil lebih banyak item dari recall_2 hingga total gabungan mencapai 250.

Parameter AdjustCountConfs:

ItemStateFilter

Gunakan filter ini jika item memiliki bidang status waktu nyata (seperti ketersediaan atau status tinjauan) yang disimpan di tabel terpisah, dan Anda ingin mengecualikan item yang tidak memenuhi kondisi tertentu.

Alih-alih menghapus item dari katalog—yang akan menghilangkan riwayat interaksinya dan memengaruhi kualitas rekomendasi—atur statusnya untuk menunjukkan ketidaktersediaan, lalu keluarkan item tersebut menggunakan filter ini.

"FilterConfs": [
  {
    "Name": "ItemStateFilter",
    "FilterType": "ItemStateFilter",
    "ItemStateDaoConf": {
      "AdapterType": "hologres",
      "HologresName": "",
      "HologresTableName": "",
      "ItemFieldName": "",
      "WhereClause": "",
      "SelectFields": ""
    },
    "FilterParams": []
  }
]

Parameter ItemStateDaoConf:

Parameter FilterParams:

Contoh FilterParams berikut hanya melewatkan item yang terlihat publik (publicStatus = 0), aktif (state = 1), telah disetujui (checkStatus != 2), dan tidak dikecualikan dari rekomendasi (norec != 1):

"FilterParams": [
  { "Name": "publicStatus", "Type": "int", "Operator": "equal",     "Value": 0 },
  { "Name": "state",        "Type": "int", "Operator": "equal",     "Value": 1 },
  { "Name": "checkStatus",  "Type": "int", "Operator": "not_equal", "Value": 2 },
  { "Name": "norec",        "Type": "int", "Operator": "not_equal", "Value": 1 }
]

Untuk contoh operator, lihat Lampiran.

CompletelyFairFilter

Gunakan filter ini untuk memilih item dari setiap tautan recall secara proporsional terhadap skornya, sehingga tidak ada satu tautan pun yang mendominasi set hasil akhir.

"FilterConfs": [
  {
    "Name": "CompletelyFairFilter",
    "FilterType": "CompletelyFairFilter",
    "RetainNum": 500
  }
]

DimensionFieldUniqueFilter

Gunakan filter ini untuk menghapus item yang memiliki nilai yang sama pada bidang tertentu. Berbeda dengan UniqueFilter yang menghapus duplikat berdasarkan ID item, DimensionFieldUniqueFilter menghapus duplikat berdasarkan nilai bidang—misalnya, untuk menghindari merekomendasikan beberapa item dari merek atau kategori yang sama.

"FilterConfs": [
  {
    "Name": "DimensionFieldUniqueFilter",
    "FilterType": "DimensionFieldUniqueFilter",
    "Dimension": ""
  }
]

UniqueFilter

UniqueFilter menghapus duplikat berdasarkan ID item di seluruh tautan recall. Jika ID item yang sama muncul di beberapa tautan recall, hanya kemunculan pertama yang dipertahankan.

UniqueFilter tidak memerlukan entri di FilterConfs. Referensikan langsung berdasarkan nama di FilterNames.

Terapkan filter ke skenario

Setelah mendefinisikan filter di FilterConfs, tetapkan ke skenario menggunakan FilterNames. FilterNames adalah peta di mana setiap kunci merupakan nama skenario dan setiap nilai adalah daftar nama filter yang akan diterapkan.

"FilterNames": {
  "default": [
    "UniqueFilter"
  ]
}

• default: Skenario fallback yang digunakan ketika tidak ada skenario lain yang cocok dengan permintaan.

• UniqueFilter: Nilai dari bidang Name pada entri FilterConfs, atau UniqueFilter secara langsung jika menggunakan filter deduplikasi bawaan.

Beberapa filter dapat dicantumkan untuk satu skenario dan diterapkan secara berurutan:

"FilterNames": {
  "default": [
    "UniqueFilter",
    "holo_exposure_filter",
    "adjust_count_filter"
  ]
}

Lampiran

{ "Name": "publicStatus", "Type": "int", "Operator": "equal", "Value": 0 }

{ "Name": "checkStatus", "Type": "int", "Operator": "not_equal", "Value": 2 }

{ "Name": "checkStatus", "Type": "int", "Operator": "greater", "Value": 2 }

{ "Name": "checkStatus", "Type": "int", "Operator": "greaterThan", "Value": 2 }

{ "Name": "checkStatus", "Type": "int", "Operator": "less", "Value": 2 }

{ "Name": "checkStatus", "Type": "int", "Operator": "lessThan", "Value": 2 }

{ "Name": "state", "Type": "int", "Operator": "in", "Value": [2, 4, 6] }

{ "Name": "state", "Type": "string", "Operator": "in", "Value": ["success", "ok"] }