OpenSearch:Named Entity Recognition

Cara NER menulis ulang kueri

NER memberikan tingkat prioritas pada setiap entitas yang teridentifikasi dan menggunakan tingkat tersebut untuk menghasilkan klausa kueri yang ditulis ulang.

Tingkat Prioritas Entitas

Analisis query menulis ulang sebuah klausa paling banyak dua kali. Penulisan ulang pertama lebih presisi, sedangkan yang kedua memperluas recall jika hasil pertama terlalu sedikit.

Aturan Penulisan Ulang

1. Entitas berprioritas tinggi selalu disertakan dalam pengambilan.

2. Entitas dengan prioritas rendah dikeluarkan dari pengambilan pada kedua tahap tersebut.

3. Entitas berprioritas menengah mengikuti aturan berikut (prioritas menurun sesuai urutan konfigurasi):

   • Jika klausa berisi entitas berprioritas tinggi, entitas berprioritas menengah disertakan dalam penulisan ulang pertama tetapi dikecualikan dari yang kedua.

   • Jika klausa tidak berisi entitas berprioritas tinggi, entitas berprioritas menengah disertakan dalam penulisan ulang pertama; hanya entitas dengan prioritas tertinggi yang digunakan dalam penulisan ulang kedua.

4. Jika klausa hanya berisi entitas berprioritas tinggi, atau hanya entitas berprioritas menengah dan rendah, analisis query menghasilkan satu penulisan ulang saja, bukan dua.

Jika klausa hanya berisi entitas berprioritas rendah atau tidak ada entitas berprioritas tinggi maupun menengah, NER tidak menulis ulang klausa tersebut.

Contoh

Contoh-contoh berikut menggunakan konfigurasi prioritas ini:

High:   Category
Medium: Brand, Material, Element, Style, Color

Contoh 1 — Prioritas Tinggi dan Menengah Hadir

Input:          query=default:'Yang Mi Same-style Nike Slim Dresses Delivery-free'
NER result:     Yang Mi (Name), Same-style (Suffix), Nike (Brand), Slim (Element),
                Dresses (Category), Delivery-free (Marketing)

First rewrite:  query=default:'Nike' AND default:'Slim' AND default:'Dresses'
                RANK default:'Yang Mi' RANK default:'Delivery-free' RANK default:'Same-style'

Second rewrite: query=default:'Dresses'
                RANK default:'Yang Mi' RANK default:'Nike' RANK default:'Delivery-free'
                RANK default:'Same-style' RANK default:'Slim'

Contoh 2 — Hanya Prioritas Tinggi dan Rendah

Input:          query=default:'Dresses Delivery-free'
NER result:     Dresses (Category), Delivery-free (Marketing)

Single rewrite: query=default:'Dresses' RANK default:'Delivery-free'

Contoh 3 — Hanya Prioritas Tinggi

Input:          query=default:'Dresses'
NER result:     Dresses (Category)

Single rewrite: query=default:'Dresses'

Contoh 4 — Hanya Prioritas Menengah dan Rendah

Input:          query=default:'Nike Slim Delivery-free'
NER result:     Nike (Brand), Slim (Element), Delivery-free (Marketing)

First rewrite:  query=default:'Nike' AND default:'Slim' RANK default:'Delivery-free'
Second rewrite: query=default:'Nike' RANK default:'Slim' RANK default:'Delivery-free'

Contoh 5 — Tidak Ada Penulisan Ulang

Input:          query=default:'Yang Mi Same-style Delivery-free'
NER result:     Yang Mi (Name), Same-style (Suffix), Delivery-free (Marketing)

Result:         No rewrite. All entities have low priority; NER is not applied.

NER dan prediksi kategori

Prediksi kategori menggunakan bobot entitas untuk menentukan kategori produk yang paling cocok dengan kueri pencarian. Untuk kueri panjang, NER meningkatkan akurasi prediksi dengan menghapus entitas yang tidak relevan langsung dengan jenis produk sebelum menjalankan prediksi. Kategori entitas berikut dipertahankan:

• Category

• People

• Season

• Element

• Style

Contoh

Untuk hasil NER Yang Mi (Name), Same-style (Suffix), Spring (Season), Slim (Element), Dresses (Category), OpenSearch menjalankan prediksi kategori terhadap kombinasi berikut secara berurutan:

Spring Slim Dresses
Spring Dresses
Slim Dresses
Dresses

Kategori entitas

NER mendukung 36 kategori entitas untuk teks E-commerce:

Common, Material, Style, Element, Color, Brand, Function, Size, Quality, Scenario, People, Suit, Season, Model, New-release, Series, Marketing, Region, Name, Entertainment, Organization, Movie, Game, Number, Unit, Category, New-word, Adjective, Proper-noun, Category-modifier, Symbol, Prefix, Suffix, Gift, Negative, Agent

Konfigurasi NER

Kamus intervensi untuk NER

Makna entitas bervariasi di berbagai skenario bisnis. Gunakan kamus intervensi untuk menyesuaikan NER dalam dua cara:

• Menyesuaikan hasil NER

• Menyesuaikan prioritas kategori entitas

Jika hasil NER tidak sesuai harapan, buat kamus intervensi dan konfigurasikan untuk aturan analisis query tersebut. Untuk detailnya, lihat Intervention dictionaries for NER.