Apa itu kamus intervensi untuk NER dan cara menggunakannya - OpenSearch

Intervensi dalam Named Entity Recognition (NER) memungkinkan Anda memodifikasi hasil pengenalan dan menyesuaikan prioritas entitas. Jika hasil NER default tidak akurat, Anda dapat menggunakan kamus intervensi untuk NER guna memperbaikinya.

Konsep utama

Intervensi NER

Anda dapat membuat kamus intervensi untuk NER dan menerapkannya dalam analisis kueri untuk memodifikasi hasil NER. Karena entitas semantik sangat terkait dengan alat analisis, Anda harus memilih alat analisis saat membuat kamus intervensi. Selama konfigurasi analisis kueri, Anda hanya dapat menggunakan kamus tersebut jika alat analisisnya sesuai dengan alat analisis yang digunakan oleh Indeks.

Penting

Saat membuat kamus intervensi untuk NER, alat analisis model khusus hanya dapat dikonfigurasi untuk aplikasi eksklusif.
Anda dapat memilih antara full match dan partial match untuk entri dalam kamus.
Setiap kamus intervensi dapat berisi hingga 1.000 entri intervensi.
Saat menambahkan entri intervensi, kueri intervensi harus dinormalisasi dengan mengubah huruf kapital menjadi huruf kecil serta karakter full-width menjadi half-width. Jika tidak, entri tetap dapat ditambahkan tetapi tidak akan berlaku selama pencarian.
Saat mengonfigurasi kamus intervensi untuk NER dalam analisis kueri, Anda dapat memilih apakah akan mengabaikan spasi dalam kueri pencarian.
Dalam beberapa kasus—misalnya setelah peningkatan alat analisis—hasil tokenisasi untuk kueri pencarian mungkin berbeda dari hasil yang dihasilkan saat entri intervensi dibuat. Jika hal ini terjadi, intervensi akan gagal dan pencarian akan mengembalikan kode kesalahan 6612. Jika Anda menerima kesalahan ini, Anda harus memodifikasi entri intervensi di Konsol.

Intervensi prioritas entitas

OpenSearch menyediakan konfigurasi prioritas entitas default yang dapat Anda sesuaikan berdasarkan kebutuhan bisnis. Penyesuaian ini memengaruhi aturan penulisan ulang kueri.

Jika kueri pencarian sesuai dengan beberapa entri intervensi, entri dengan bobot kecocokan lebih tinggi akan didahulukan.
Jika bobot kecocokannya sama, entri yang muncul lebih awal dalam kueri akan didahulukan.
Jika posisi kecocokannya juga sama, entri dengan lebih banyak istilah semantik akan didahulukan.

Penting

Saat mengonfigurasi prioritas entitas, tingkat prioritas Tinggi dan Sedang tidak boleh keduanya kosong. Jika tidak, fitur penulisan ulang kueri berbasis NER akan gagal.
Setiap entitas hanya dapat memiliki satu tingkat prioritas.

Penggunaan

Anda dapat memperbaiki hasil NER secara manual dengan membuat kamus intervensi. Proses ini biasanya melibatkan empat langkah:

Buat kamus intervensi untuk NER. Buka Search Algorithm Center > Retrieval Configuration > Dictionary Management. Pada halaman yang muncul, klik Create di pojok kanan atas. Pilih jenis kamus dan tentukan nama. Setelah kamus dibuat, kamus tersebut akan muncul dalam daftar kamus.
Tambahkan dan kelola entri intervensi. Setelah kamus dibuat, klik namanya atau klik Manage dalam daftar untuk membuka halaman detailnya. Di halaman ini, Anda dapat menambahkan dan mengelola entri intervensi.
Gunakan kamus intervensi. Setelah membuat kamus dan menambahkan entri ke dalamnya, Anda dapat memilihnya dalam analisis kueri aplikasi Anda.
Uji dan deploy kamus. Setelah menerapkan kamus ke aturan analisis kueri, uji performa pencarian untuk memastikan hasilnya sesuai harapan sebelum menerapkannya ke lingkungan produksi.

Langkah demi langkah

Skenario: Layanan panduan belanja e-commerce menggunakan aturan analisis kueri dengan fitur NER diaktifkan dalam aplikasi OpenSearch-nya. Namun, terdapat kasus buruk di lingkungan produksi yang memerlukan intervensi.

Kasus buruk: Untuk kueri pengguna "Chanel cushion", Named Entity Recognition (NER) default mengklasifikasikan "Chanel" sebagai "regular term" dan "cushion" sebagai "material". Akibatnya, kueri ditulis ulang menjadi title:'cushion' RANK title:'Chanel'. Namun, dari perspektif bisnis, "Chanel" bukanlah regular term. Diagnosis masalah: "Chanel" adalah kata benda proper spesifik bisnis yang memerlukan intervensi NER.

Solusi: Buat kamus intervensi baru untuk NER dan terapkan ke aturan analisis kueri yang digunakan di lingkungan produksi.

Prosedur:

Di Konsol, buka Search Algorithm Center > Retrieval Configuration > Dictionary Management, lalu klik Create.

Masukkan Name. Untuk Dictionary Type, pilih Entity Recognition. Untuk Analyzer Type, pilih built-in analyzer atau custom analyzer sesuai dengan alat analisis yang dikonfigurasi dalam analisis kueri Anda. Daftar drop-down Associated Analyzer secara otomatis memfilter dan menampilkan alat analisis yang kompatibel. Perhatikan bahwa NER hanya dapat dikonfigurasi untuk alat analisis bertipe e-commerce tokenization.

Jika Indeks yang dikonfigurasi dalam analisis kueri menggunakan alat analisis model khusus, atur Analyzer Type ke tailored model analyzer. Untuk Instance, pilih Ha3 engine dan Application Name yang sesuai. Pastikan Associated Analyzer sesuai dengan yang ada dalam konfigurasi analisis kueri Anda.
Dalam kamus intervensi yang baru dibuat, tambahkan entri intervensi. Masukkan kueri dan modifikasi hasil pengenalan sistem.

Hasil pengenalan salah awal:

Untuk kueri Chanel cushion, sistem mengidentifikasi Chanel sebagai regular term dan cushion sebagai material. Hasil setelah intervensi: Untuk kueri Chanel cushion, setelah Anda mengklik Get System Recognition Result, sistem mengidentifikasi entitas Chanel sebagai brand dan cushion sebagai material.

Jika kamus intervensi didasarkan pada tailored model analyzer, Anda harus memilih versi alat analisis saat menambahkan entri intervensi. Versi ini sesuai dengan versi model yang digunakan oleh model pengambilan khusus.

Penting
Untuk Intervention Type, full match berarti intervensi hanya berlaku jika kueri input persis sesuai dengan kueri intervensi. partial match berarti intervensi berlaku jika kueri input mengandung kueri intervensi.
Di halaman analisis kueri, terapkan kamus intervensi yang baru dibuat ke aturan analisis kueri non-produksi untuk menguji efeknya.

Dalam daftar Query Analysis Configuration, temukan aturan analisis kueri non-produksi yang dituju dan klik Configure di kolom Actions. Di halaman konfigurasi, centang kotak Entity Recognition. Dari daftar drop-down kamus intervensi, pilih dic_entity. Atur Ignore Spaces ke Yes, lalu klik OK.

Penting
Fitur ignore spaces menentukan apakah spasi dalam kueri diabaikan saat melakukan intervensi NER. Fitur ini dinonaktifkan secara default. Contoh: Jika kueri input adalah "dress women" dan entri intervensi adalah "dresswomen", intervensi diterapkan jika Anda memilih "Yes". Jika Anda memilih "No", tidak ada intervensi yang dilakukan.
Uji pencarian berjalan sesuai harapan: (Dokumen tentang "Chanel cushion" berhasil diambil.)

Di halaman uji pencarian, masukkan title:'Chanel cushion' di bidang query dan atur parameter qp ke test_entity. Setelah pencarian, kueri aktual ditulis ulang menjadi (name:"Chanel" AND name:"cushion"). Hal ini menunjukkan bahwa plugin analisis kueri telah berlaku dan berhasil mengembalikan satu dokumen yang sesuai: "Chanel New Water-Gel Jelly Cushion Foundation BB Cream".