Alat analisis kustom: Ikhtisar dan penggunaan - OpenSearch

Ikhtisar

Analisis merupakan komponen kritis dalam mesin pencari karena hasil analisis secara langsung memengaruhi kinerja pencarian. Mengingat skenario bisnis yang beragam, makna semantis suatu frasa dapat berbeda tergantung konteksnya, sehingga menimbulkan kebutuhan akan pendekatan analisis yang berbeda pula. Untuk mengatasi hal ini, OpenSearch menyediakan alat analisis umum maupun spesifik domain, seperti alat analisis E-dagang.

OpenSearch memungkinkan Anda membuat alat analisis kustom dengan menggabungkan alat analisis bawaan dan entri intervensi. Alat analisis kustom tersebut kemudian dapat diterapkan pada bidang indeks aplikasi Anda untuk mengontrol hasil analisis baik saat pengindeksan maupun saat kueri, sehingga memastikan hasil pencarian berkualitas tinggi.

Entri intervensi

Anda dapat mengontrol perilaku entri intervensi dengan mengaktifkan atau menonaktifkan fitur analisis secondary.

Jika analisis secondary diaktifkan, alat analisis akan lebih lanjut memisahkan hasil dari entri intervensi. Jika dinonaktifkan, hasil intervensi diperlakukan sebagai output akhir tanpa pemisahan tambahan.

Sebagai contoh, jika entri tersebut adalah 'Open Search' dan alat analisis yang digunakan adalah 'General Chinese', hasil dengan analisis secondary diaktifkan adalah:

Hasil analisis menunjukkan bahwa "Open Search" dipisahkan menjadi dua entri Open dan Search.

Dengan analisis secondary dinonaktifkan, hasilnya adalah:

Hasil analisis menunjukkan bahwa 'OpenSearch' diperlakukan sebagai satu entri tunggal, OpenSearch, tanpa pemisahan lebih lanjut.

Catatan penggunaan

Alat analisis kustom mencakup semua entri dari alat analisis dasarnya, ditambah entri intervensi kustom Anda. Entri intervensi tersebut menggantikan entri default dari alat analisis dasar.
Anda dapat membuat maksimal 20 alat analisis kustom.
Setiap alat analisis kustom dapat berisi maksimal 1.000 entri intervensi.
Kueri suatu entri tidak boleh melebihi 10 karakter (Cina atau Inggris), dan nilainya tidak boleh melebihi 32 karakter.
Entri tidak boleh mengandung huruf kapital (A–Z), karakter full-width (\uff01 hingga \uff5e), atau tanda baca Cina.
Untuk entri intervensi segmentasi semantik, kueri dan nilai harus identik setelah spasi dihapus dari nilai tersebut. Contohnya:
```
invalidkey=>wrong key
validkey=>valid key
```
Entri pertama tidak valid karena kuerinya invalidkey dan nilainya wrong key (yang menjadi wrongkey setelah spasi dihapus) tidak identik.
Saat menambahkan entri intervensi, gunakan spasi untuk memisahkan beberapa kata kunci dalam hasil analisis. Jangan gunakan koma, karena koma dianggap sebagai bagian dari konten kata kunci, bukan sebagai pembatas, sehingga menyebabkan validasi gagal dan entri tidak dapat disimpan. Contohnya:
```
applehuawei=>apple huawei (Benar, dipisahkan dengan spasi)
applehuawei=>apple,huawei (Salah, koma dianggap sebagai karakter konten)
```
Pada entri kedua, nilainya dipisahkan dengan koma. Koma tersebut dianggap sebagai karakter literal, sehingga nilai menjadi apple,huawei setelah spasi dihapus, yang tidak sesuai dengan kueri applehuawei. Oleh karena itu, validasi gagal.
Kueri suatu entri tidak boleh mengandung spasi. Contohnya:
```
invalid key=>an invalid key
validkey=>a valid key
```
Entri pertama tidak valid karena kuerinya, invalid key, mengandung spasi.
Kueri suatu entri tidak boleh merupakan substring dari nilai entri lain dalam kamus intervensi yang sama. Contohnya:
```
customanalyzer=>custom analyzer
analyzer
token
```
Entri kedua, dengan kueri analyzer, tidak valid karena kuerinya merupakan bagian dari nilai (custom analyzer) entri pertama. Entri ketiga, token, valid.

Prosedur

Ikhtisar alur kerja

Buat alat analisis kustom → Lakukan modifikasi offline → Reindex → Verifikasi hasil

Langkah-langkah

1. Di panel navigasi sebelah kiri Konsol OpenSearch, buka Search Algorithm Center > Retrieval Configuration > Analyzer Management, lalu klik Create.

2. Buat alat analisis, tentukan nama, dan pilih jenis:

Pada kotak dialog yang muncul, untuk Analyzer Type, pilih Built-in Analyzer atau Custom Model Analyzer, lalu dari daftar dropdown Analyzer, pilih alat analisis tertentu, misalnya Chinese - General Analysis.

3. Tambahkan entri intervensi, masukkan kueri (misalnya, "sticky rice") dan hasil analisisnya, lalu pilih opsi analisis secondary:

Di halaman Entry Management, klik Add. Pada kotak dialog Add Intervention Entry, masukkan Query dan Analysis Result, aktifkan Secondary Analysis, lalu klik Save. Catatan: Pisahkan kata-kata dengan spasi. Contoh: "糯米" ⇒ "糯米".

4. Uji analisis untuk memverifikasi hasil entri intervensi:

Di daftar alat analisis pada halaman Analyzer Management, temukan alat analisis kustom yang dituju dan klik Analysis Test di kolom Actions.

4.1. Di teks uji, masukkan "sticky rice".

Setelah diuji dengan alat analisis test_zw, hasil analisis menunjukkan bahwa "糯米" dipisahkan menjadi dua entri 糯 dan 米.

4.2. Bandingkan hasil analisis dari beberapa alat analisis kustom.

Hasil perbandingan menunjukkan bahwa test_zw memisahkan "糯米" menjadi 糯 dan 米, sedangkan kevintest2 mempertahankan 糯米 sebagai entri lengkap.

5. Setelah menguji efek analisis, kembali ke Basic Configuration di bawah Retrieval Configuration untuk menerapkan perubahan pada aplikasi Anda:

Di area Analysis Configuration, klik tombol Offline Modification.

Catatan: Modifikasi offline menghasilkan versi aplikasi offline baru berdasarkan konfigurasi saat ini. Aplikasi live Anda tidak terpengaruh.

6. Di daftar bidang indeks, pilih alat analisis kustom Anda dari kolom Metode Analisis untuk bidang indeks yang relevan.

7. Perubahan berlaku setelah proses reindex selesai.

Menunjukkan efek alat analisis kustom

Sebagai contoh, untuk dokumen yang berisi "glutinous rice", penggunaan alat analisis "Chinese - General" menghasilkan hasil yang tidak diharapkan. Pencarian dengan kata kunci "rice" gagal mengambil dokumen yang berisi "glutinous rice", "millet", atau "rice". Setelah Anda menambahkan alat analisis kustom "test_zw", memodifikasi struktur aplikasi, dan melakukan reindex seperti dijelaskan dalam prosedur di atas, istilah yang dihasilkan akan konsisten dengan analisis kustom Anda.

Catatan tambahan

Anda dapat menambahkan entri ke alat analisis kustom yang sudah digunakan oleh aplikasi, tetapi Anda harus melakukan reindex agar entri baru tersebut berlaku. Untuk menerapkan perubahan pada dokumen tertentu, unggah ulang dokumen tersebut. Tindakan ini hanya melakukan reindex pada dokumen tersebut, sehingga menerapkan entri intervensi baru.
Kueri suatu entri tidak boleh melebihi 10 karakter.
Kueri suatu entri tidak boleh mengandung huruf kapital, karakter full-width, atau tanda baca Cina.
Hasil analisis suatu entri tidak boleh mengandung huruf kapital, karakter full-width, atau tanda baca Cina.
Jika Anda menonaktifkan toggle analisis secondary, OpenSearch secara ketat mengikuti hasil intervensi Anda dan tidak melakukan pemisahan lebih lanjut. Jika diaktifkan, hasil intervensi Anda mungkin dipisahkan lebih lanjut.
Untuk menggunakan Industry - E-commerce General Analyzer sebagai dasar alat analisis kustom, aplikasi Anda harus menggunakan Industry-specific Enhanced Edition.
Anda tidak dapat menghapus alat analisis kustom yang sedang digunakan.