cara menggunakan teks - analyzer kustom - OpenSearch - Alibaba Cloud Documentation Center

Pengenalan fungsi

Tokenisasi merupakan komponen dasar dan penting dalam mesin pencarian. Hasil tokenisasi secara langsung memengaruhi performa pencarian. Karena skenario bisnis beragam, frasa yang sama dapat memiliki makna berbeda di layanan dan konteks yang berbeda, sehingga hasil tokenisasi yang diharapkan pun berbeda. Untuk alasan tersebut, OpenSearch menyediakan analyzer dasar untuk penggunaan umum serta analyzer khusus untuk bidang tertentu, seperti E-dagang analyzer untuk ranah E-dagang.

Untuk lebih memenuhi kebutuhan bisnis Anda, OpenSearch memungkinkan pembuatan custom analyzer. Anda dapat membangunnya berdasarkan base analyzer sistem dan menambahkan entri intervensi. Dengan memilih analyzer yang sesuai untuk bidang indeks aplikasi Anda, Anda dapat mengontrol hasil tokenisasi baik untuk pengindeksan maupun kueri, sehingga menjamin kualitas hasil pencarian.

Intervensi entri

Anda dapat mengelola entri intervensi melalui fitur tokenisasi secondary.

Jika tokenisasi secondary diaktifkan, hasil tokenisasi kustom akan ditokenisasi ulang. Jika dinonaktifkan, hasil tokenisasi kustom akan dipertahankan apa adanya.

Sebagai contoh, jika Anda menggunakan General-purpose Chinese analyzer pada kata kunci "OpenSearch", hasil tokenisasi dengan tokenisasi secondary diaktifkan adalah:

Sedangkan hasil dengan tokenisasi secondary dinonaktifkan adalah:

Catatan

Entri dalam custom analyzer merupakan gabungan dari semua entri dari base analyzer dan entri yang ditambahkan secara manual. Entri intervensi yang ditambahkan secara manual memiliki prioritas lebih tinggi daripada entri dalam analyzer default.
Anda dapat membuat maksimal 20 custom analyzer di Konsol baru.
Satu custom analyzer dapat berisi maksimal 1.000 entri intervensi.
Dalam setiap entri, panjang kunci maksimal 10 karakter dan panjang nilai maksimal 32 karakter. Satu karakter dapat berupa satu karakter Tionghoa atau satu huruf Latin.
Konten entri tidak boleh mengandung huruf kapital (A–Z), simbol full-width (\uff01–\uff5e), atau tanda baca Tionghoa.
Untuk entri intervensi chunking semantik, kunci dan nilai harus identik setelah spasi dihapus. Contohnya:
```
Incorrect entry=>Erroneous entry
Correct entry=>Correct entry
```
Pada entri pertama, kunci dan nilai berbeda setelah spasi dihapus, sehingga entri tersebut tidak valid.
Kunci tidak boleh mengandung spasi. Contohnya:
```
In correct entry=>In correct entry
CorrectEntry=>Correct entry
```
Kunci pada entri pertama mengandung spasi (" "), sehingga entri tersebut tidak valid.
Konten kunci tidak boleh merupakan salah satu token hasil dari nilai entri lain dalam kamus intervensi yang sama. Contohnya:
```
custom_tokenizer=>custom tokenizer
tokenizer
tokenization
```
Kunci pada entri kedua, "tokenizer", merupakan salah satu token hasil dari nilai entri pertama, sehingga entri kedua tidak valid. Namun, entri ketiga valid.

Demo alur

Rangkuman Alur

Buat custom analyzer → Buat perubahan offline → Bangun ulang indeks → Lihat efek custom analyzer

Prosedur

1. Di Konsol OpenSearch, buka halaman utama. Di panel navigasi sebelah kiri, pilih Search Configuration Center > Retrieval Configuration > Analyzer Management, lalu klik Create.

2. Buat analyzer. Tentukan nama analyzer dan pilih jenis analyzer.

3. Tambahkan entri intervensi. Masukkan kueri dan hasil tokenisasi yang diinginkan. Contoh ini menggunakan "nuomi" (ketan) dan mengaktifkan tokenisasi secondary.

Catatan: Pisahkan token dengan spasi. Contoh: "nuomi" ==> "nuo mi".

4. Uji tokenisasi untuk melihat hasil entri intervensi setelah analyzer diterapkan.

4.1. Masukkan "nuomi" di kotak teks uji.

4.2. Bandingkan hasil tokenisasi dari beberapa custom analyzer.

5. Setelah menguji tokenisasi, kembali ke Basic Configuration di bawah Retrieval Configuration untuk menerapkan perubahan ke aplikasi online.

Catatan: "Buat perubahan offline" di sini berarti menghasilkan aplikasi offline berdasarkan konfigurasi saat ini. Aplikasi online tidak terpengaruh.

6. Di daftar bidang aplikasi, temukan kolom Analysis Method dan pilih custom analyzer untuk indeks yang sesuai.

7. Tunggu hingga indeks dibangun ulang agar perubahan berlaku.

Demo Efek Custom Analyzer

Ambil dokumen yang berisi "nuomi" (ketan) sebagai contoh. Jika Anda menggunakan General-purpose Chinese tokenizer, hasilnya tidak sesuai harapan—pencarian "mi" (beras) tidak dapat mengambil dokumen yang berisi "nuomi" (ketan), "xiaomi" (millet), atau "dami" (beras), seperti yang ditunjukkan pada gambar berikut. Namun, jika Anda mengikuti prosedur untuk menambahkan custom analyzer "test_zw" dan memodifikasi skema aplikasi, istilah hasil akan sesuai dengan intervensi setelah indeks dibangun ulang, seperti yang ditunjukkan pada gambar berikut:

Catatan

Di Konsol baru, Anda dapat menambahkan entri ke custom analyzer yang sudah ada. Jika aplikasi sudah mereferensikan custom analyzer tersebut, Anda harus membangun ulang indeks agar entri baru berlaku. Agar perubahan langsung berlaku, Anda dapat mengunggah ulang dokumen yang mengalami masalah tokenisasi. Tindakan ini memicu pembangunan ulang indeks untuk entri intervensi baru.
Kueri untuk custom analyzer tidak boleh melebihi 10 karakter.
Kueri untuk custom analyzer tidak boleh mengandung huruf kapital, simbol full-width, atau tanda baca Tionghoa.
Hasil tokenisasi kustom tidak boleh mengandung huruf kapital, simbol full-width, atau tanda baca Tionghoa.
Jika Anda menonaktifkan sakelar tokenisasi secondary, sistem akan mengikuti pengaturan intervensi Anda secara ketat tanpa melakukan tokenisasi lebih lanjut. Jika diaktifkan, sistem akan melakukan tokenisasi tambahan terhadap hasil intervensi Anda.
Anda tidak dapat menghapus custom analyzer yang direferensikan oleh aplikasi.