Elasticsearch：Gunakan plug-in analysis-ik

Informasi latar belakang

Plug-in analysis-ik terdiri dari tiga komponen utama: pemisah kata (tokenizer), file kamus, dan mekanisme pembaruan kamus.

• Pemisah kata: Memisahkan teks bahasa Tiongkok menjadi kata-kata bermakna (token) dan menentukan tingkat granularitas tokenisasi.

• File kamus: Menyediakan basis kosakata yang digunakan oleh pemisah kata untuk melakukan tokenisasi. File-file ini mendukung ekstensi dan kustomisasi.

• Metode pembaruan kamus: Mendukung pembaruan dingin dan panas, sehingga memungkinkan Anda menyesuaikan kamus secara fleksibel sesuai kebutuhan bisnis untuk memastikan tokenisasi memenuhi persyaratan Anda.

Prasyarat

• Pastikan instans berada dalam status Normal. Anda dapat melihat status instans di halaman Informasi Dasar instans.

  Catatan

  Operasi dalam topik ini didemonstrasikan pada instans Alibaba Cloud ES versi 7.10.0. Antarmuka konsol dan fitur yang didukung mungkin berbeda untuk versi yang berbeda. Gunakan antarmuka konsol aktual yang berlaku.

• (Opsional) Untuk memperbarui kamus, Anda harus menyelesaikan langkah-langkah berikut.

  • Untuk memperbarui kamus menggunakan metode Upload OSS File, Anda harus terlebih dahulu membuat bucket OSS dan mengunggah file kamus yang diperlukan.

  • Untuk memperbarui menggunakan metode Upload Local File, simpan terlebih dahulu file kamus yang diperlukan ke komputer Anda.

Perbarui kamus IK

Jika kamus IK default tidak memenuhi kebutuhan bisnis Anda, Anda dapat memperbaruinya. Sebelum memperbarui, pahami terlebih dahulu metode pembaruan yang sesuai. Untuk indeks yang dikonfigurasi dengan tokenisasi IK, kamus yang diperbarui hanya berlaku untuk data baru, yaitu data yang baru ditambahkan dan diperbarui. Jika Anda ingin pembaruan berlaku untuk semua data, Anda harus membuat ulang indeks tersebut.

Gunakan plug-in analysis-ik

Contoh ini menunjukkan cara menggunakan tokenizer IK dan filter Pinyin untuk melakukan tokenisasi teks tertentu.

1. Buka halaman Kibana Dev Tools dari instans ES.

   1. Masuk ke konsol Kibana.

   2. Klik ikon di pojok kiri atas dan pilih Management > Dev Tools untuk membuka editor kode.

2. Buat indeks dan konfigurasikan tokenizer IK serta filter Pinyin.

   Di halaman Dev Tools, jalankan perintah berikut untuk membuat indeks ik_pinyin dan alat analisis kustom bernama ik_pinyin_analyzer. Alat analisis ini menggunakan aturan tokenisasi detail halus ik_max_word dan filter Pinyin untuk mengonversi kata bahasa Tiongkok menjadi Pinyin.

   Catatan

   Filter Pinyin dijalankan setelah tokenisasi bahasa Tiongkok selesai. Filter ini pertama-tama melakukan tokenisasi teks bahasa Tiongkok, lalu mengonversi hasil tokenisasi menjadi Pinyin untuk ditampilkan.

   PUT ik_pinyin
   {
     "settings":{
       "analysis": {
         "filter": {
           "my_pinyin" : {
               "type" : "pinyin",
               "keep_separate_first_letter" : false,
               "keep_full_pinyin" : true,
               "keep_original" : true,
               "limit_first_letter_length" : 16,
               "lowercase" : true,
               "remove_duplicated_term" : true
             }
         },
         "analyzer": {
           "ik_pinyin_analyzer": {
             "type": "custom",
             "tokenizer": "ik_max_word",
             "filter": ["my_pinyin"]
           }
         }
       }
     },
     "mappings":{
       "properties":{
         "text":{
           "type" : "text",
           "analyzer" : "ik_pinyin_analyzer"
         }
       }
     }
   }

   Parameter inti dijelaskan sebagai berikut:

   • Filter Pinyin (filter)

     Catatan

     Untuk informasi lebih lanjut tentang konfigurasi plug-in analisis Pinyin, lihat Analisis Pinyin untuk Elasticsearch.

     Parameter	Deskripsi
     my_pinyin	Nama filter Pinyin yang Anda definisikan.
     type	Diatur ke pinyin untuk menentukan filter Pinyin.
     keep_separate_first_letter	Diatur ke false agar tidak menyimpan huruf pertama dari setiap karakter.
     keep_full_pinyin	Diatur ke true agar menyimpan Pinyin lengkap.
     keep_original	Diatur ke true agar menyimpan teks input asli.
     limit_first_letter_length	Diatur ke 16 untuk membatasi panjang huruf pertama maksimal 16 karakter.
     lowercase	Diatur ke true agar menggunakan huruf kecil untuk output Pinyin.
     remove_duplicated_term	Diatur ke true agar menghapus istilah duplikat. Misalnya, ini menghindari hasil seperti "zh, zh".

   • Alat Analisis (analyzer):

     Parameter	Deskripsi
     ik_pinyin_analyzer	Nama alat analisis yang Anda definisikan.
     type	Diatur ke custom untuk menentukan alat analisis kustom.
     tokenizer	Diatur ke ik_max_word untuk membagi teks dengan granularitas paling detail.
     filter	Diatur ke my_pinyin untuk memanggil filter Pinyin my_pinyin.

     Hasil berikut dikembalikan, yang menunjukkan bahwa indeks berhasil dibuat.

3. Verifikasi hasil tokenisasi.

   Anda dapat menjalankan kode berikut untuk melakukan tokenisasi teks input Ini adalah tes.

   GET ik_pinyin/_analyze
   {
     "text": "Ini adalah tes",
     "analyzer": "ik_pinyin_analyzer"
   }

   Hasil yang diharapkan adalah sebagai berikut.

   {
     "tokens" : [
       {
         "token" : "zhe",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 0
       },
       {
         "token" : "This is",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 0
       },
       {
         "token" : "zs",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 0
       },
       {
         "token" : "shi",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 1
       },
       {
         "token" : "ge",
         "start_offset" : 2,
         "end_offset" : 3,
         "type" : "CN_CHAR",
         "position" : 2
       },
       {
         "token" : "a",
         "start_offset" : 2,
         "end_offset" : 3,
         "type" : "CN_CHAR",
         "position" : 2
       },
       {
         "token" : "g",
         "start_offset" : 2,
         "end_offset" : 3,
         "type" : "CN_CHAR",
         "position" : 2
       },
       {
         "token" : "ce",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 3
       },
       {
         "token" : "shi",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 4
       },
       {
         "token" : "test",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 4
       },
       {
         "token" : "cs",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 4
       }
     ]
   }
   

Referensi

• API untuk pembaruan panas kamus IK: UpdateHotIkDicts

• API untuk pembaruan dingin kamus IK: UpdateDict