Elasticsearch:IK analizörü eklentisini (analysis-ik) kullanma

Belirteçlere ayırma kuralları

IK analizörü iki belirteçlere ayırma modunu destekler:

• ik_max_word: Metni en ince granularity düzeyinde böler. Terim tabanlı sorgular için idealdir.

• ik_smart: Metni daha kaba granularity düzeyinde böler. Öbek tabanlı sorgular için idealdir.

Sözlük türleri

IK analizörü aşağıdaki sözlük türlerini destekler.

Sözlük güncelleme yöntemleri

Varsayılanlar ihtiyaçlarınızı karşılamadığında sözlükleri güncelleyin. IK analizörü aşağıdaki yöntemleri destekler.

ES sözlük türlerinin karşılaştırılması

Alibaba Cloud Elasticsearch üç sözlük türünü destekler: eş anlamlı sözlük, IK sözlüğü ve AliNLP sözlüğü (analysis-aliws). Aşağıdaki tabloda bunların güncelleme yöntemleri, yeniden başlatma davranışı, API işlemleri ve dosya biçimi gereksinimleri karşılaştırılmaktadır.

IK sözlüğü ve AliNLP sözlüğü, uzak sözlük dosyalarını yalnızca Upload OSS File yöntemiyle yüklemeyi destekler.

Tüm sözlük türleri için aşağıdaki hususlar geçerlidir:

• Ücretler — Sözlük güncellemeleri ek ücretlere neden olmaz.

• Dosya boyutu sınırları — Tek bir sözlük dosyası en fazla 100 MB olabilir. Tüm sözlük dosyalarının toplam boyutu 200 MB'yi aşamaz ve en fazla 50 sözlük dosyası yükleyebilirsiniz.

• Sürüm uyumluluğu — analysis-aliws (AliNLP) eklentisi 5.x veya 8.x sürümlerinde desteklenmez.

• sourceType parametresi — Bir sözlük güncelleme API işlemini çağırdığınızda, bir sözlük dosyasının ilk yüklemesi için sourceType parametresini OSS olarak, aynı ada sahip sözlük dosyasına yönelik sonraki güncellemeler için ise ORIGIN olarak ayarlayın.

Soğuk güncelleme

Soğuk güncelleme gerçekleştirmek için:

1. Örnek ayrıntıları sayfasına gidin.

   1. Alibaba Cloud Elasticsearch konsolunda oturum açın.

   2. Soldaki gezinme bölmesinde Elasticsearch Clusters seçeneğine tıklayın.

   3. Üst menü çubuğundan bir kaynak grubu ve bölge seçin.

   4. Elasticsearch örnekleri listesinde hedef örnek kimliğine tıklayarak ayrıntılar sayfasına gidin.

2. analysis-ik eklentisinin soğuk güncelleme sayfasına gidin.

   1. Soldaki gezinme bölmesinde Configuration and Management > Plug-ins seçeneklerini belirleyin.

   2. Built-in Plug-ins sekmesinde analysis-ik eklentisini bulun ve Actions sütununda Standard Update seçeneğine tıklayın.

3. Soğuk güncellemeyi gerçekleştirin.

   1. Configure IK Dictionaries - Standard Update iletişim kutusunda hedef sözlüğün yanındaki Edit seçeneğine tıklayın, talimatları izleyerek gerekli sözlük dosyasını yükleyin ve ardından Save seçeneğine tıklayın.

      Sözlük dosyalarını aşağıdaki yöntemlerden birini kullanarak yükleyebilirsiniz:

      • Upload On-premises File: simgesine tıklayın veya talimatları izleyerek yerel dosyanızı sürükleyip bırakın.

      • Upload OSS File: Paket adını ve sözlük dosyası adını girin, ardından Add seçeneğine tıklayın.

        • Paket ve Alibaba Cloud ES örneği aynı bölgede olmalıdır.

        • OSS sözlük dosyaları otomatik olarak senkronize edilmez. Kaynak dosya değişirse değişiklikleri uygulamak için bir sözlük güncellemesi gerçekleştirin.

      Not

      • Her sözlük türü yalnızca bir DIC biçimli dosyayı destekler. Yüklenen dosya orijinal sözlüğün yerine geçer.

      • Sözlük dosya adları .dic ile bitmelidir. Dosya adları harf, rakam ve alt çizgi içerebilir ve 30 karakteri aşmamalıdır.

      • Bir sözlüğü varsayılan dosyasına geri yüklemek için varsayılan dosyayı indirin ve yeniden yükleyin. Varsayılan sözlük dosyalarını aşağıdaki bağlantılardan edinin:

        • Ana sözlük (main.dic)

        • Durdurma kelimesi sözlüğü (stopword.dic)

        • Edat sözlüğü (preposition.dic)

        • Miktar belirteci sözlüğü (quantifier.dic)

   2. Risk onayını seçin ve örneği yeniden başlatmak için OK seçeneğine tıklayın.

      Örnek yeniden başlatıldıktan sonra sözlük güncellemesi tamamlanır.

4. (İsteğe bağlı) Sözlük güncellemesinin etkili olup olmadığını test edin.

   1. Kibana konsolunda oturum açın.

   2. Sol üst köşedeki simgesine tıklayın ve kod düzenleyicisini açmak için Management > Developer Tools seçeneklerini belirleyin.

      Chinese character input method for computers giriş metni üzerinde kaba granularity düzeyinde belirteçlere ayırma işlemi gerçekleştirmek için aşağıdaki kodu çalıştırın.

      Not

      Uygulamada, text değerini sözlüğünüzdeki bir kelimeyle değiştirin.

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "Chinese character input method for computers"
      }

      Beklenen yanıt aşağıdaki gibidir.

      {
        "tokens" : [
          {
            "token" : "computer",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "Chinese character input",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "method",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

Sıcak güncelleme

Sıcak güncelleme gerçekleştirmek için:

1. Örnek ayrıntıları sayfasına gidin.

   1. Alibaba Cloud Elasticsearch konsolunda oturum açın.

   2. Soldaki gezinme bölmesinde Elasticsearch Clusters seçeneğine tıklayın.

   3. Üst menü çubuğundan bir kaynak grubu ve bölge seçin.

   4. Elasticsearch örnekleri listesinde hedef örnek kimliğine tıklayarak ayrıntılar sayfasına gidin.

2. analysis-ik eklentisinin sıcak güncelleme sayfasına gidin.

   1. Soldaki gezinme bölmesinde Configuration and Management > Plug-ins seçeneklerini belirleyin.

   2. Built-in Plug-ins sekmesinde analysis-ik eklentisini bulun ve Actions sütununda Rolling Update seçeneğine tıklayın.

3. Sıcak güncellemeyi gerçekleştirin.

   1. Configure IK Dictionaries - Rolling Update iletişim kutusunda hedef sözlüğün yanındaki Edit seçeneğine tıklayın, talimatları izleyerek gerekli sözlük dosyasını yükleyin ve ardından Save seçeneğine tıklayın.

      Sözlük dosyalarını aşağıdaki yöntemlerden birini kullanarak yükleyebilirsiniz:

      • Upload On-premises File: simgesine tıklayın veya talimatları izleyerek yerel dosyanızı sürükleyip bırakın.

      • Upload OSS File: Paket adını ve sözlük dosyası adını girin, ardından Add seçeneğine tıklayın.

        • Paket ve Alibaba Cloud ES örneği aynı bölgede olmalıdır.

        • OSS sözlük dosyaları otomatik olarak senkronize edilmez. Kaynak dosya değişirse değişiklikleri uygulamak için bir sözlük güncellemesi gerçekleştirin.

      Not

      • Birden fazla sözlük dosyası yükleyebilirsiniz. Dosya adları .dic ile bitmelidir. Dosya adları harf, rakam ve alt çizgi içerebilir ve 30 karakteri aşmamalıdır.

      • Yüklenen bir sözlük dosyasını değiştirmek için yanındaki simgesine tıklayarak dosyayı indirin ve düzenleyin. Ardından orijinal dosyayı silin ve güncellenen dosyayı yeniden yükleyin. Orijinal dosyayı sildikten sonra Save seçeneğine tıklayın; aksi takdirde sistem aynı ada sahip bir dosyanın zaten var olduğunu bildirir.

   2. OK seçeneğine tıklayın ve ES düğümlerinin sözlüğü yüklemeyi bitirmesini bekleyin.

      ES düğümleri sözlük dosyalarını otomatik olarak yükler. Yükleme süreleri düğümler arasında farklılık gösterir — tüm düğümlerin bitmesini bekleyin.

4. (İsteğe bağlı) Sözlük güncellemesinin etkili olup olmadığını test edin.

   1. Kibana konsolunda oturum açın.

   2. Sol üst köşedeki simgesine tıklayın ve kod düzenleyicisini açmak için Management > Developer Tools seçeneklerini belirleyin.

      Chinese character input method for computers giriş metni üzerinde kaba granularity düzeyinde belirteçlere ayırma işlemi gerçekleştirmek için aşağıdaki kodu çalıştırın.

      Not

      Uygulamada, text değerini sözlüğünüzdeki bir kelimeyle değiştirin.

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "Chinese character input method for computers"
      }

      Beklenen yanıt aşağıdaki gibidir.

      {
        "tokens" : [
          {
            "token" : "computer",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "Chinese character input",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "method",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

Alfanümerik karışık kelimeler için belirteçlere ayırmayı optimize etme

ik_max_word belirteçlerine ayırıcıyı kullandığınızda, fawjh6bcm gibi alfanümerik karışık dizeler arama için etkili bir şekilde belirteçlere ayrılmayabilir. Geri çağırmayı iyileştirmek için enable_single_word değerini true olarak ayarlayın. Bu işlem, karışık kelimeleri tek karakterli belirteçlere böler ve karakter düzeyinde eşleştirmeyi mümkün kılar.

Aşağıdaki örnek, enable_single_word etkinleştirilmiş özel bir analizör oluşturur:

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_single_char_analyzer": {
          "type": "custom",
          "tokenizer": "my_ik_tokenizer"
        }
      },
      "tokenizer": {
        "my_ik_tokenizer": {
          "type": "ik_max_word",
          "enable_single_word": true
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_single_char_analyzer"
      }
    }
  }
}

Karışık Çince-İngilizce arama için ngram belirteçlerine ayırıcıyı kullanma

Çince metinlerle karışık birleştirilmiş İngilizce model numaralarını (örneğin jh6bcm) ararken, IK analizörü tek başına kısmi eşleştirme için etkili belirteçler üretmeyebilir. Bu durumda, IK analizörünü tamamlayıcı veya yerine koymak için ngram belirteçlerine ayırıcıyı kullanın.

Ngram belirteçlerine ayırıcı, metni yapılandırılabilir uzunlukta bitişik karakter dizilerine böler ve alt dize eşleştirmeyi mümkün kılar.

Aşağıdaki örnek, ngram belirteçlerine ayırıcıyı kullanan bir dizin oluşturur:

PUT my_ngram_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 3,
          "token_chars": ["letter", "digit"]
        }
      },
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "model_number": {
        "type": "text",
        "analyzer": "ngram_analyzer"
      }
    }
  }
}

Ngram belirteçlerine ayırıcı yapılandırması hakkında daha fazla bilgi için bkz. Ngram tokenizer.

Eş anlamlı dosyalardaki büyük harfli kelimeler hatalara neden oluyor. Ne yapmalıyım?

IK analizörü, eş anlamlı dosyaları işlerken büyük/küçük harfe duyarlıdır. Bir eş anlamlı dosyası büyük harfli kelimeler (örneğin IT) içeriyorsa, dizine ekleme sırasında ayrıştırma hataları oluşabilir.

Bu sorunu aşağıdaki yöntemlerden biriyle çözebilirsiniz.

• Tüm eş anlamlıları küçük harfe dönüştürün: Eş anlamlı dosyanızı düzenleyin ve yüklemeden önce tüm girdileri küçük harfe dönüştürün.

• Analizöre küçük harf filtresi ekleyin: Eş anlamlı eşleştirmeden önce metni normalleştirmek için analizör yapılandırmanızda eş anlamlı filtreden önce bir lowercase filtresi ekleyin. Örnek:

  PUT my_index
  {
    "settings": {
      "analysis": {
        "filter": {
          "my_synonym_filter": {
            "type": "synonym",
            "synonyms_path": "your_synonyms.txt"
          }
        },
        "analyzer": {
          "ik_synonym_analyzer": {
            "type": "custom",
            "tokenizer": "ik_max_word",
            "filter": ["lowercase", "my_synonym_filter"]
          }
        }
      }
    }
  }

  Önemli

  Metnin eş anlamlı eşleştirme gerçekleşmeden önce küçük harfe dönüştürülmesini sağlamak için lowercase filtresi, filtre zincirinde eş anlamlı filtreden önce görünmelidir.