O LindormSearch permite estender o analisador IK com seu próprio vocabulário por meio do upload de arquivos de dicionário personalizados em um conjunto de configurações. Utilize esse recurso para aprimorar a tokenização de termos específicos de domínio — como nomes de produtos, palavras-chave de marcas ou jargões do setor — que o dicionário padrão não reconhece.
Dois arquivos de dicionário estão disponíveis:
|
Arquivo |
Finalidade |
|
|
Adiciona palavras ao dicionário principal para que o analisador IK as reconheça como tokens distintos |
|
|
Inclui palavras na lista de stopwords para que sejam filtradas durante a análise |
Ambos os arquivos utilizam o mesmo formato: uma palavra por linha.
Pré-requisitos
Antes de começar, verifique se você possui:
Java Development Kit (JDK) V1.8 ou posterior instalado
LindormSearch versão 8.10.5 ou posterior. Para verificar e atualizar, consulte Notas de versão do LindormSearch e Atualizar a versão secundária do mecanismo de uma instância do Lindorm
Um cliente conectado ao LindormSearch via Search Shell. Consulte Usar o Search Shell para conectar-se e utilizar o LindormSearch
Limitações
Apenas o analisador IK oferece suporte a dicionários personalizados. Especifique o analisador ao criar um índice de pesquisa. Consulte CREATE SEARCH INDEX.
Configure um dicionário personalizado
Os dicionários personalizados são agrupados dentro de um conjunto de configurações. O fluxo de trabalho geral consiste em: baixe o conjunto de configurações, edite os arquivos de dicionário localmente e, em seguida, fazer o upload e recarregar.
-
Acesse o diretório
lindorm-search-cli/bin:cd lindorm-search-cli/bin -
Liste os conjuntos de configurações disponíveis:
./search-cli zk ls /configs -
Baixe o conjunto de configurações que deseja modifique. Essa ação crie um diretório
confno caminho atual:./search-cli zk downconfig -d . -n <configuration set name>Por exemplo:
./search-cli zk downconfig -d . -n default.myTable.myIdx -
Acesse o diretório
conf:cd conf -
Caso o arquivo
extra_main.dicnão exista, crie-o:touch extra_main.dic -
Edite o arquivo do dicionário principal. Cada linha deve conter exatamente uma palavra:
vi extra_main.dicExemplo de conteúdo:
Guide Product Engine -
Modifique o arquivo da lista de stopwords. O nome de arquivo padrão é
extra_stopword.dic:vi extra_stopword.dic -
Retorne ao diretório
bin:cd .. -
Faça o upload do conjunto de configurações modificado:
./search-cli zk upconfig -d conf -n default.myTable.myIdx -
Recarregue a coleção para aplicar as alterações:
./search-cli reload_collection -c default.myTable.myIdx