OpenSearch:Texto - analizadores personalizados

La tokenización es un componente fundamental de un motor de búsqueda y sus resultados afectan directamente el rendimiento de la búsqueda. Dado que los escenarios empresariales varían, una misma frase puede tener distinta semántica en diferentes servicios y contextos, por lo que los resultados esperados de la tokenización también difieren. Por esta razón, OpenSearch proporciona analizadores básicos para uso general, así como analizadores para campos específicos, como un analizador de comercio electrónico para dicho ámbito.

Para satisfacer mejor sus necesidades empresariales, OpenSearch le permite crear analizadores personalizados. Puede construirlos sobre los analizadores básicos del sistema y agregar entradas de intervención. Seleccione el analizador correspondiente para los campos de índice de su aplicación; esto le permitirá influir en los resultados de la tokenización para la indexación y las consultas, y garantizará la calidad de sus resultados de búsqueda.

Gestione las entradas de intervención mediante la función de tokenización secundaria.

Habilitar la tokenización secundaria significa que los resultados se vuelven a tokenizar después de la tokenización personalizada. Deshabilitarla conserva los resultados de su tokenización personalizada.

Por ejemplo, si utiliza el analizador de chino de uso general en el término "OpenSearch", el resultado al habilitar la tokenización secundaria es:

El resultado al deshabilitar la tokenización secundaria es:

• Las entradas de un analizador personalizado combinan todas las entradas del analizador base con las agregadas manualmente. Las entradas de intervención manuales tienen mayor prioridad que las del analizador predeterminado.

• Puede crear hasta 20 analizadores personalizados en la nueva consola.

• Un solo analizador personalizado admite un máximo de 1,000 entradas de intervención.

• En cada entrada, la clave puede tener hasta 10 caracteres y el valor hasta 32. Un carácter puede ser un ideograma chino o una letra del alfabeto inglés.

• El contenido de la entrada no debe contener letras mayúsculas (A-Z), símbolos de ancho completo (\uff01 - \uff5e) ni signos de puntuación chinos.

• En las entradas de intervención de segmentación semántica, la clave y el valor deben ser idénticos tras eliminar los espacios. Por ejemplo:

  Incorrect entry=>Erroneous entry
  Correct entry=>Correct entry

  En la primera entrada, el contenido de la clave y del valor difiere tras eliminar los espacios; por lo tanto, la entrada no es válida.

• La clave no debe contener espacios. Por ejemplo:

  In correct entry=>In correct entry
  CorrectEntry=>Correct entry

  La clave de la primera entrada contiene un espacio (" "); por lo tanto, la entrada no es válida.

• El contenido de una clave no puede coincidir con ninguno de los tokens generados a partir del valor de otra entrada en el mismo diccionario de intervención. Por ejemplo:

  custom_tokenizer=>custom tokenizer
  tokenizer
  tokenization

  La clave de la segunda entrada, "tokenizer", coincide con uno de los tokens generados a partir del valor de la primera entrada; por lo tanto, la segunda entrada no es válida. Sin embargo, la tercera entrada sí es válida.

Resumen del flujo

Crear un analizador personalizado → Realizar cambios sin conexión → Reconstruir el índice → Consultar el efecto del analizador personalizado

Procedimiento

1. En la consola de OpenSearch, vaya a la página principal. En el panel de navegación izquierdo, elija Search Configuration Center > Retrieval Configuration > Analyzer Management y haga clic en Create.

2. Cree un analizador: especifique su nombre y seleccione un tipo.

3. Agregue una entrada de intervención. Introduzca la consulta y el resultado de tokenización deseado. Este ejemplo utiliza "nuomi" (arroz glutinoso) y habilita la tokenización secundaria.

Nota: Separe los tokens con un espacio. Por ejemplo: "nuomi" ==> "nuo mi".

1. Pruebe la tokenización para comprobar el resultado de la entrada de intervención una vez que el analizador surta efecto.

   • 4.1. Introduzca "nuomi" en el cuadro de texto de prueba.

   • 4.2. Compare los resultados de tokenización de varios analizadores personalizados.

2. Tras probar la tokenización, regrese a Basic Configuration en Retrieval Configuration para aplicar los cambios a la aplicación en línea.

Nota: "Realizar cambios sin conexión" significa generar una aplicación sin conexión basada en su configuración actual; la aplicación en línea no se ve afectada.

1. En la lista de campos de la aplicación, busque la columna Analysis Method y seleccione el analizador personalizado para el índice correspondiente.

2. Espere a que se reconstruya el índice para que los cambios surtan efecto.

Demostración del efecto del analizador personalizado

Tome como ejemplo un documento que contiene "nuomi" (arroz glutinoso). Si utiliza el tokenizer de chino de uso general, el resultado será inesperado. Una búsqueda de "mi" (arroz) no recuperará documentos que contienen "nuomi" (arroz glutinoso), "xiaomi" (mijo) o "dami" (arroz), como se muestra en la siguiente figura: Si sigue el procedimiento para agregar el analizador personalizado "test_zw" y modifica el esquema de la aplicación, los términos resultantes coincidirán con la intervención después de reconstruir el índice, como se muestra en la siguiente figura:

Notas

• En la nueva consola, puede agregar entradas a analizadores personalizados existentes. Si una aplicación ya referencia un analizador personalizado, reconstruya el índice para que las nuevas entradas surtan efecto. Para aplicar los cambios de inmediato, vuelva a cargar los documentos con problemas de tokenización; esta acción desencadena una reconstrucción del índice para las nuevas entradas de intervención.

• La consulta para un analizador personalizado no debe exceder los 10 caracteres.

• La consulta para un analizador personalizado no debe contener letras mayúsculas, símbolos de ancho completo ni signos de puntuación chinos.

• El resultado de la tokenización personalizada no debe contener letras mayúsculas, símbolos de ancho completo ni signos de puntuación chinos.

• Si deshabilita el interruptor de tokenización secundaria, el sistema seguirá estrictamente su configuración de intervención sin realizar más tokenizaciones. Si lo habilita, el sistema realizará una tokenización adicional sobre sus resultados de intervención.

• No elimine un analizador personalizado referenciado por una aplicación.