Tablestore:Tokenização

Tokenização por palavra única (SingleWord)

Este tipo aplica-se a todos os idiomas, incluindo chinês, inglês e japonês, sendo o tokenizador padrão para campos Text.

Ao definir a tokenização como palavra única, o processo funciona da seguinte forma:

• Textos em chinês são divididos caractere por caractere. Os exemplos em chinês deste tópico estão romanizados em pinyin para manter os limites dos tokens visíveis. Por exemplo, o nome da cidade "hangzhou" (Hangzhou), composto por dois caracteres, é dividido em "hang" e "zhou". Uma consulta match ou match phrase por "hang" retorna linhas cujo conteúdo inclui "hangzhou".

• Letras do alfabeto latino e dígitos são separados por espaços ou sinais de pontuação.

  • Se caseSensitive for falso, a tokenização ignora maiúsculas e minúsculas, e o Tablestore converte todas as letras para minúsculas antes do armazenamento. Assim, "Hang Zhou" torna-se "hang" e "zhou", e buscas por "hang", "HANG" ou "Hang" retornam essa linha.

  • Se caseSensitive for verdadeiro, a tokenização diferencia maiúsculas de minúsculas e preserva a formatação original das letras durante o armazenamento. Nesse caso, "Hang Zhou" gera os tokens "Hang" e "Zhou", e apenas consultas exatas por "Hang" ou "Zhou" retornam a linha.

• Termos que combinam dígitos e letras, como números de modelo de product, também são separados por espaços ou pontuação. Contudo, por padrão, os dígitos e as letras dentro do mesmo termo permanecem juntos. Por exemplo, "iphone6" permanece como um único token. Consultas match ou match phrase só retornam resultados se você especificar o termo completo "iphone6"; buscar apenas "iphone" não traz nada. Para separar dígitos de letras, defina o parâmetro delimitWord como verdadeiro. Dessa forma, "iphone6" será dividido em "iphone" e "6", permitindo que buscas por qualquer uma das partes retornem a linha. A tabela a seguir descreve os parâmetros da tokenização por palavra única.

Tokenização por delimitador (Split)

Embora o Tablestore ofereça tokenização baseada em dicionário de uso geral, certas indústrias especializadas exigem dicionários personalizados. Para atender a essa necessidade, existe a tokenização por delimitador, também chamada de tokenização personalizada: você segmenta o conteúdo, une os tokens com um delimitador específico e grava o resultado no Tablestore.

Esse tipo de tokenizador é compatível com todos os idiomas, incluindo chinês, inglês e japonês.

Após configurar a tokenização por delimitador em um campo Text, o valor do campo será dividido sempre que o caractere especificado no parâmetro delimiter aparecer. Por exemplo, se o valor for "badminton,table tennis,rap" e o delimitador for uma vírgula (,), o sistema gera os tokens "badminton", "table tennis" e "rap", que serão indexados. Consultas match ou match phrase por "badminton", "table tennis", "rap" ou até "badminton,table tennis" retornam essa linha.

A tabela abaixo lista os parâmetros disponíveis para esse tipo de tokenização.

Tokenização semântica mínima (MinWord)

Indicada para textos em chinês, essa modalidade é comum em cenários de busca full-text.

Ao optar pela tokenização semântica mínima, o sistema divide o conteúdo do campo Text na menor quantidade possível de tokens semânticos. Por exemplo, o termo de três caracteres "lihuacha" (chá de flor de pera) resulta em "li" e "huacha", sem sobreposição entre eles. Já o termo de sete caracteres "zhonghuarenmingongheguo" permanece intacto como um único token.

Tokenização semântica máxima (MaxWord)

Assim como a versão mínima, este tipo destina-se ao idioma chinês e a buscas full-text.

Nesta modalidade, o sistema extrai o maior número possível de tokens semânticos. Os tokens resultantes se sobrepõem, o comprimento acumulado supera o do texto original e o tamanho do índice aumenta. Por exemplo, "lihuacha" gera "lihua" e "huacha", com sobreposição em "hua". O termo longo "zhonghuarenmingongheguo" produz múltiplas variações: "zhonghuarenmingongheguo", "zhonghuarenmin", "zhonghua", "huaren", "renmingongheguo", "renmin", "gongheguo", "gonghe" e "guo".

Como essa abordagem gera mais tokens, a probabilidade de correspondência durante a consulta aumenta, mas o índice cresce significativamente. Ela é ideal para consultas match, não sendo recomendada para match phrase. Neste último caso, a palavra-chave da consulta sofre a mesma tokenização, causando sobreposição de posições que pode impedir a localização dos dados.

Tokenização fuzzy (Fuzzy)

Compatível com todos os idiomas (chinês, inglês, japonês, etc.), esta tokenização é ideal para textos curtos, como títulos, nomes de filmes, livros, arquivos e diretórios.

Ela oferece resultados com latência extremamente baixa e desempenho superior ao de consultas wildcard, embora cause alguma expansão no tamanho do índice.

Ao configurar a tokenização fuzzy, o sistema aplica a técnica de N-gram ao conteúdo textual e gera tokens com comprimento entre minChars e maxChars. Isso é particularmente útil para funcionalidades como sugestões em listas suspensas.

Para executar uma consulta fuzzy, use exclusivamente a consulta match phrase na coluna configurada com esse tokenizador; outros tipos de consulta não são suportados. Se precisar de múltiplos tipos de consulta na mesma coluna, recorra ao recurso de colunas virtuais. Para mais detalhes sobre colunas virtuais, consulte Virtual columns.