Os índices permitem consultar e analisar logs em um Logstore do Simple Log Service. Escolha entre índices de texto completo e de campo conforme suas necessidades de consulta.
Por que os índices são necessários
As palavras-chave correspondem a termos individuais nos logs brutos. Por exemplo, uma entrada de log curl/7.74.0 contém a palavra-chave curl, mas sem análise sintática (parsing), a entrada é tratada como uma unidade única que não corresponde exatamente a curl. O Simple Log Service não consegue recuperá-la nesse estado.
Para tornar os logs pesquisáveis, divida-os em termos usando delimitadores. Por exemplo, aplicar \n\t\r,;[]{}()&^*#@~=<>/\?:'" gera os termos curl e 7.74.0. O Simple Log Service cria um índice a partir desses termos. A consulta e a análise de logs só são possíveis após a criação de um índice.
O Simple Log Service oferece suporte a índices de texto completo e de campo. Se você configurar ambos para o mesmo Logstore, a configuração do índice de campo terá precedência.
Tipos de índice
Índice de texto completo
Um índice de texto completo divide toda a entrada de log em termos do tipo text usando o Delimiter. Em seguida, consulte os logs por palavra-chave. Por exemplo, Chrome or Safari retorna logs contendo Chrome ou Safari.
O Delimiter não aceita caracteres chineses. Para processar texto em chinês, ative a opção Include Chinese. O SLS tokeniza automaticamente o conteúdo em chinês com base na gramática do idioma.
Se configurar apenas um índice de texto completo, use a sintaxe de busca de texto completo. Query syntax and functions
Índice de campo
Um índice de campo divide os logs pelo nome do campo (KEY) e tokeniza o conteúdo de cada campo. Há suporte para quatro data types: text, long, double e JSON. Consulte pelo nome e valor do campo (Key:Value) ou use uma instrução SELECT. Query syntax and features
Para consultar ou analisar um campo específico com uma instrução SELECT, crie um índice de campo para ele. O índice de campo tem precedência sobre o índice de texto completo quando ambos estão configurados para o mesmo campo.
-
Campos do tipo text aceitam consultas de texto completo, consultas específicas de campo e instruções analíticas (SELECT).
Sem um índice de texto completo, a busca de texto completo pesquisa apenas em todos os campos do tipo text.
Com o índice de texto completo ativado, as buscas de texto completo pesquisam em todos os logs.
Campos dos tipos long e double aceitam consultas específicas de campo e instruções analíticas (SELECT).
Criar um índice
As configurações de índice afetam diretamente os resultados de consulta e análise. Novos índices levam cerca de um minuto para entrar em vigor.
Os índices aplicam-se apenas aos dados recém-ingeridos. Para consultar dados históricos, reindex os dados.
-
O SLS cria automaticamente índices para alguns reserved fields.
Os delimitadores para
__topic__e__source__são vazios; portanto, as consultas nesses campos devem usar correspondência exata. Campos com o prefixo
__tag__não oferecem suporte a indexação de texto completo. Crie um índice de campo do tipo text para consultá-los e analisá-los. Exemplo:*| select "__tag__:__receive_time__".Se um log contiver nomes de campo duplicados (por exemplo,
request_time), o console exibirá um deles comorequest_time_0. O nome subjacente permanecerequest_time. Sempre use o nome original ao criar índices, consultar, analisar, enviar ou transformar dados.
Console
API
SDK
CLI
Atualizar um índice
Procedimento
Desativar um índice
Ao Attributes um índice, o SLS libera automaticamente o armazenamento dos dados de índice históricos quando o período de retenção do Logstore expira.
Procedimento
Exemplos de configuração de índice
Exemplo 1
O conteúdo do log contém o campo request_time. Você executa a consulta request_time>100.
Com apenas um índice de texto completo, a busca retorna logs que contêm os três termos
request_time,>(que não é um delimitador) e100.Com índices de campo dos tipos double e long, a consulta retorna logs onde
request_timeé maior que 100.Se você criar um índice de texto completo e índices de campo dos tipos double e long, o índice de texto completo para
request_timeserá ignorado, e a consulta retornará logs onderequest_timeé maior que 100.
Exemplo 2
O conteúdo do log contém o campo request_time. Você executa a consulta de texto completo request_time.
Se você criar apenas um índice de campo do tipo de dados
doubleoulong, nenhum log relevante será retornado.Crie apenas um índice de texto completo para consultar logs que contenham
request_timeem todo o texto do log.Consulte logs que contenham
request_timeem campos que possuem um índice de campo do tipotext.
Exemplo 3
O conteúdo do log contém o campo status. Execute a instrução de análise * | SELECT status, count(*) AS PV GROUP BY status.
Se você criar apenas um índice de texto completo, nenhum log relevante será retornado.
Um índice de campo em
statusretorna os códigos de status e suas respectivas contagens de PV.
Tráfego de índice
Índice de texto completo
Todos os nomes e valores de campos contam para o index traffic.
Índice de campo
O cálculo do Index traffic varia conforme o data type do campo:
Tipo text: Tanto o nome quanto o valor do campo contam para o
index traffic.-
Tipos long e double: O nome do campo não conta para o
index traffic. Cada valor de campo contribui com 8 bytes fixos.Por exemplo, se um índice for criado no campo
status(tipo long) com valor200, a stringstatusnão será contada. O tráfego de índice para200é de 8 bytes fixos. -
Tipo JSON: Tanto os nomes quanto os valores dos campos contam para o
index traffic, incluindo subchaves não explicitamente indexadas. How is the index traffic of JSON fields calculated?Subchaves não indexadas: o
index trafficé calculado como tipo text.Subchaves indexadas: o
index trafficé calculado com base no tipo de dados especificado (text, long ou double).
Faturamento
Logstores no modo pay-by-ingested-data
Os índices ocupam espaço de armazenamento. Manage intelligent tiered storage
A reindexação não gera taxas.
Cobranças de
Index traffic: Billable items for the pay-by-ingested-data mode
Logstores no modo pay-by-feature
Os índices ocupam espaço de armazenamento. Manage intelligent tiered storage
A criação de um índice gera
index trafficfaturável. Billable items for pay-by-feature mode How do I reduce index traffic fees?A reindexação incorre em taxas. Os itens faturáveis e os preços são os mesmos da criação de um índice.
Próximos passos
-
Exemplos de consulta e análise: