A descoberta automática de índices de campo identifica continuamente campos em logs recém-gravados que não possuem índices configurados e cria automaticamente índices de campo do tipo texto para os campos elegíveis. Ative este recurso para eliminar a manutenção manual de índices quando seus campos de log mudam com frequência ou são numerosos demais para serem enumerados antecipadamente.
Informações de fundo
O Simple Log Service utiliza tecnologia de indexação para oferecer recursos de consulta e análise. Ao usar índices de campo, geralmente é necessário determinar os nomes dos campos antecipadamente e configurar o tipo de índice, o tokenizador e as propriedades estatísticas para cada campo.
No entanto, manter uma configuração completa de índices de campo previamente é difícil nos seguintes cenários:
A quantidade de campos de log é grande e não é possível obter uma lista completa de campos com antecedência.
Com a iteração contínua dos negócios, novos campos são adicionados aos logs. A atualização manual das configurações de índice gera altos custos de manutenção.
Alguns campos aparecem apenas em cenários específicos e podem não estar presentes nas amostras iniciais de log usadas para gerar índices automaticamente.
Nesses casos, você frequentemente percebe que certos campos não têm índices apenas no momento em que precisa analisá-los. Índices recém-criados entram em vigor somente para novos dados gravados, e reindexing possui limitações de intervalo de tempo. Analisar dados históricos sem índices torna-se inconveniente.
Para resolver esses problemas, o Simple Log Service oferece o recurso de descoberta automática de índices de campo. Após ativar essa funcionalidade, o Simple Log Service identifica continuamente campos de nível superior em logs recém-gravados que não possuem índices de campo configurados e cria automaticamente índices de campo do tipo texto com estatísticas habilitadas. Depois que os campos entrarem em vigor, use field_name:field_value para consultas de campo e instruções SQL para filtragem, agrupamento, agregação e análise.
Benefícios
Redução de custos de manutenção — Não é necessário enumerar todos os campos antecipadamente nem atualizar manualmente as configurações de índice sempre que um novo campo de log for adicionado.
Adaptação contínua a alterações de campos — Após a ativação, o recurso descobre continuamente campos em logs gravados posteriormente, sem se limitar às amostras de log disponíveis quando o índice foi habilitado inicialmente.
Menos lacunas em dados históricos — Ao descobrir e criar índices para novos campos conforme os logs são gravados, este recurso reduz problemas em que dados históricos não podem ser consultados ou analisados devido à descoberta tardia.
Consulta e análise rápidas — Campos descobertos automaticamente utilizam índices de campo para consultas e suportam análise estatística SQL.
Configuração refinada — Para campos estáveis que exigem consultas por intervalo numérico, tokenizadores específicos ou outros tipos, configure-os adicionalmente como índices de campo especificados.
Pré-requisitos
Este recurso está disponível atualmente por meio de uma lista de permissões. Após a liberação da lista de permissões para sua conta, a opção correspondente aparecerá no console. Para solicitar acesso, envie um ticket.
Crie um Logstore Standard. Logstores Query não suportam descoberta automática de índices de campo.
Ative a indexação de texto completo para o Logstore. A descoberta automática de índices de campo depende da configuração de índice de texto completo. Para mais informações, consulte Create indexes.
Sua conta deve ter permissões para modificar configurações de índice do Logstore.
Ativar descoberta automática de índices de campo
Faça login no console do Simple Log Service.
Na lista Projects, clique em no projeto desejado.
Na aba , clique em no Logstore desejado.
Na página Search & Analysis, escolha .
Se você ainda não criou índices, clique em Enable Index e certifique-se de que a indexação de texto completo esteja ativada.
Selecione a opção Auto-discover unspecified fields (full-text index required) e clique em OK.
Após alguns minutos, atualize a página de configuração de índice e verifique se a seção Auto-discovered fields aparece.
As opções Auto-discover unspecified fields e Auto-generate indexes na página do console são recursos diferentes:
Auto-generate indexes — Gera configurações recomendadas de índices de campo com base em logs de visualização, como uma operação única. A configuração entra em vigor somente após confirmação do usuário.
Auto-discover unspecified fields — Descobre continuamente novos campos em logs recém-gravados e cria índices de campo automaticamente após a ativação. Nenhuma confirmação do usuário é necessária para cada novo campo.
Desativar a opção interrompe apenas a descoberta de novos campos. Isso não exclui automaticamente os índices de campo que já foram criados.
Visualizar e gerenciar campos descobertos automaticamente
Após ativar este recurso, o Simple Log Service verifica continuamente os campos de nível superior em logs recém-gravados. Os índices de campo descobertos e criados automaticamente são exibidos na seção Auto-discovered fields na página de configuração de índice. Todos esses índices de campo são do tipo texto, compartilham as propriedades de diferenciação entre maiúsculas e minúsculas, tokenizador e inclusão de caracteres chineses com o índice de texto completo, e possuem estatísticas habilitadas.
Os campos descobertos automaticamente já possuem dados de índice criados e podem ser usados diretamente para consulta e análise.
Para promover um campo descoberto automaticamente para um índice de campo especificado, localize o campo desejado na seção Auto-discovered fields e clique em no ícone + na coluna Actions. O campo será movido para a seção Specified Field Search acima, onde você pode modificar o tipo de campo, a diferenciação entre maiúsculas e minúsculas, o tokenizador ou as propriedades de inclusão de caracteres chineses.
Consultar e analisar campos descobertos automaticamente
Na página de pesquisa de logs, os campos descobertos automaticamente suportam consultas de campo, análise rápida e análise SQL padrão. O uso é consistente com índices de campo criados manualmente. Os campos descobertos automaticamente são fixos como tipo texto e herdam a configuração de tokenizador do índice de texto completo. Para modificar o tipo ou as propriedades do índice, promova o campo para um índice de campo especificado.
Execute consultas de índice diretamente nesses campos.
Os campos descobertos automaticamente são sempre do tipo texto na configuração de índice. Em cenários SQL onde a intenção numérica é clara e a análise de tipo padrão não pode ser aplicada, o mecanismo SQL tenta converter os valores do campo para o tipo numérico alvo. Valores que não podem ser convertidos são tratados como NULL. Esse comportamento não modifica o tipo de índice do campo, e expressões que podem ser executadas como strings mantêm a semântica de string. A seguinte instrução SQL mostra um exemplo:
* | SELECT customer_city, product_category, sum(order_amount) AS total_amount GROUP BY customer_city, product_categoryNo exemplo SQL anterior, customer_city, order_amount e product_category são todos campos descobertos automaticamente. Use sum(order_amount) diretamente, tratando order_amount como um tipo numérico para análise.
Limites
|
Item |
Descrição |
|
Tipo de Logstore |
Apenas Logstores Standard são suportados. Logstores Query não são suportados. |
|
Nível de campo |
Somente campos de nível superior em logs são descobertos automaticamente. Subcampos em strings JSON não são expandidos automaticamente. Configure índices de campo do tipo JSON manualmente para subcampos JSON. |
|
Tipo de campo |
Todos os campos descobertos automaticamente são criados uniformemente como tipo texto. Para tipos long, double ou JSON, configure índices de campo manualmente. Para mais informações, consulte Data types. |
|
Comprimento do nome do campo |
Os nomes dos campos não podem exceder 128 caracteres. |
|
Caracteres do nome do campo |
Os nomes dos campos podem conter apenas letras, dígitos e |
|
Quantidade de campos |
Um máximo de 1.024 índices de campo pode ser criado automaticamente por Logstore. Nenhum novo campo é descoberto após o limite ser atingido. |
|
Diferenciação entre maiúsculas e minúsculas |
Se os logs contiverem nomes de campo que diferem apenas em maiúsculas/minúsculas, como |
|
Escopo de vigência |
Entra em vigor apenas para dados gravados após a ativação do recurso. Para dados históricos, você deve reindex logs. |
|
Tempo de vigência |
Após a ativação de Auto-discover unspecified fields e o surgimento de novos campos nos logs, o sistema subjacente gera imediatamente os dados de índice correspondentes. Contudo, as configurações de campo descobertas aparecem na página após alguns minutos e uma atualização da página. |
Quando um nome de campo começa com um dígito ou contém caracteres especiais, coloque-o entre aspas duplas nas instruções SQL. O exemplo a seguir mostra a sintaxe:
* | SELECT "service-name", count(*) GROUP BY "service-name"Perguntas frequentes
Por que nenhum novo campo é descoberto após eu ativar a descoberta automática de índices de campo?
Verifique os itens a seguir em ordem:
Se o Logstore é do tipo Standard.
Se a indexação de texto completo e a descoberta automática estão ativadas.
Se novos logs contendo o campo foram gravados após a ativação da descoberta automática.
Se o nome do campo atende aos requisitos de comprimento e caracteres e não é um campo reservado pelo sistema.
Se o limite de campos de descoberta automática ou o limite total de campos de índice foi atingido.
Se você aguardou alguns minutos e atualizou a página de configuração de índice após a gravação.
Por que campos numéricos não podem ser consultados diretamente com operadores de comparação?
A descoberta automática não consegue inferir de forma confiável o tipo de dados de longo prazo de um campo a partir de amostras parciais, portanto, todos os campos descobertos automaticamente são criados como tipo texto. Consultas puras de índice só podem consultar por correspondência de texto, não por key > 3. Em SQL, o mecanismo realiza automaticamente a conversão de tipo numérico sob demanda para campos descobertos, então você pode usar * | SELECT xxx WHERE key > 3 diretamente em SQL. Para campos numéricos confirmados, configure manualmente índices de campo do tipo long ou double.
Ainda posso consultar campos descobertos automaticamente após desativar o recurso?
Sim. Desativar a opção interrompe apenas a descoberta de novos campos. Isso não exclui automaticamente os índices de campo que já foram criados, e você pode continuar a consultá-los e analisá-los.
Como é cobrada a descoberta automática de índices de campo?
O recurso de descoberta automática de índices de campo em si não incorre em cobranças separadas. Após a ativação, o Simple Log Service cria automaticamente índices de campo do tipo texto para campos recém-descobertos, e os custos associados são calculados com base nas regras de faturamento de índices existentes. Como este recurso depende do índice de texto completo já habilitado, ele normalmente não gera custos adicionais significativos. Os custos reais estão sujeitos ao volume de armazenamento de índice e ao modo de faturamento do Logstore.