O Simple Log Service oferece o recurso de análise de texto para detectar automaticamente anomalias no conteúdo textual em grandes volumes de logs.
A partir de 15 de julho de 2025 (UTC+8), o recurso de análise inteligente de anomalias não estará mais disponível para novos usuários. Usuários existentes podem continuar utilizando o recurso.
-
Escopo do impacto
Os seguintes recursos principais serão descontinuados: verificação inteligente de integridade, análise de texto e previsão de séries temporais.
-
Soluções de migração de recursos
Os recursos de sintaxe de machine learning, consulta e análise agendada (scheduled SQL) e painel do SLS podem substituir completamente os recursos descontinuados.
Informações básicas
Serviços em execução geram grandes volumes de logs de sistema e de negócios para monitoramento e solução de problemas. A análise de logs tradicional depende da avaliação de níveis de risco e da correspondência de palavras-chave como Error, Failed e Unsuccessfully. Em ambientes de microsserviços distribuídos, essa abordagem apresenta os seguintes desafios:
-
Terabytes ou até petabytes de logs são gerados diariamente, tornando a análise manual extremamente trabalhosa.
-
Em um ambiente distribuído com implantação de microsserviços, logs de Warning ou de Error não indicam necessariamente exceções do sistema. Esses logs podem ser gerados devido a dimensionamento, atualizações ou iterações do sistema. Conhecimento técnico especializado é necessário durante a análise manual para identificar anomalias nos logs.
A análise de logs automatizada e inteligente resolve esses desafios ao reduzir custos de mão de obra e liberar todo o potencial dos dados de log. Esse tipo de análise possui as seguintes características:
-
Processa grandes volumes de logs de forma eficiente.
-
Identifica anomalias em logs ou reduz o escopo dos logs utilizados para solução de problemas.
-
Permite personalizar parâmetros para análise de texto.
A análise de texto do Simple Log Service simplifica a integração de logs e a detecção de anomalias. Basta configurar os objetos monitorados e alguns parâmetros de algoritmo. O algoritmo detecta anomalias automaticamente, permitindo que você se concentre no conteúdo importante.
Introdução ao recurso
A análise de texto extrai conteúdo textual dos logs por meio de consumer groups, sem necessidade de índices. Os jobs recuperam dados e os inserem no modelo de análise de texto conforme um agendamento configurado. O modelo grava os resultados no Logstore de destino (internal-ml-log) e os exibe em um painel.
-
Configurar objetos de monitoramento: especifique os campos de log a serem analisados (os valores dos campos devem ser conteúdo textual), configure os parâmetros de algoritmo conforme necessário e inicie a tarefa. A configuração de campos baseada em consumer groups não exige índices.
-
Análise de dados agendada: os algoritmos da análise de texto processam dados utilizando janelas de tempo.
-
Saída de resultados: os resultados da análise são gravados no Logstore de destino e um painel é gerado para visualização.
Termos
|
Termo |
Descrição |
|
Job |
Um job de análise de texto inclui características de dados e parâmetros do modelo de algoritmo. |
|
Instância |
Um job de análise de texto cria uma instância com base na configuração do job. A instância extrai dados em intervalos regulares, executa o modelo de algoritmo e distribui os resultados.
Para obter informações sobre como diferentes operações afetam o agendamento e a execução de instâncias, consulte Agendamento e execução. |
|
ID da instância |
Cada instância é identificada por um ID exclusivo. |
|
Hora de criação |
O momento em que uma instância é criada. Normalmente, as instâncias são criadas com base nas regras de agendamento do job. Se dados históricos precisarem ser processados ou uma instância anterior tiver atingido o tempo limite, uma instância é criada imediatamente. |
|
Hora de execução |
O momento em que uma instância começa a ser executada. Se o job for repetido, esse valor reflete a hora de início mais recente. |
|
Hora de término |
O momento em que uma instância para de ser executada. Se o job for repetido, esse valor reflete a hora de término mais recente. |
|
Status |
O estado atual de uma instância. Valores válidos:
|
Casos de uso de agendamento e execução
Cada job pode criar uma ou mais instâncias, mas apenas uma instância é executada por vez. A seguir estão os casos de uso comuns de agendamento e execução:
-
Início imediato: iniciar um job de análise de texto imediatamente significa que o modelo de algoritmo não pode acessar dados históricos. Ele é treinado com os dados das janelas de tempo de inicialização configuradas, suprimindo anomalias, e então é atualizado dinamicamente com novos dados.
-
Parâmetros de agendamento modificados: quando você altera as regras de agendamento de um job, uma nova instância é gerada com base nas configurações atualizadas. O modelo continua a partir do último ponto analisado, processando novos dados.
-
Nova tentativa em caso de falha: se uma instância falhar devido a problemas como erros de permissão, Logstores indisponíveis ou problemas de configuração, o Simple Log Service realiza novas tentativas automaticamente. Se uma instância permanecer no estado STARTING, isso indica uma falha de configuração, e um log de erro é criado. Verifique a configuração e tente novamente. O status da instância é atualizado para SUCCEEDED ou FAILED com base no resultado da nova tentativa.
Observações de uso
Para melhorar a eficiência da análise de texto:
-
Especifique apenas os campos de texto que deseja analisar. A inclusão de campos redundantes pode reduzir a eficácia e a velocidade da análise.
-
Revise os dados de séries temporais dos objetos monitorados para verificar a estabilidade e a periodicidade dos dados. Isso ajuda a configurar parâmetros de algoritmo adequados.