Simple Log Service oferece um service de transformação de dados totalmente gerenciado, escalável e com alta disponibilidade para normalização, enriquecimento, encaminhamento, mascaramento e filtragem de dados.
Processo de transformação
O service de transformação de dados processa as informações em três etapas:
Leitura de dados do Logstore de source por meio de um grupo de consumidores.
Transformação de cada log conforme uma regra definida.
-
Gravação dos dados transformados no Logstore de destino.
Após a transformação, visualize os resultados no Logstore de destino.
Recursos
Simple Log Service disponibiliza recursos de transformação de dados para normalizar, enriquecer, encaminhar, mascarar e filtrar informações. A lista a seguir descreve esses recursos:
Normalização de dados: extrai campos de logs em diversos formatos e converte esses formatos. Esse processo gera dados estruturados adequados para processamento de fluxo e computação de data warehouse.
Enriquecimento de dados: associa campos de logs (como logs de pedidos) a tabelas de dimensão (como tabelas de informações de usuários). Essa associação adiciona mais dimensões aos seus logs para análise de dados.
Encaminhamento de dados: transfere logs de regiões fora da China para uma região central usando o recurso de aceleração entre regiões. Isso facilita o gerenciamento centralizado de logs globais.
Mascaramento de dados: oculta informações sensíveis nos dados, como senhas, números de telefone e endereços.
Filtragem de dados: filtra logs para obter registros de services essenciais e permitir análises focadas.
Cenários
Normalização de dados (um para um): lê dados de log de um Logstore de source, transforma esses dados e os grava em um Logstore de destino.
Distribuição de dados (um para muitos): lê dados de log de um Logstore de source, transforma esses dados e os grava em diferentes Logstores de destino.
Agregação de dados (muitos para um): lê dados de log de diferentes Logstores de source, transforma esses dados e os grava em um único Logstore de destino.
Sintaxe de processamento
A linguagem específica de domínio (DSL) do SLS oferece mais de 200 funções integradas e 400 padrões de expressão regular. Para mais informações, consulte Syntax overview.
Benefícios
Orquestra várias funções por meio da DSL do SLS, incluindo filtragem, normalização, enriquecimento, encaminhamento e mascaramento de dados.
Processa dados em tempo real, tornando-os visíveis em segundos. Oferece capacidade de computação escalável, dimensionamento elástico baseado no volume de dados e alta capacidade de throughput.
Disponibiliza funções prontas para uso em diversos cenários de análise de logs.
Integra-se com painéis em tempo real, logs de exceção e alertas.
Oferece um service totalmente gerenciado que não exige operações e manutenção (O&M). Esse service se integra aos produtos de big data da Alibaba Cloud e a ecossistemas open source.
Faturamento
Se o seu Logstore usar o modo de faturamento por dados ingeridos, o service de transformação de dados não gera taxas. No entanto, haverá cobrança de tráfego de saída se você puxar dados por um endpoint público do Simple Log Service. Essas taxas são calculadas com base no volume de dados após compressão. Para mais informações, consulte Billable items in pay-by-ingested-data mode.
Se o seu Logstore usar o modo de faturamento por recurso, serão geradas taxas porque o service de transformação de dados consome recursos de máquina e rede. Para mais informações, consulte Billable items in pay-by-feature mode.
Para reduzir custos, desative o recurso de indexação no Logstore de source e defina um período menor de retenção de dados. Para mais informações, consulte Performance guide e Cost optimization guide.