A transformação de dados é um recurso totalmente gerenciado do Simple Log Service (SLS) que oferece alta disponibilidade e escalabilidade. Use esse recurso para padronizar, enriquecer, transferir, mascarar e filtrar dados.
Processo de transformação
O SLS transforma dados em três etapas:
Um grupo de consumidores lê dados de um Logstore de source.
O SLS transforma cada entrada de dados com base em uma regra de transformação.
-
O SLS grava os dados transformados em um Logstore de destino.
Após a transformação, visualize os resultados no Logstore de destino.
Recursos
Padronização de dados: o SLS extrai campos de logs em diferentes formatos e converte esses formatos para gerar dados estruturados, adequados para processamento de fluxo e computação em data warehouses.
Enriquecimento de dados: o SLS associa campos de logs a tabelas de dimensões para vincular logs a informações dimensionais. Por exemplo, é possível unir campos de logs de pedidos a uma tabela de informações de usuários, facilitando a análise de dados.
Transferência de dados: com o recurso de aceleração global, o SLS transfere logs de regiões fora da China continental para uma região central. Isso permite gerencie logs globais de forma centralizada.
Mascaramento de dados: o SLS mascara informações sensíveis nos dados, como senhas, números de telefone celular e endereços.
Filtragem de dados: o SLS filtra logs para obter registros essenciais do serviço, o que auxilia em análises mais aprofundadas.
Casos de uso
Padronização de dados: leitura de dados de log de um Logstore de source, transformação e gravação em um Logstore de destino.
Transferência de dados: leitura de dados de log de um Logstore de source, transformação e gravação em vários Logstores de destino.
Agregação de múltiplas fontes: leitura de dados de log de vários Logstores de source, transformação e gravação em um único Logstore de destino.
Sintaxe de transformação
A linguagem de domínio específico (DSL) do SLS oferece mais de 200 funções integradas e mais de 400 expressões regulares. Para mais informações, consulte Visão geral da sintaxe.
Benefícios
Permite usar a DSL do SLS para orquestrar funções conforme as necessidades do seu negócio. Com essas funções orquestradas, filtre, padronize, enriqueça, transfira e mascare dados.
Processa dados em tempo real, permitindo visualizá-los em segundos. O recurso ajusta automaticamente a capacidade de computação conforme o volume de dados e oferece alto throughput.
Disponibiliza funções prontas para uso, ideais para cenários de análise de logs.
Oferece painéis em tempo real, logs de exceção e alertas.
Serviço totalmente gerenciado e livre de manutenção, integrável aos serviços de big data da Alibaba Cloud e a ecossistemas open source.
Faturamento
Se seus Logstores utilizam o modelo de faturamento por dados ingeridos, não há cobrança pela transformação de dados. No entanto, se os dados forem obtidos por meio de um endpoint público do SLS, haverá cobrança pelo tráfego de leitura pela Internet. Esse tráfego é calculado com base no tamanho dos dados após compressão. Para mais informações, consulte Itens faturáveis do modelo de pagamento por dados ingeridos.
Caso seus Logstores utilizem o modelo de faturamento por recurso, a transformação de dados será cobrada com base nos recursos de máquina e rede consumidos. Para mais informações, consulte Itens faturáveis do modelo de pagamento por recurso.
Para reduzir custos, desative o recurso de indexação nos Logstores de source e diminua o período de retenção de dados desses Logstores. Para mais informações, consulte Guia de desempenho e Guia de otimização de custos.