O SLS oferece um serviço de transformação de dados (nova versão) totalmente gerenciado, escalável e de alta disponibilidade para normalização, extração, limpeza, filtragem e distribuição de dados entre vários Logstores.
Como funciona
A transformação de dados (nova versão) processa dados de log em tempo real por meio de jobs de consumo hospedados e regras SPL. Sintaxe SPL. Visão geral do consumo padrão.
A transformação de dados utiliza a API de consumo em tempo real do SLS e não depende da configuração de índice do Logstore de origem.
Mecanismo de agendamento
O agendador inicia uma ou mais instâncias por job para processar dados de forma simultânea. Cada instância consome dados de um ou mais shards do Logstore de origem. A quantidade de instâncias é ajustada com base no uso de recursos e no progresso do processamento para dimensionamento elástico. A simultaneidade máxima por job é igual à quantidade de shards do Logstore de origem.
Instâncias em execução
Com base nas regras SPL e nas configurações do Logstore de destino do job, cada instância consome dados de log de origem dos shards alocados e distribui e grava os resultados no Logstore de destino. As instâncias salvam automaticamente os checkpoints dos shards, de modo que um job reiniciado retoma a partir do último checkpoint.
Parar e retomar jobs
-
Parada automática: um job com horário de término configurado para após processar todos os logs anteriores a esse horário. Sem horário de término, o job é executado continuamente. ETL.
-
Processamento retomável: após uma parada inesperada, um job reiniciado retoma a partir do último checkpoint de shard salvo por padrão, o que garante a consistência dos dados.
Visualizar o status de execução do job
O SLS oferece suporte a monitoramento para jobs de transformação de dados. Observar e monitorar jobs de transformação de dados (nova versão).
Cenários
A transformação de dados oferece suporte aos seguintes cenários:
-
Normalização de dados e extração de informações: extrai campos de logs com formatos inconsistentes e normaliza os formatos para produzir dados estruturados para processamento de stream e análise em data warehouse.
-
Encaminhamento e distribuição de dados:
-
Coleta tipos de log mistos em um único Logstore e os distribui para Logstores downstream por característica (módulo de origem, componente de negócio) para isolamento de dados e computação específica por cenário.
-
Para implantações multirregião, agrega logs de cada região em uma região central com aceleração entre regiões para gerenciamento centralizado.
-
-
Limpeza e filtragem de dados: remove entradas inválidas ou campos não utilizados e grava as informações-chave filtradas em Logstores downstream para análise direcionada.
-
Mascaramento de dados: mascara dados sensíveis, como senhas, números de telefone e endereços.
Recursos
-
O SPL oferece uma linguagem unificada para coleta, consulta e processamento de dados, reduzindo a necessidade de aprender várias sintaxes.
-
A depuração linha a linha e as sugestões de código proporcionam uma experiência de codificação SPL semelhante a uma IDE.
-
Processamento em tempo real com visibilidade dos dados em segundos, dimensionamento elástico e alto throughput.
-
Instruções de processamento de dados integradas e funções SQL para análise de logs.
-
Métricas de observabilidade em tempo real, painéis e regras de monitoramento personalizadas com base em métricas de execução.
-
Totalmente gerenciado e sem necessidade de manutenção, com integrações do ecossistema de big data e código aberto da Alibaba Cloud.
Faturamento
-
Logstores com pagamento por dados ingeridos: a transformação de dados (nova versão) é gratuita. O tráfego de saída ao obter ou gravar dados pelo endpoint público do SLS é cobrado com base no volume de dados compactados. Itens faturáveis do modo de pagamento por dados ingeridos.
-
Logstores com pagamento por recurso: os recursos de computação e rede consumidos pela transformação de dados (nova versão) são cobrados. Itens faturáveis do modo de pagamento por recurso.