O Simple Log Service envia logs para sistemas de gerenciamento de informações e eventos de segurança (SIEM). Esse recurso permite importar todos os logs regulatórios, de auditoria e outros logs relacionados do Alibaba Cloud para o seu centro de operações de segurança (SOC).
Termos
SIEM: sistema de gerenciamento de informações e eventos de segurança, como Splunk ou IBM QRadar.
Splunk HEC: Splunk HTTP Event Collector, interface que recebe logs via HTTP ou HTTPS.
Sugestões de implantação
SO: Linux, como Ubuntu x64.
-
Hardware:
CPU: 2,0+ GHz × 8 núcleos.
Memória: 16 GB (recomendado: 32 GB).
Rede: controladora de interface de rede (NIC) de 1 Gbps.
Espaço em disco: mínimo de 2 GB (recomendado: 10 GB ou mais).
-
Parâmetros de rede:
A largura de banda entre o seu ambiente e o Alibaba Cloud deve superar a taxa de geração de logs. Caso contrário, o consumo dos logs não ocorrerá em tempo real. Exemplo: 1 TB de logs brutos por dia, com taxa uniforme e picos de 2x, comprimidos na proporção de 5:1, exigem aproximadamente 4 MB/s (32 Mbps).
Python: este guia utiliza Python. Para Java, consulte Consumir logs usando grupos de consumidores.
SDK do Python
Use um interpretador CPython padrão.
Instale o SLS SDK para Python: python3 -m pip instale aliyun-log-python-sdk -U.
Detalhes de uso: Guia do Usuário.
Biblioteca de consumidores
A biblioteca de consumidores é um método avançado de consumo de logs. Ela usa grupos de consumidores para abstrair e gerencie os consumidores, além de lidar automaticamente com balanceamento de carga e failover. Assim, você pode se concentrar na lógica de negócios.
Um Logstore contém múltiplos shards. A biblioteca de consumidores atribui shards aos consumidores conforme os princípios abaixo:
Cada shard é atribuído a apenas um consumidor.
Um único consumidor pode receber múltiplos shards.
Quando um novo consumidor entra em um grupo de consumidores, as atribuições de shards são rebalanceadas automaticamente. Os princípios de atribuição permanecem os mesmos e o processo é transparente para o usuário.
A biblioteca de consumidores salva checkpoints. Isso permite que os programas retomem a partir da última posição após uma falha, sem consumo duplicado.
Spark Streaming, Storm e Flink Connector são construídos sobre a biblioteca de consumidores.
Métodos de envio
Desenvolva um programa que use grupos de consumidores do SLS para consumo em tempo real e envie logs para o seu SIEM via HTTPS ou Syslog.
HTTPS: Enviar logs para um SIEM.
Syslog: Enviar logs para um SIEM via Syslog.