Ingest log data from Huawei Cloud - Security Center: Central de Documentação do Alibaba Cloud

Como funciona

Agregação de logs: O Log Tank Service (LTS) do Huawei Cloud coleta os logs do WAF e do CFW.
Exportação de dados: O LTS exporta os dados de log para o Distributed Message Service (DMS) for Kafka ou para o Object Storage Service (OBS). Esses services funcionam como pontos de retransmissão para transferência entre clouds.
Importação entre clouds: O Agentic SOC assina e extrai dados de log do DMS for Kafka (via protocolo Kafka) ou do OBS (via protocolo S3) e os ingere em uma fonte de dados especificada.
Ingestão e padronização: No Agentic SOC, uma política de ingestão aplica regras de padronização para analisar e normalizar os logs brutos antes de armazená-los no data warehouse.

Tipos de log suportados

O Agentic SOC suporta a importação dos seguintes tipos de log do Huawei Cloud:

Logs de alerta do Web Application Firewall (WAF)
Logs de alerta do Cloud Firewall (CFW)

Etapa 1: Enviar logs para o LTS

Antes de importar os logs, envie todos os logs de products de segurança do Huawei Cloud para o LTS.

Web Application Firewall

Para instruções detalhadas, consulte a documentação do Huawei Cloud: Using LTS to Record WAF Logs .

Faça login no Web Application Firewall console. No canto superior esquerdo, selecione uma região ou projeto e clique em Events no painel de navegação à esquerda.

Na aba Log Settings, clique em Connect to LTS e configure os seguintes parâmetros:

Importante

A configuração leva cerca de 10 minutos para entrar em vigor.

Parâmetro	Valor
Log Types	Logs de acesso do WAF e logs de ataque do WAF
Log Group	Selecione o grupo de logs onde deseja armazenar os logs. Clique em Create Log Group para criar um novo.
WAF Access Log Stream	Se selecionou WAF access logs, escolha um fluxo de log de acesso do WAF. Clique em Create Log Stream para criar um novo.
WAF Attack Log Stream	Se selecionou WAF attack logs, escolha um fluxo de log de ataque do WAF. Clique em Create Log Stream para criar um novo.

Cloud Firewall

Para instruções detalhadas, consulte a documentação do Huawei Cloud: Ingesting CFW Logs to LTS .

Crie um grupo de logs e um fluxo de logs.

Faça login no Cloud Log Service console. Na página Log Management, clique em Create Log Group.
Na página Create Log Group, defina Log Group Name e Log Retention Period (Days).

Nota
Recomendamos adicionar o sufixo -cfw ao nome do grupo de logs (por exemplo, mylog-cfw) para facilitar a identificação.
Após criar o grupo de logs, localize-o na lista e clique em Create Log Stream sob o ícone .

Na página Create Log Stream, defina Log Stream Name e Log Storage Duration (Days).

Nota

Utilize sufixos como -attack, -access e -flow para logs de eventos de ataque, logs de controle de acesso e logs de tráfego, respectivamente.

O CFW suporta três tipos de fluxo de logs:

Tipo de log	Descrição
Attack logs	Registra alertas de ataque, incluindo tipo de evento, regra de proteção, ação, tupla-5, payload de ataque e outros detalhes.
Access logs	Registra tráfego correspondente a políticas de ACL, incluindo horário de ocorrência, tupla-5, ação de resposta, regra de controle de acesso e outros detalhes.
Traffic logs	Registra todo o tráfego que passa pelo Cloud Firewall, incluindo hora de início, hora de término, tupla-5, contagem de bytes, contagem de pacotes e outros detalhes.

Configure a sincronização do LTS.
1. Faça login no Cloud Firewall console. No canto superior esquerdo, selecione a região e a instância do firewall e escolha Log Audit > Log Management no painel de navegação à esquerda.
2. Na página Log Management, clique em Configure LTS Synchronization. Defina Log Group e Log Source como o grupo de logs e o fluxo de logs criados anteriormente.

Etapa 2: Escolher um método de importação

Há dois métodos disponíveis para importar logs do LTS do Huawei Cloud para o Security Center. Escolha com base nos seus requisitos de tempo real, restrições de custo e complexidade de configuração.

Aspecto	Kafka (DMS)	OBS
Desempenho em tempo real	Quase em tempo real (é possível configurar transferência em tempo real)	Latência no nível de minutos
Complexidade de configuração	Mais alta. Exige configuração de instância Kafka, Elastic IP Addresses (EIPs), grupos de segurança, entre outros.	Mais baixa. Requer apenas a configuração de uma tarefa de transferência.
Custo (Huawei Cloud)	Instância Kafka, EIP e tráfego, Log Service	Armazenamento OBS, Log Service
Custo (Alibaba Cloud)	Tráfego de ingestão de logs do Agentic SOC	Tráfego de ingestão de logs do Agentic SOC
Mais indicado para	Cenários que exigem análise de logs quase em tempo real, como computação de segurança baseada em stream ou resposta rápida a alertas	Cenários onde o tempo real não é crítico, com foco em custo-benefício, arquivamento de logs ou análise offline em lote

Etapa 3: Configurar a importação de dados

Siga as instruções correspondentes ao método de importação escolhido.

Import data using Kafka (DMS)

Preparar o canal de dados Kafka no Huawei Cloud

Configurar uma instância Kafka

Crie uma instância Kafka.

Acesse a página Buy Kafka Instance Buy Kafka Instance page. Na aba Quick Config, conclua as configurações básicas e de rede, incluindo especificações da instância e Virtual Private Cloud (VPC).

Na área Access Mode, selecione Public Network Access e configure os seguintes parâmetros:

Parâmetro	Valor
Public Network Access	Selecione Ciphertext Access.
Public IP Addresses	Selecione um Elastic IP Address (EIP) acessível. Se não houver EIPs suficientes, clique em Create Elastic IP para acessar a página de compra de EIP. Para mais informações, consulte a documentação do Huawei Cloud: Applying for an EIP. Após a compra, clique no ícone ao lado de Elastic IP Address e selecione os EIPs recém-adquiridos na lista suspensa.
Kafka Security Protocol	SASL_SSL: usa SASL para autenticação e certificados SSL para criptografia de dados. SASL_PLAINTEXT: usa SASL para autenticação e transmite dados em texto simples para melhor desempenho.
SASL PLAIN Mechanism	Se definir Kafka Security Protocol como SASL_PLAINTEXT, selecione CRAM-SHA-512.
Username / Password	As credenciais que o cliente usa para se conectar à instância Kafka. O nome de usuário não pode ser alterado após ativar o acesso criptografado.

Importante

Adquira pelo menos três EIPs. Salve o nome de usuário e a senha — você precisará deles posteriormente para conceder acesso do Security Center ao Kafka.

Para mais informações, consulte a documentação do Huawei Cloud: Buying a Kafka Instance .

Crie um tópico.
1. Acesse a página Huawei Cloud - Kafka Management. No canto superior esquerdo, selecione a região onde sua instância Kafka está localizada.
2. No painel de navegação à esquerda, clique em Kafka Instances. Clique no nome da instância desejada para abrir sua página de detalhes e clique em Topic Management.
3. Clique em Create Topic e configure os parâmetros. As configurações padrão atendem à maioria dos casos de uso.
Para mais informações, consulte a documentação do Huawei Cloud: Topic Parameter Description .

Configure regras de grupo de segurança. Após ativar o acesso público, configure regras de grupo de segurança para permitir conexões com o Kafka.

Na página de detalhes da instância Kafka, clique em Overview no painel de navegação à esquerda. Na seção Network, clique no ícone ao lado de Security Group.

Na página de configuração de política, acesse a aba Inbound Rules, clique em Add Rule e defina o seguinte:

Campo	Valor
Policy	Allow
Type	IPv4
Protocol	Custom TCP
Port	9095
Source	0.0.0.0/0

Anote os parâmetros de conexão do Kafka. Na página Overview da instância Kafka, registre o Address (Public Network, Ciphertext), o Security Protocol ativado e o SASL PLAIN Mechanism. Você precisará dessas informações ao conectar o Security Center ao Kafka.

Por exemplo, o Security Protocol ativado é SASL_SSL e o SASL Authentication Mechanism ativado é SCRAM-SHA-512. Você também pode clicar em Download ao lado de SSL Certificate para obter o arquivo de certificado.

Criar uma tarefa de transferência do LTS para o Kafka

Para instruções detalhadas, consulte a documentação do Huawei Cloud: Transferring Logs to DMS Transferring Log Data to DMS .

Faça login no Log Service console. No painel de navegação à esquerda, clique em Log Transfer e clique em Configure Log Transfer no canto superior direito.

Defina os seguintes parâmetros de transferência:

Parâmetro	Valor
Transfer Mode	Periodic transfer
Transfer Destination	DMS
Log Group Name / Log Stream Name	O grupo de logs e o fluxo configurados na Etapa 1 (por exemplo, logs de ataque do WAF)
Kafka Instance	A instância Kafka configurada
Topic	O tópico criado
Transfer Interval	Real-time
Format	Raw Log Format ou JSON

Configurar a importação de logs Kafka no Alibaba Cloud

Conceder acesso do Security Center ao Kafka

Acesse Security Center consoleSecurity Center console > Agentic SOC > Integration Center. No canto superior esquerdo, selecione a região dos seus ativos: Chinese Mainland ou Outside Chinese Mainland.

Na aba Multi-cloud Configuration Management, selecione Multi-cloud Assets, clique em Grant Permission e selecione IDC na lista suspensa. No painel exibido, defina o seguinte:

Parâmetro	Valor
Vendor	Apache
Connection Type	Kafka
Endpoint	O IPv4 Encrypted Public Endpoint do Kafka registrado no Huawei Cloud
Username / Password	As credenciais do Kafka configuradas no Huawei Cloud
Communication Protocol	O protocolo de segurança ativado no Huawei Cloud
SASL Authentication Mechanism	O SASL PLAIN Mechanism configurado no Huawei Cloud

Em Configure synchronization policy, defina AK Service Status Check como o intervalo em que o Security Center verifica a validade da chave de acesso do Huawei Cloud. Selecione Disable para desativar essa verificação.

Criar uma tarefa de importação de dados

Crie uma fonte de dados para os dados de log do Huawei Cloud. Pule esta etapa se já tiver criado uma.

Acesse Security Center console > Agentic SOC > Integration Center. No canto superior esquerdo, selecione a região dos seus ativos.

Na aba Data Source, crie uma fonte de dados para os logs do Huawei Cloud. Para instruções, consulte Create a data source: Logs are not ingested into Simple Log Service (SLS).

Parâmetro	Valor
Source Data Source Type	Selecione Agentic SOC Exclusive Data Collection Channel (recomendado) ou Custom Log Capability.
Add Instances	Crie um novo Logstore para isolar os dados.

Na aba Data Import, clique em Add Data. No painel exibido, defina o seguinte:

Parâmetro	Valor
Endpoint	O IPv4 Encrypted Public Endpoint do Kafka
Topics	O topic criado no Huawei Cloud
Value Type	Consulte o mapeamento abaixo

Formato de transferência	Tipo de valor
Formato JSON	json
Raw Log Format	text

Em Configure the destination data source, defina o seguinte:
- Data Source Name: Selecione a fonte de dados criada.
- Destination Logstore: Os Logstores sob a fonte de dados selecionada são carregados automaticamente.
Clique em OK. O Security Center começa a extrair logs do Huawei Cloud automaticamente.

Import data using OBS

Preparar dados do OBS no Huawei Cloud

Configurar o LTS para transferir logs para o OBS

Crie uma tarefa de transferência.

Faça login no . No painel de navegação à esquerda, clique em Log Transfer e clique em Configure Log Transfer no canto superior direito.

Defina os seguintes parâmetros de transferência:

Parâmetro	Valor
Transfer Mode	Periodic transfer
Transfer Destination	OBS Bucket
Log Group Name / Log Stream Name	O grupo de logs e o fluxo configurados na Etapa 1 (por exemplo, fluxo de log de acesso do WAF)
OBS Bucket	Selecione um bucket OBS existente ou crie um novo na página Huawei Cloud - Bucket List
Custom Log Transfer Path	Ativado: defina um caminho personalizado no formato `/LogTanks/RegionName/%GroupName/%StreamName/<custom_transfer_path>` (padrão: `lts/%Y/%m/%d`). Desativado: os logs vão para o caminho padrão `LogTanks/RegionName/2019/01/01/<Log_Group>/<Log_Stream>/<log_file_name>`.
Compression Format	`uncompressed`, `gzip` ou `zip`

Nota

O LTS pode transferir logs para buckets OBS que usam a classe de armazenamento Standard ou Restored Archive.

Aviso

O Security Center não suporta a análise de arquivos de log compactados no formato snappy.

Para instruções detalhadas, consulte a documentação do Huawei Cloud: Transferring Logs to OBS .

Obtenha o endpoint do bucket OBS.
1. Acesse a página Huawei Cloud Bucket List. Localize o bucket OBS configurado para transferência de logs do LTS e abra sua página de detalhes. No painel de navegação à esquerda, clique em Overview.
2. Na área Domain Name, anote o Endpoint. O formato é obs.${region}.myhuaweicloud.com.

Criar uma chave de acesso

Acesse a página Huawei Cloud - My Credentials. No painel de navegação à esquerda, clique em Access Keys.
Clique em Create Access Key. Clique em Download CSV File ou copie o Access Key ID e a Secret Access Key para um arquivo local para guarda segura. Para mais informações, consulte Access Key Access Key s.

Configurar a importação de logs OBS no Alibaba Cloud

Conceder acesso do Security Center ao OBS do Huawei Cloud

Acesse Security Center console > Agentic SOC > Integration Center. No canto superior esquerdo, selecione a região dos seus ativos: Chinese Mainland ou Outside Chinese Mainland.

Na aba Multi-cloud Configuration Management, selecione Multi-cloud Assets, clique em Grant Permission e selecione IDC na lista suspensa. No painel exibido, defina o seguinte:

Parâmetro	Valor
Vendor	AWS-S3
Connection Type	S3
Endpoint	O endpoint do bucket OBS (formato: `obs.${region}.myhuaweicloud.com`)
Access Key ID / Secret Access Key	A chave de acesso criada no Huawei Cloud

Em Configure synchronization policy, defina AK Service Status Check como o intervalo em que o Security Center verifica a validade da chave de acesso do Huawei Cloud. Selecione Disable para desativar essa verificação.

Criar uma tarefa de importação de dados

Acesse Security Center console > Agentic SOC > Integration Center. No canto superior esquerdo, selecione a região dos seus ativos: Chinese Mainland ou Outside Chinese Mainland.

Na aba Data Import, clique em Add Data. No painel exibido, defina o seguinte:

Parâmetro	Valor
Endpoint	O endpoint do bucket OBS
OBS Bucket	O bucket OBS para onde o LTS transfere os logs
File Path Prefix Filter	Filtre arquivos S3 por prefixo de caminho para identificar precisamente os arquivos a importar. Por exemplo, se todos os arquivos a importar estiverem no diretório `csv/`, defina o prefixo como `csv/`. Para detalhes sobre o caminho do arquivo, consulte o caminho de transferência personalizado configurado anteriormente.
File Path Regex Filter	Filtre arquivos usando uma expressão regular para identificar precisamente os arquivos a importar. O valor padrão é vazio, o que significa que nenhum filtro é aplicado. Por exemplo, se o arquivo S3 for `testdata/csv/bill.csv`, defina a expressão regular como `(testdata/csv/)(.)`. Nota* Recomendamos usar este parâmetro junto com File Path Prefix Filter para melhorar a eficiência. Este parâmetro e File Path Prefix Filter são combinados com um operador AND. Para informações sobre como ajustar a expressão regular, consulte Adjust a regular expression.
Compression Format	Selecione o formato de compactação correspondente à sua configuração de transferência do OBS. A detecção automática também é suportada.

Nota

Recomendamos fortemente definir File Path Prefix Filter. Se você não definir esse parâmetro, o sistema percorrerá todo o bucket S3. Quando o bucket contém muitos arquivos, uma varredura completa desacelera significativamente a importação.

Em Configure the destination data source, defina o seguinte:
- Data Source Name: Selecione uma fonte de dados personalizada com status normal (Custom Log Capability ou Agentic SOC Dedicated Data Collection Channel). Se nenhuma fonte adequada estiver disponível, crie uma. Para instruções, consulte Data sources.
- Destination Logstore: Os Logstores sob a fonte de dados selecionada são carregados automaticamente.
Clique em OK. O Security Center começa a extrair logs do Huawei Cloud automaticamente.

Etapa 4: Analisar os dados importados

Após a ingestão dos dados, configure regras de análise e detecção.

Crie uma política de ingestão. Siga as instruções em Connect products to Agentic SOC 2.0 para criar uma política de ingestão com as seguintes configurações:

Parâmetro	Valor
Data Source	Selecione a fonte de dados de destino configurada na tarefa de importação de dados.
Standardized Rule	Selecione entre as regras de padronização integradas para products do Huawei Cloud.
Standardization Method	Para logs de alerta, isso é definido como Real-time Consumption por padrão e não pode ser alterado.

Configure regras de detecção de ameaças. Ative ou crie regras de detecção de logs no gerenciamento de regras para analisar logs, gerar alertas e criar eventos de segurança. Para instruções, consulte Configure threat detection rules.

As regras de padronização integradas incluem regras predefinidas, como WAF Alert Log Standardization Rule e Cloud Firewall Alert Log Standardization Rule. Filtre por fornecedor na lista de regras de padronização para visualizar e selecionar as regras aplicáveis.

Faturamento

Esta solução gera custos em ambas as plataformas de cloud. Revise a documentação de faturamento de cada product antes de prosseguir.

Custos do Huawei Cloud (transferência e armazenamento de dados):

Service	Itens faturáveis	Documentação de faturamento
LTS	Armazenamento de logs, operações de leitura/gravação, entre outros	Huawei Cloud LTS - Billing overview
DMS for Kafka	Especificações da instância, tráfego de rede pública, entre outros	Huawei Cloud Kafka - Billing overview
OBS	Capacidade de armazenamento, número de solicitações, tráfego de rede pública, entre outros	Huawei Cloud OBS - Billing overview

Custos do Alibaba Cloud (dependem do método de armazenamento de dados escolhido):

Para faturamento do Agentic SOC, consulte Billing details e Pay-as-you-go billing for Threat Analysis and Response . Para faturamento do Simple Log Service (SLS), consulte SLS billing overview .

Tipo de fonte de dados	Itens faturáveis do Agentic SOC	Itens faturáveis do SLS	Observações
Agentic SOC Dedicated Collection Channel	Taxa de ingestão de logs + taxas de armazenamento e gravação de logs (ambos consomem Log Ingestion Traffic)	Taxas para itens além de armazenamento e gravação de logs (como tráfego de rede pública)	O Agentic SOC cria e gerencia os recursos do SLS. As taxas de armazenamento e gravação de logs são faturadas através do Agentic SOC.
User Log Service	Taxa de ingestão de logs (consome Log Ingestion Traffic)	Todas as taxas relacionadas a logs (armazenamento, gravações, tráfego de rede pública, entre outros)	Todos os recursos de log são gerenciados pelo SLS. Todas as taxas relacionadas a logs são faturadas através do SLS.

Perguntas frequentes

Nenhum dado de log aparece no SLS após criar uma tarefa de importação de dados

Verifique nesta ordem:

Lado do Huawei Cloud: Faça login no console do Huawei Cloud e confirme se os logs estão sendo gerados e entregues ao fluxo de logs do LTS, tópico Kafka ou bucket OBS configurado.
Credenciais: No Security Center, acesse a página Multi-cloud Assets e confirme se o status de autorização está normal e se a chave de acesso é válida.
Conectividade de rede (apenas método Kafka): Confirme se o acesso público está ativado para o service Kafka e se as regras do grupo de segurança permitem tráfego de entrada dos endereços IP de service do Security Center.
Data import task: Acesse a página Data Import no Security Center para revisar o status da tarefa e os logs de erro e faça as correções necessárias.

Por que selecionar Apache ou AWS-S3 em vez de Huawei Cloud ao conceder permissão?

O recurso de importação de logs usa interfaces padrão compatíveis com protocolos, em vez de APIs específicas do fornecedor.

IDC é o valor na lista suspensa que representa o fornecedor do protocolo. Apache representa o protocolo Kafka e AWS-S3 representa o protocolo de armazenamento de objetos compatível com S3.
Autorizar o Huawei Cloud como fornecedor permite que o Agentic SOC coordene respostas a eventos de segurança com o Huawei Cloud — como bloquear um endereço IP usando threat detection rules — mas não habilita a importação de logs.