Virtual Private Cloud:VPC flow log

console

API

Antes de criar um log de fluxo, certifique-se de ter ativado o recurso de log de fluxo e criado um projeto e Logstore no Log Service (SLS):

• Chame OpenFlowLogService para ativar o recurso de log de fluxo.

• Chame CreateProject para criar um projeto e chame CreateLogStore para criar um Logstore.

Após atender a esses pré-requisitos, você pode executar as seguintes operações:

• Chame CreateFlowLog para criar um log de fluxo e, opcionalmente, chame CreateIndex para criar um índice.

• Chame ModifyFlowLogAttribute para modificar atributos do log de fluxo. Você pode modificar o nome, a descrição, o intervalo de agregação e a assinatura personalizada do log de fluxo.

• Chame DeactiveFlowLog para parar um log de fluxo.

• Chame ActiveFlowLog para iniciar um log de fluxo.

• Chame DeleteFlowLog para excluir um log de fluxo.

Terraform

Recursos: alicloud_log_project , alicloud_log_store , alicloud_vpc_flow_log

# Specify the region where you want to create the flow log.
provider "alicloud" {
  region = "cn-hangzhou"
}

# Specify the description of the project and the names of the Logstore and flow log.
variable "name" {
  default = "vpc-flowlog-example"
}

# Generate a random string to use in the project name.
resource "random_uuid" "example" {
}

# Create a Log Service project.
resource "alicloud_log_project" "example" {
  project_name = substr("tf-example-${replace(random_uuid.example.result, "-", "")}", 0, 16)
  description  = var.name
}

# Create a Log Service Logstore.
resource "alicloud_log_store" "example" {
  project_name          = alicloud_log_project.example.project_name
  logstore_name         = var.name
  shard_count           = 3
  auto_split            = true
  max_split_shard_count = 60
  append_meta           = true
}

# Create a VPC flow log.
resource "alicloud_vpc_flow_log" "example" {
  flow_log_name        = var.name
  log_store_name       = alicloud_log_store.example.logstore_name
  description          = var.name
  traffic_path         = ["all"] # Capture traffic from all scenarios.
  project_name         = alicloud_log_project.example.project_name
  resource_type        = "VPC" # Resource type.
  resource_id          = "vpc-bp1ekmgzch0bo3hxXXXXXX" # VPC ID.
  aggregation_interval = "1" # Aggregation interval in minutes.
  traffic_type         = "All" # Capture all allowed and rejected traffic.
}

console

API

Chame GetLogsV2 para consultar e analisar logs de fluxo.

ips de origem para acesso público

Neste cenário, você tem um servidor web acessível pela Internet que escuta na porta 80. Você também configurou regras de grupo de segurança para controlar o acesso de ips de origem específicos.

Ao criar um log de fluxo, você pode identificar os ips de origem que acessam a porta 80 e determinar quantas de suas solicitações são permitidas ou rejeitadas pelas regras do grupo de segurança.

1. Criar um log de fluxo

   • Para Resource Instance, selecione a ENI do servidor web.

   • Para Data Transfer Type, selecione All Traffic.

   • Para configurações de entrega, selecione Deliver to Log Service e ative a opção Enable Log Analysis Report.

   • Mantenha os valores padrão para as outras configurações.

2. Analisar os logs de fluxo

   1. Instrução de consulta e análise

      Filtre o tráfego para a porta 80 no servidor em 10.0.0.1 e exiba o número de vezes que cada ip de origem foi permitido ou rejeitado pelo grupo de segurança:

      dstaddr:10.0.0.1 AND dstport:80 | SELECT -- Filter for logs where the destination IP is 10.0.0.1 and the destination port is 80
      srcaddr,
      SUM(CASE WHEN action = 'ACCEPT' THEN 1 ELSE 0 END) AS accept_count, -- Count 1 for each 'ACCEPT' (allowed) action
      SUM(CASE WHEN action = 'REJECT' THEN 1 ELSE 0 END) AS reject_count -- Count 1 for each 'REJECT' (rejected) action
      FROM log
      GROUP BY srcaddr -- Group the results by source IP address
      ORDER BY accept_count + reject_count DESC -- Sort results in descending order by the total number of allowed and rejected connections

   2. Visualização do resultado

      A coluna srcaddr lista os ips de origem que acessaram a porta 80. As colunas accept_count e reject_count mostram quantas vezes o grupo de segurança permitiu ou rejeitou conexões de cada ip de origem durante o intervalo de tempo especificado:

      • Cinco ips de origem acessaram a porta 80: 120,26.XX.XX, 121,43.XX.XX, 154.212.XX.XX, 176,65.XX.XX e 198.235.XX.XX.

      • Todas as solicitações de 120,26.XX.XX foram permitidas, enquanto todas as solicitações dos outros endereços ip públicos foram rejeitadas.

Tráfego entre instâncias ecs

Parâmetro	Tráfego intra-VPC	Tráfego inter-VPC
Diagrama
Descrição	Suponha que você implantou três instâncias ecs em uma VPC e as instâncias se comunicam entre si. Neste caso, você pode usar logs de fluxo para analisar a taxa e as tendências de tráfego entre as instâncias ecs.	Uma conexão de peering vincula duas VPCs em regiões diferentes. Você é cobrado pelo tráfego entre regiões usando o modelo de pagamento conforme o uso do Cloud Data Transfer (CDT). Você nota um aumento recente e inesperado nos custos de transferência de dados entre regiões. Neste caso, use logs de fluxo para identificar quais instâncias ecs geram mais tráfego e ajudar a otimizar os custos.
Configuração do log de fluxo	Para Resource Instance, selecione a ENI de ECS1. Para Analysis and Delivery, selecione Deliver to Log Service e ative a opção Enable Log Analysis Report. Mantenha os valores padrão para as outras configurações.	Para Resource Instance, selecione VPC VPC1. Para Analysis and Delivery, selecione Deliver to Log Service e ative a opção Enable Log Analysis Report. Mantenha os valores padrão para as outras configurações.
Instrução de consulta e análise	Consulte as tendências da taxa de tráfego entre ECS1 e outras instâncias ecs: (srcaddr:10.0.0.1 AND dstaddr:10.0.0.*) OR (srcaddr:10.0.0.* AND dstaddr:10.0.0.1 ) | select -- Filter for traffic trends between ECS1 and other ECS instances date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Convert the Unix timestamp to a readable time format concat(srcaddr,'->', dstaddr) as src_to_dst, -- Create a session pair in the format 'source_ip->destination_ip' sum(bytes*8/60) as bandwidth -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window group by time,srcaddr,dstaddr -- Group results by time, source IP, and destination IP order by time asc -- Sort by time in ascending order limit 100 -- Return the first 100 results	Consulte as tendências da taxa de tráfego de sessão entre as duas VPCs: (srcaddr:10.0.* AND dstaddr:172.16.*) OR (srcaddr:172.16.* AND dstaddr:10.0.*) | select -- Filter for sessions between the two VPCs date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Convert the Unix timestamp to a readable time format concat(srcaddr,'->', dstaddr) as src_to_dst, -- Create a session pair in the format 'source_ip->destination_ip' sum(bytes*8/60) as bandwidth -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window group by time,srcaddr,dstaddr -- Group results by time, source IP, and destination IP order by time asc -- Sort by time in ascending order limit 100 -- Return the first 100 results
Visualização do resultado	Na página de resultados de consulta e análise, selecione a aba Graph e defina o tipo de gráfico como Area Chart. Defina o campo do eixo x como time, o campo do eixo y como bandwidth e a coluna de agregação como src_to_dst. Defina a unidade de formato como bps,Kbps,Mbps(bit). A taxa de tráfego de 10.0.0.1 para 10.0.0.2 é a mais alta, com aproximadamente 1,4 Mbps. A taxa de 10.0.0.1 para 10.0.0.3 é a segunda mais alta, com aproximadamente 700 Kbps. O tráfego restante é mínimo.	A configuração de visualização é a mesma do cenário intra-VPC. Selecione o tipo Area Chart e defina a coluna de agregação como src_to_dst. O tráfego de 10.0.0.1 para 172.16.0.1 atinge um pico de aproximadamente 6 Mbps.

Tráfego do NAT Gateway de Internet

Neste cenário, você tem várias instâncias ecs implantadas na mesma região e vSwitch. Essas instâncias usam o recurso SNAT de um NAT Gateway de Internet para acessar a Internet.

Você nota um aumento recente no tráfego do NAT Gateway de Internet para a Internet, o que causa respostas lentas do servidor. Você pode usar logs de fluxo para identificar as instâncias ecs responsáveis pela maior parte desse tráfego.

1. Criar um log de fluxo

   • Para Resource Instance, selecione vSwitch 2, o vSwitch onde o NAT Gateway de Internet está localizado.

   • Para configurações de entrega, selecione Deliver to Log Service e ative a opção Enable Log Analysis Report.

   • Mantenha os valores padrão para as outras configurações.

2. Filtrar caminhos de tráfego específicos

   Para filtrar tráfego em caminhos específicos neste cenário, você deve especificar condições diferentes na sua instrução de consulta:

   Diagrama	Número	Método de filtro
   	①	Filtrar tráfego de uma instância ecs para o gateway NAT: o direction é in e o srcaddr é o endereço ip privado da instância ecs.
   	②	Filtrar tráfego do gateway NAT para a Internet: o direction é out e o srcaddr é o endereço ip privado do gateway NAT.
   	③	Filtrar tráfego da Internet para o gateway NAT: o direction é in e o dstaddr é o endereço ip privado do gateway NAT.
   	④	Filtrar tráfego do gateway NAT para uma instância ecs: o direction é out e o dstaddr é o endereço ip privado da instância ecs.

3. Analisar os logs de fluxo

   1. Instrução de consulta e análise

      No caminho de uma instância ecs para o gateway NAT, analise o tráfego para um endereço ip público específico:

      direction: 'in' and srcaddr: 10.0.0.* and dstaddr: 120.26.XX.XX | select -- Filter for logs of ECS instances accessing a specific public IP address
      date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, srcaddr,  -- Convert the Unix timestamp to a readable time format
      sum(bytes*8/60) as bandwidth  -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window
      group by time,srcaddr -- Group results by time and source IP
      order by time asc  -- Sort by time in ascending order
      limit 100 -- Return the first 100 results

      Outras consultas comuns

      • No caminho do gateway NAT para uma instância ecs, filtre o tráfego de entrada de um endereço ip público específico para todas as instâncias ecs:

        direction: 'out' and dstaddr: 10.0.0.* and srcaddr: 120.26.XX.XX | select -- Filter for logs of ECS instances accessing a specific public IP address
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,   -- Convert the Unix timestamp to a readable time format
        dstaddr,
        sum(bytes*8/60) as bandwidth  -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window
        group by time,dstaddr -- Group results by time and destination IP
        order by time asc  -- Sort by time in ascending order
        limit 100 -- Return the first 100 results

      • No caminho de uma instância ecs para o gateway NAT, filtre o tráfego de saída da instância ecs para todos os endereços ip públicos:

        direction: 'in' and srcaddr: 10.0.0.*  | select -- Filter for logs of ECS instances accessing all public IP addresses
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,  -- Convert the Unix timestamp to a readable time format
        concat(srcaddr,'->', dstaddr), -- Create a session pair in the format 'source_ip->destination_ip'
        sum(bytes*8/60) as bandwidth  -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window
        group by time,srcaddr,dstaddr -- Group results by time, source IP, and destination IP
        order by time asc  -- Sort by time in ascending order
        limit 100 -- Return the first 100 results

   2. Visualização do resultado

      A configuração de visualização é semelhante ao cenário de tráfego ecs. Selecione o tipo Area Chart e defina a coluna de agregação como srcaddr.

      No caminho das instâncias ecs para o gateway NAT, a taxa de tráfego de 10.0.0.1 (ECS1) para o endereço ip público 120.26.XX.XX é a mais alta, com aproximadamente 12 Kbps.

Distribuição de tráfego do Express Connect

Neste cenário, uma empresa usa duas VPCs em uma região da Alibaba Cloud para implantar serviços diferentes. A empresa conecta seu data center on-premises à Alibaba Cloud usando um circuito Express Connect e CEN.

O departamento de TI deseja usar logs de fluxo para monitorar e analisar como o tráfego de diferentes serviços nas VPCs utiliza os recursos do circuito Express Connect. Essa análise auxilia no planejamento de recursos de rede e na melhoria do desempenho.

1. Criar logs de fluxo

   Crie dois logs de fluxo que entreguem dados ao mesmo Logstore. Configure os parâmetros principais para cada log de fluxo da seguinte forma:

   • Para Resource Instance, selecione VPC e, em seguida, selecione VPC1 e VPC2 respectivamente.

   • Para Sampling Path, selecione Transit Router.

   • Para configurações de entrega, selecione Deliver to Log Service, escolha o mesmo Logstore para ambos os logs de fluxo e ative a opção Enable Log Analysis Report.

   • Mantenha os valores padrão para as outras configurações.

2. Analisar os logs de fluxo

   1. Instrução de consulta e análise

      Analise a porcentagem de tráfego de cada VPC para o data center on-premises:

      action: ACCEPT and srcaddr: 192.168.* and dstaddr:10.1.* | 
      WITH 
          vpc1_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc1_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.20.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          ),
          vpc2_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc2_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.10.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          )
      SELECT 
          COALESCE(vpc1_traffic.minute, vpc2_traffic.minute) AS minute,
          (COALESCE(vpc1_traffic.total_vpc1_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc1_percentage, 
          (COALESCE(vpc2_traffic.total_vpc2_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc2_percentage
      FROM vpc1_traffic FULL OUTER JOIN vpc2_traffic ON vpc1_traffic.minute = vpc2_traffic.minute 
      ORDER BY minute

      A seguir, uma explicação detalhada da instrução SQL.

      • Condições de filtro:

        • srcaddr: 192.168.* filtra logs onde o endereço de origem começa com 192.168..

        • dstaddr: 10.1.* filtra logs onde o endereço de destino começa com 10.1..

        • action: ACCEPT. Filtra logs onde o campo action é ACCEPT.

      • Consulta principal

        • Usa FULL OUTER JOIN para combinar os resultados de vpc1_traffic e vpc2_traffic com base no campo minute.

        • Calcula a porcentagem de tráfego de cada VPC para cada minuto:

          • vpc1_percentage representa a porcentagem do tráfego total originado da VPC1.

          • vpc2_percentage representa a porcentagem do tráfego total originado da VPC2.

        • Os resultados da consulta são classificados em ordem crescente por minute.

      • Subconsultas WITH:

        A instrução SQL contém duas subconsultas, vpc1_traffic e vpc2_traffic. A seguir, uma explicação da subconsulta vpc1_traffic:

        • A função date_trunc trunca o carimbo de data/hora Unix (o campo __time__) para o minuto mais próximo, com alias minute.

        • A função SUM calcula a taxa total de tráfego em bit/s para cada minuto, com alias total_vpc1_traffic.

        • Filtra registros de tráfego onde o endereço de origem está no bloco CIDR 192.168.20.* (VPC1).

        • Agrupa os resultados por minuto.

   2. Visualização do resultado

      A configuração de visualização é semelhante ao cenário de tráfego ecs. Selecione o tipo Area Chart para exibir as tendências de porcentagem de tráfego de diferentes VPCs ao longo do tempo.

      Durante o período das 14:50 às 15:50, a VPC1 gerou uma porcentagem maior do tráfego para o data center on-premises.