Virtual Private Cloud:VPC flow log

Console

API

Avant de créer un journal de flux, assurez-vous d'avoir activé la fonctionnalité de journal de flux et créé un projet et un Logstore dans Log Service (SLS) :

• Appelez OpenFlowLogService pour activer la fonctionnalité de journal de flux.

• Appelez CreateProject pour créer un projet, et appelez CreateLogStore pour créer un Logstore.

Une fois ces prérequis remplis, vous pouvez effectuer les opérations suivantes :

• Appelez CreateFlowLog pour créer un journal de flux, et éventuellement appelez CreateIndex pour créer un index.

• Appelez ModifyFlowLogAttribute pour modifier les attributs du journal de flux. Vous pouvez modifier le nom du journal de flux, la description, l'intervalle d'agrégation et l'abonnement personnalisé.

• Appelez DeactiveFlowLog pour arrêter un journal de flux.

• Appelez ActiveFlowLog pour démarrer un journal de flux.

• Appelez DeleteFlowLog pour supprimer un journal de flux.

Terraform

Ressources : alicloud_log_project , alicloud_log_store , alicloud_vpc_flow_log

# Specify the region where you want to create the flow log.
provider "alicloud" {
  region = "cn-hangzhou"
}

# Specify the description of the project and the names of the Logstore and flow log.
variable "name" {
  default = "vpc-flowlog-example"
}

# Generate a random string to use in the project name.
resource "random_uuid" "example" {
}

# Create a Log Service project.
resource "alicloud_log_project" "example" {
  project_name = substr("tf-example-${replace(random_uuid.example.result, "-", "")}", 0, 16)
  description  = var.name
}

# Create a Log Service Logstore.
resource "alicloud_log_store" "example" {
  project_name          = alicloud_log_project.example.project_name
  logstore_name         = var.name
  shard_count           = 3
  auto_split            = true
  max_split_shard_count = 60
  append_meta           = true
}

# Create a VPC flow log.
resource "alicloud_vpc_flow_log" "example" {
  flow_log_name        = var.name
  log_store_name       = alicloud_log_store.example.logstore_name
  description          = var.name
  traffic_path         = ["all"] # Capture traffic from all scenarios.
  project_name         = alicloud_log_project.example.project_name
  resource_type        = "VPC" # Resource type.
  resource_id          = "vpc-bp1ekmgzch0bo3hxXXXXXX" # VPC ID.
  aggregation_interval = "1" # Aggregation interval in minutes.
  traffic_type         = "All" # Capture all allowed and rejected traffic.
}

Console

API

Appelez GetLogsV2 pour interroger et analyser les journaux de flux.

Adresses IP source pour l'accès public

Dans ce scénario, vous disposez d'un serveur web accessible depuis Internet et écoutant sur le port 80. Vous avez également configuré des règles de groupe de sécurité pour contrôler l'accès depuis des adresses IP source spécifiques.

En créant un journal de flux, vous pouvez identifier les adresses IP source qui accèdent au port 80 et déterminer combien de leurs demandes sont autorisées ou rejetées par vos règles de groupe de sécurité.

1. Créer un journal de flux

   • Pour Resource Instance, sélectionnez l'ENI du serveur web.

   • Pour Data Transfer Type, sélectionnez All Traffic.

   • Pour les paramètres de livraison, sélectionnez Deliver to Log Service et activez l'option Enable Log Analysis Report.

   • Conservez les valeurs par défaut pour les autres paramètres.

2. Analyser les journaux de flux

   1. Requête et instruction d'analyse

      Filtrez le trafic vers le port 80 sur le serveur 10.0.0.1 et affichez le nombre de fois où chaque adresse IP source a été autorisée ou rejetée par le groupe de sécurité :

      dstaddr:10.0.0.1 AND dstport:80 | SELECT -- Filter for logs where the destination IP is 10.0.0.1 and the destination port is 80
      srcaddr,
      SUM(CASE WHEN action = 'ACCEPT' THEN 1 ELSE 0 END) AS accept_count, -- Count 1 for each 'ACCEPT' (allowed) action
      SUM(CASE WHEN action = 'REJECT' THEN 1 ELSE 0 END) AS reject_count -- Count 1 for each 'REJECT' (rejected) action
      FROM log
      GROUP BY srcaddr -- Group the results by source IP address
      ORDER BY accept_count + reject_count DESC -- Sort results in descending order by the total number of allowed and rejected connections

   2. Aperçu des résultats

      La colonne srcaddr répertorie les adresses IP source ayant accédé au port 80. Les colonnes accept_count et reject_count indiquent combien de fois le groupe de sécurité a autorisé ou rejeté les connexions depuis chaque adresse IP source pendant la plage de temps spécifiée :

      • Cinq adresses IP source ont accédé au port 80 : 120.26.XX.XX, 121,43.XX.XX, 154 212.XX.XX, 176,65.XX.XX et 198 235.XX.XX.

      • Toutes les demandes provenant de 120,26.XX.XX ont été autorisées, tandis que toutes les demandes provenant des autres adresses IP publiques ont été rejetées.

Trafic entre instances ECS

Paramètre	Trafic intra-VPC	Trafic inter-VPC
Diagramme
Description	Supposons que vous ayez déployé trois instances ECS dans un VPC et que ces instances communiquent entre elles. Dans ce cas, vous pouvez utiliser les journaux de flux pour analyser le débit et les tendances du trafic entre les instances ECS.	Une connexion d'appairage relie deux VPC situés dans différentes régions. Le trafic interrégional est facturé selon le modèle de paiement à l'utilisation de Cloud Data Transfer (CDT). Vous constatez une augmentation récente et inattendue de vos coûts de transfert de données interrégionaux. Dans ce cas, utilisez les journaux de flux pour identifier quelles instances ECS génèrent le plus de trafic et vous aider à optimiser les coûts.
Configuration du journal de flux	Pour Resource Instance, sélectionnez l'ENI de ECS1. Pour Analysis and Delivery, sélectionnez Deliver to Log Service et activez l'option Enable Log Analysis Report. Conservez les valeurs par défaut pour les autres paramètres.	Pour Resource Instance, sélectionnez le VPC VPC1. Pour Analysis and Delivery, sélectionnez Deliver to Log Service et activez l'option Enable Log Analysis Report. Conservez les valeurs par défaut pour les autres paramètres.
Requête et instruction d'analyse	Interrogez les tendances de débit du trafic entre ECS1 et les autres instances ECS : (srcaddr:10.0.0.1 AND dstaddr:10.0.0.*) OR (srcaddr:10.0.0.* AND dstaddr:10.0.0.1 ) | select -- Filter for traffic trends between ECS1 and other ECS instances date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Convert the Unix timestamp to a readable time format concat(srcaddr,'->', dstaddr) as src_to_dst, -- Create a session pair in the format 'source_ip->destination_ip' sum(bytes*8/60) as bandwidth -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window group by time,srcaddr,dstaddr -- Group results by time, source IP, and destination IP order by time asc -- Sort by time in ascending order limit 100 -- Return the first 100 results	Interrogez les tendances de débit du trafic de session entre les deux VPC : (srcaddr:10.0.* AND dstaddr:172.16.*) OR (srcaddr:172.16.* AND dstaddr:10.0.*) | select -- Filter for sessions between the two VPCs date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- Convert the Unix timestamp to a readable time format concat(srcaddr,'->', dstaddr) as src_to_dst, -- Create a session pair in the format 'source_ip->destination_ip' sum(bytes*8/60) as bandwidth -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window group by time,srcaddr,dstaddr -- Group results by time, source IP, and destination IP order by time asc -- Sort by time in ascending order limit 100 -- Return the first 100 results
Aperçu des résultats	Sur la page des résultats de requête et d'analyse, sélectionnez l'onglet Graph et définissez le type de graphique sur Area Chart. Définissez le champ de l'axe des x sur time, le champ de l'axe des y sur bandwidth et la colonne d'agrégation sur src_to_dst. Définissez l'unité de format sur bps,Kbps,Mbps(bit). Le débit du trafic de 10.0.0.1 vers 10.0.0.2 est le plus élevé, atteignant environ 1,4 Mbps. Le débit de 10.0.0.1 vers 10.0.0.3 est le deuxième plus élevé, avec environ 700 Kbps. Le reste du trafic est minimal.	La configuration de visualisation est identique à celle du scénario intra-VPC. Sélectionnez le type Area Chart et définissez la colonne d'agrégation sur src_to_dst. Le trafic de 10.0.0.1 vers 172.16.0.1 atteint un pic d'environ 6 Mbps.

Trafic de la passerelle NAT Internet

Dans ce scénario, vous disposez de plusieurs instances ECS déployées dans la même région et le même vSwitch. Ces instances utilisent la fonctionnalité SNAT d'une passerelle NAT Internet pour accéder à Internet.

Vous constatez une augmentation récente du trafic de la passerelle NAT Internet vers Internet, ce qui ralentit les réponses du serveur. Vous pouvez utiliser les journaux de flux pour identifier les instances ECS responsables de la majeure partie de ce trafic.

1. Créer un journal de flux

   • Pour Resource Instance, sélectionnez vSwitch 2, le vSwitch où se trouve la passerelle NAT Internet.

   • Dans les paramètres de livraison, choisissez Deliver to Log Service et activez l'option Enable Log Analysis Report.

   • Conservez les valeurs par défaut pour les autres paramètres.

2. Filtrer des chemins de trafic spécifiques

   Pour filtrer le trafic sur des chemins spécifiques dans ce scénario, vous devez spécifier différentes conditions dans votre instruction de requête :

   Schéma	Numéro	Méthode de filtrage
   	①	Filtrez le trafic d'une instance ECS vers la passerelle NAT : le champ direction est défini sur in et le champ srcaddr correspond à l'adresse IP privée de l'instance ECS.
   	②	Filtrez le trafic de la passerelle NAT vers Internet : le champ direction est défini sur out et le champ srcaddr correspond à l'adresse IP privée de la passerelle NAT.
   	③	Filtrez le trafic d'Internet vers la passerelle NAT : le champ direction est défini sur in et le champ dstaddr correspond à l'adresse IP privée de la passerelle NAT.
   	④	Filtrez le trafic de la passerelle NAT vers une instance ECS : le champ direction est défini sur out et le champ dstaddr correspond à l'adresse IP privée de l'instance ECS.

3. Analyser les journaux de flux

   1. Instruction de requête et d'analyse

      Sur le chemin allant d'une instance ECS à la passerelle NAT, analysez le trafic vers une adresse IP publique spécifique :

      direction: 'in' and srcaddr: 10.0.0.* and dstaddr: 120.26.XX.XX | select -- Filter for logs of ECS instances accessing a specific public IP address
      date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, srcaddr,  -- Convert the Unix timestamp to a readable time format
      sum(bytes*8/60) as bandwidth  -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window
      group by time,srcaddr -- Group results by time and source IP
      order by time asc  -- Sort by time in ascending order
      limit 100 -- Return the first 100 results

      Autres requêtes courantes

      • Sur le chemin allant de la passerelle NAT à une instance ECS, filtrez le trafic entrant provenant d'une adresse IP publique spécifique vers toutes les instances ECS :

        direction: 'out' and dstaddr: 10.0.0.* and srcaddr: 120.26.XX.XX | select -- Filter for logs of ECS instances accessing a specific public IP address
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,   -- Convert the Unix timestamp to a readable time format
        dstaddr,
        sum(bytes*8/60) as bandwidth  -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window
        group by time,dstaddr -- Group results by time and destination IP
        order by time asc  -- Sort by time in ascending order
        limit 100 -- Return the first 100 results

      • Sur le chemin allant d'une instance ECS à la passerelle NAT, filtrez le trafic sortant de l'instance ECS vers toutes les adresses IP publiques :

        direction: 'in' and srcaddr: 10.0.0.*  | select -- Filter for logs of ECS instances accessing all public IP addresses
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,  -- Convert the Unix timestamp to a readable time format
        concat(srcaddr,'->', dstaddr), -- Create a session pair in the format 'source_ip->destination_ip'
        sum(bytes*8/60) as bandwidth  -- Calculate bandwidth in bit/s by converting bytes to bits and dividing by the 60-second capture window
        group by time,srcaddr,dstaddr -- Group results by time, source IP, and destination IP
        order by time asc  -- Sort by time in ascending order
        limit 100 -- Return the first 100 results

   2. Aperçu des résultats

      La configuration de visualisation est similaire au scénario de trafic ECS. Sélectionnez le type Area Chart et définissez la colonne d'agrégation sur srcaddr.

      Sur le chemin allant des instances ECS à la passerelle NAT, le débit du trafic de 10.0.0.1 (ECS1) vers l'adresse IP publique 120.26.XX.XX est le plus élevé, soit environ 12 Kbit/s.

Répartition du trafic Express Connect

Dans ce scénario, une entreprise utilise deux VPC dans une région Alibaba Cloud pour déployer différents services. L'entreprise connecte son centre de données local à Alibaba Cloud via un circuit Express Connect et CEN.

Le service informatique souhaite utiliser les journaux de flux pour surveiller et analyser la manière dont le trafic des différents services dans les VPC utilise les ressources du circuit Express Connect. Cette analyse facilite la planification des ressources réseau et l'amélioration des performances.

1. Créer des journaux de flux

   Créez deux journaux de flux qui envoient les données vers le même Logstore. Configurez les paramètres clés de chaque journal de flux comme suit :

   • Pour Resource Instance, sélectionnez VPC puis choisissez respectivement VPC1 et VPC2.

   • Pour Sampling Path, sélectionnez Transit Router.

   • Dans les paramètres de livraison, choisissez Deliver to Log Service, sélectionnez le même Logstore pour les deux journaux de flux et activez l'option Enable Log Analysis Report.

   • Conservez les valeurs par défaut pour les autres paramètres.

2. Analyser les journaux de flux

   1. Instruction de requête et d'analyse

      Analysez le pourcentage de trafic de chaque VPC vers le centre de données local :

      action: ACCEPT and srcaddr: 192.168.* and dstaddr:10.1.* | 
      WITH 
          vpc1_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc1_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.20.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          ),
          vpc2_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc2_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.10.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          )
      SELECT 
          COALESCE(vpc1_traffic.minute, vpc2_traffic.minute) AS minute,
          (COALESCE(vpc1_traffic.total_vpc1_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc1_percentage, 
          (COALESCE(vpc2_traffic.total_vpc2_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc2_percentage
      FROM vpc1_traffic FULL OUTER JOIN vpc2_traffic ON vpc1_traffic.minute = vpc2_traffic.minute 
      ORDER BY minute

      Les explications détaillées de l'instruction SQL sont fournies ci-dessous.

      • Conditions de filtrage :

        • srcaddr: 192.168.* filtre les journaux dont l'adresse source commence par 192.168..

        • dstaddr: 10.1.* filtre les journaux dont l'adresse de destination commence par 10.1..

        • action : ACCEPT. Filtre les journaux dont le champ action est défini sur ACCEPT.

      • Requête principale

        • Utilise FULL OUTER JOIN pour combiner les résultats de vpc1_traffic et de vpc2_traffic en fonction du champ minute.

        • Calcule le pourcentage de trafic de chaque VPC pour chaque minute :

          • vpc1_percentage représente le pourcentage du trafic total provenant de VPC1.

          • vpc2_percentage représente le pourcentage du trafic total provenant de VPC2.

        • Les résultats de la requête sont triés par ordre croissant selon le champ minute.

      • Sous-requêtes WITH :

        L'instruction SQL contient deux sous-requêtes, vpc1_traffic et vpc2_traffic. Voici une explication de la sous-requête vpc1_traffic :

        • La fonction date_trunc tronque l'horodatage Unix (le champ __time__) à la minute la plus proche, avec l'alias minute.

        • La fonction SUM calcule le débit total du trafic en bit/s pour chaque minute, avec l'alias total_vpc1_traffic.

        • Filtre les enregistrements de trafic dont l'adresse source se trouve dans le bloc CIDR 192.168.20.* (VPC1).

        • Regroupe les résultats par minute.

   2. Aperçu des résultats

      La configuration de visualisation est similaire au scénario de trafic ECS. Sélectionnez le type Area Chart pour afficher l'évolution du pourcentage de trafic des différents VPC au fil du temps.

      Entre 14 h 50 et 15 h 50, VPC1 a généré un pourcentage plus élevé du trafic vers le centre de données local.