Virtual Private Cloud：VPC流日誌

控制台

API

建立流日誌前，請確保已開通流日誌功能，且已在Log Service產品中建立了Project和Logstore：

• 調用OpenFlowLogService開通流日誌功能。

• 調用CreateProject建立Project，調用CreateLogStore建立Logstore。

確保滿足上述條件後，您可以：

• 調用CreateFlowLog建立流日誌，可選調用CreateIndex建立索引。

• 調用DeactiveFlowLog停止流日誌。

• 調用ActiveFlowLog啟動流日誌。

• 調用DeleteFlowLog刪除流日誌。

Terraform

Resources: alicloud_log_project, alicloud_log_store, alicloud_vpc_flow_log

# 指定建立流日誌的地區
provider "alicloud" {
  region = "cn-hangzhou"
}

# 指定Project的描述、Logstore和流日誌的名稱
variable "name" {
  default = "vpc-flowlog-example"
}

# 產生隨機數，用於產生project名稱
resource "random_uuid" "example" {
}

# 建立Log ServiceProject
resource "alicloud_log_project" "example" {
  project_name = substr("tf-example-${replace(random_uuid.example.result, "-", "")}", 0, 16)
  description  = var.name
}

# 建立Log ServiceLogstore
resource "alicloud_log_store" "example" {
  project_name          = alicloud_log_project.example.project_name
  logstore_name         = var.name
  shard_count           = 3
  auto_split            = true
  max_split_shard_count = 60
  append_meta           = true
}

# 建立VPC流日誌
resource "alicloud_vpc_flow_log" "example" {
  flow_log_name        = var.name
  log_store_name       = alicloud_log_store.example.logstore_name
  description          = var.name
  traffic_path         = ["all"] # 採集所有情境
  project_name         = alicloud_log_project.example.project_name
  resource_type        = "VPC" # 資源類型為VPC
  resource_id          = "vpc-bp1ekmgzch0bo3hxXXXXXX" # VPC的ID
  aggregation_interval = "1" # 採集時間視窗為1分鐘
  traffic_type         = "All" # 採集全部流量，無論存取控制允許還是拒絕
}

控制台

API

調用GetLogsV2查詢分析流日誌。

分析公網訪問ECS的來源IP

如圖，假設已經建立了1台向公網開放的、監聽80連接埠的Web伺服器，並通過安全性群組限制了源IP訪問。

那麼可以通過建立流日誌，來查詢訪問80連接埠的來源IP，並統計訪問被安全性群組允許或拒絕的情況。

1. 建立流日誌

   • 資源執行個體選擇Web伺服器的彈性網卡。

   • 流量類型選擇全部流量。

   • 投遞配置選擇投遞至Log Service並開啟流日誌分析報表功能。

   • 其他選項保持預設。

2. 分析流日誌

   1. 查詢分析語句

      過濾訪問10.0.0.1:80連接埠的源IP，並顯示每個IP被安全性群組允許和拒絕的次數：

      dstaddr:10.0.0.1 AND dstport:80 | SELECT -- 過濾目的IP是10.0.0.1，目的地連接埠是80的日誌
      srcaddr,
      SUM(CASE WHEN action = 'ACCEPT' THEN 1 ELSE 0 END) AS accept_count, -- 每當ACCEPT（即被允許）時計1
      SUM(CASE WHEN action = 'REJECT' THEN 1 ELSE 0 END) AS reject_count -- 每當REJECT（即被拒絕）時計1
      FROM log
      GROUP BY srcaddr -- 按源IP地址分組
      ORDER BY accept_count + reject_count DESC -- 按照“安全性群組允許+拒絕”的總次數倒序排列

   2. 效果預覽

      

      如圖，srcaddr列顯示訪問80連接埠的源IP，accept_count和reject_count列分別統計每個源IP被安全性群組允許和拒絕的流日誌條目數，即在查詢時間內：

      • 訪問80連接埠來源IP有5個，分別為120.26.XX.XX、121.43.XX.XX、154.212.XX.XX、176.65.XX.XX、198.235.XX.XX。

      • 來自120.26.XX.XX的請求全部被允許，其他公網IP的請求全部被拒絕。

分析ECS互訪流量

(srcaddr:10.0.0.1 AND dstaddr:10.0.0.*) OR (srcaddr:10.0.0.* AND dstaddr:10.0.0.1 )  | select --過濾ECS1和其他ECS之間的流量趨勢
date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- 將Unix時間戳記轉換為可讀的時間格式
concat(srcaddr,'->', dstaddr) as src_to_dst, -- 拼接IP會話對，格式為“源ip->目的ip” 
sum(bytes*8/60) as bandwidth -- 將位元組轉換為位元，併除以採集視窗時間1分鐘 
group by time,srcaddr,dstaddr -- 根據時間、源ip、目的ip分組
order by time asc  -- 按時間升序
limit 100 -- 顯示前100條結果

(srcaddr:10.0.* AND dstaddr:172.16.*) OR (srcaddr:172.16.* AND dstaddr:10.0.*)  | select --過濾2個VPC之間的會話
date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- 將Unix時間戳記轉換為可讀的時間格式
concat(srcaddr,'->', dstaddr) as src_to_dst, -- 拼接IP會話對，格式為“源ip->目的ip” 
sum(bytes*8/60) as bandwidth -- 將位元組轉換為位元，併除以採集視窗時間1分鐘 
group by time,srcaddr,dstaddr -- 根據時間、源ip、目的ip分組
order by time asc  -- 按時間升序
limit 100 -- 顯示前100條結果

分析公網NAT流量

如圖，假設您在某地區擁有多台ECS，且都部署在同一個交換器中，這些ECS通過公網NAT Gateway的SNAT功能訪問互連網。

近期發現NAT訪問公網的流量突增，導致伺服器響應變慢，此時您可以通過流日誌，排查分析流量佔比高的ECS。

1. 建立流日誌

   • 資源執行個體選擇公網NAT Gateway所在的交換器2。

   • 投遞配置選擇投遞至Log Service並開啟流日誌分析報表功能。

   • 其他選項保持預設。

2. 過濾特定流量路徑的方法

   在本樣本情境中過濾特定路徑的流量資訊時，需要在查詢語句限定不同的條件：

   示意圖	序號	過濾方法
   	①	過濾從ECS到NAT Gateway的流量：direction為in，srcaddr為ECS私網IP地址
   	②	過濾從NAT Gateway到公網的流量：direction為out，srcaddr為NAT Gateway私網IP地址
   	③	過濾從公網到NAT Gateway的流量：direction為in，dstaddr為NAT Gateway私網IP地址
   	④	過濾從NAT Gateway到ECS的流量：direction為out，dstaddr是ECS私網IP地址

3. 分析流日誌

   1. 查詢分析語句

      在ECS到NAT Gateway的這段路徑上，分析去往特定公網IP地址的流量：

      direction: 'in' and srcaddr: 10.0.0.* and dstaddr: 120.26.XX.XX | select -- 過濾ECS訪問特定公網IP地址的日誌
      date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, srcaddr,  -- 將Unix時間戳記轉換為可讀的時間格式
      sum(bytes*8/60) as bandwidth  -- 將位元組轉換為位元，併除以採集視窗時間1分鐘
      group by time,srcaddr -- 以時間、源ip分組
      order by time asc  -- 按時間升序
      limit 100 -- 顯示前100條結果

      其他常用語句

      • 在NAT Gateway到ECS的這段路徑上，篩選某一特定公網IP到所有ECS執行個體的入流量資訊：

        direction: 'out' and dstaddr: 10.0.0.* and srcaddr: 120.26.XX.XX | select -- 過濾ECS訪問特定公網IP地址的日誌
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,   -- 將Unix時間戳記轉換為可讀的時間格式
        dstaddr,
        sum(bytes*8/60) as bandwidth  -- 將位元組轉換為位元，併除以採集視窗時間1分鐘
        group by time,dstaddr -- 以時間、目的ip分組
        order by time asc  -- 按時間升序
        limit 100 -- 顯示前100條結果

      • 在ECS到NAT Gateway的這段路徑上，篩選ECS執行個體去往所有公網IP的出流量資訊：

        direction: 'in' and srcaddr: 10.0.0.*  | select -- 過濾ECS訪問所有公網IP的日誌
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,  -- 將Unix時間戳記轉換為可讀的時間格式
        concat(srcaddr,'->', dstaddr), -- 拼接IP會話對，格式為“源ip->目的ip”
        sum(bytes*8/60) as bandwidth  -- 將位元組轉換為位元，併除以採集視窗時間1分鐘
        group by time,srcaddr,dstaddr -- 以時間、源ip分組
        order by time asc  -- 按時間升序
        limit 100 -- 顯示前100條結果

   2. 效果預覽

      

      如圖可以看到，在ECS到NAT Gateway的這段路徑上，10.0.0.1（ECS1）發送到公網IP地址120.26.XX.XX的流量速率最高，約12Kbps。

分析專線內流量佔比

如圖，某企業在阿里雲某地區使用兩個VPC部署不同業務，並通過Express Connect物理專線+雲企業網實現本地IDC接入阿里雲。

現在IT部門準備使用流日誌監控分析VPC中不同業務流量對物理專線資源的佔用情況，為網路資源規劃、改善網路效能提供指導。

1. 建立流日誌

   建立2個流日誌，集中投遞到同1個logstore，每個流日誌的關鍵配置如下：

   • 資源執行個體分別選擇專用網路VPC1和VPC2。

   • 採樣路徑選擇通過轉寄路由器（TR）的流量。

   • 投遞配置選擇投遞至Log Service，2個流日誌選擇同1個logstore，並開啟流日誌分析報表功能。

   • 其他選項保持預設。

2. 分析流日誌

   1. 查詢分析語句

      分析不同VPC流入本地IDC流量的佔比情況：

      action: ACCEPT and srcaddr: 192.168.* and dstaddr:10.1.* | 
      WITH 
          vpc1_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc1_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.20.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          ),
          vpc2_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc2_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.10.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          )
      SELECT 
          COALESCE(vpc1_traffic.minute, vpc2_traffic.minute) AS minute,
          (COALESCE(vpc1_traffic.total_vpc1_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc1_percentage, 
          (COALESCE(vpc2_traffic.total_vpc2_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc2_percentage
      FROM vpc1_traffic FULL OUTER JOIN vpc2_traffic ON vpc1_traffic.minute = vpc2_traffic.minute 
      ORDER BY minute

      單擊查看SQL語句詳細說明。

      • 過濾條件：

        • srcaddr：192.168.*，過濾源地址以192.168.*開頭的日誌。

        • dstaddr：10.1.*，過濾目的地址以10.1.*開頭的日誌。

        • action：ACCEPT，過濾action欄位取值為ACCEPT的日誌。

      • 主查詢

        • 使用FULL OUTER JOIN將vpc1_traffic和vpc2_traffic的結果根據minute欄位串連在一起。

        • 計算每分鐘內兩個VPC流量的百分比：

          • vpc1_percentage表示VPC1的流量在總流量中的佔比。

          • vpc2_percentage表示VPC2的流量在總流量中的佔比。

        • 查詢結果按minute升序排序。

      • WITH子查詢：

        SQL語句中包含vpc1_traffic和vpc2_traffic兩個子查詢，以vpc1_traffic子查詢為例進行說明：

        • 使用date_trunc函數將Unix 時間戳記（__time__欄位）的精度降低為分鐘，並命名為minute。

        • 使用SUM函數得到某一分鐘內總的流量速率，單位bit/s，並命名為total_vpc1_traffic。

        • 過濾源地址為192.168.20.*（VPC1下的網段）的流量記錄。

        • 按照分鐘進行分組。

   2. 效果預覽

      

      如圖，在14:50-15:50這段時間內，VPC1流入本地IDC的流量佔比較高。