通過查詢和分析日誌排查流量異常情況 - Cloud Firewall

通過即時查詢與分析採集的日誌資料，您可以準確把握網路活動的具體情況，並識別出流量的異常情況，從而實現安全監控的加強和安全事件響應效率的提升。本文將指導您如何運用查詢和分析語句動作記錄分析工具，並展示如何查閱和理解查詢結果。

語句說明

查詢語句和分析語句

日誌分析的語句分為查詢語句和分析語句，查詢語句和分析語句之間以豎線（|）分隔。

查詢語句|分析語句

查詢語句的文法為Log Service專有文法，查詢滿足條件的日誌資料，可以單獨使用。查詢語句可以為關鍵詞、數值、數值範圍、空格、星號（*）等；如果為空白格或星號（*），表示無過濾條件。
查詢文法根據索引配置方式可分為全文檢索查詢和欄位查詢。更多資訊，請參見查詢文法。
全文檢索查詢
指定關鍵字進行全文檢索查詢。您可以用雙引號（""）包裹關鍵字，查詢包含該關鍵字的日誌；也可以用空格或and分隔多個關鍵字，查詢包含指定關鍵字的日誌。
- 多關鍵字查詢
  搜尋包含所有www.aliyun.com和pass的日誌。
```
www.aliyun.com pass
```
  或
```
www.aliyun.com and pass
```
- 條件查詢
  搜尋所有包含www.aliyun.com，並且包含pass或者tcp的日誌。
```
www.aliyun.com and (pass or tcp)
```
- 首碼查詢
  搜尋所有包含www.aliyun.com，並且以tcp_開頭的日誌。
```
www.aliyun.com and tcp_*
```
  說明
  查詢中只支援尾碼添加*，不支援以*作為首碼（如*_not_establish）。
欄位查詢
指定欄位名稱和欄位值進行查詢。欄位查詢支援數實值型別欄位的比較查詢，格式為欄位：值或欄位 >= 值；同時，通過and、or等可進行組合查詢，並支援與全文檢索搜尋組合使用。
Cloud Firewall日誌分析支援索引的欄位，請參見支援索引的欄位。
- 查詢多欄位
  查詢指定用戶端192.XX.XX.22訪問目的地址192.XX.XX.54的訪問日誌。
```
src_ip: 192.XX.XX.22 and dst_ip: 192.XX.XX.54
```
- 查詢欄位是否存在
  - 查詢包含cloud_instance_id欄位的日誌。
    cloud_instance_id: *
  - 查詢不包含cloud_instance_id欄位的日誌。
    not cloud_instance_id: *
分析語句是對查詢結果或全量資料進行計算和統計，必須與查詢語句一起使用。如果分析語句為空白，表示只返回查詢結果，不進行分析。分析語句的文法與函數說明，請參見分析概述。

常用的查詢語句

以下為您介紹Cloud Firewall日誌的常用查詢文法和樣本。

流量大小查詢語句

查詢互連網主動向內部資產1.2.*.*發起訪問的網路記錄，並統計流入資產的流量總大小和報文總數。
```
log_type:internet_log and direction:"in" and dst_ip:1.2.*.* | select sum(in_packet_bytes) as flow, sum(in_packet_count) as packet
```

查詢NAT邊界防火牆流量，並以源IP、目的IP、目的連接埠欄位彙總，分析流入資產和流出資產的總流量大小Top 10情況。

log_type:nat_firewall_log | select src_ip, dst_ip, dst_port, sum(in_packet_bytes) as in_bytes, sum(out_packet_bytes) as out_bytes, sum(total_packet_bytes) as total_bytes group by src_ip, dst_ip, dst_port order by total_bytes desc limit 10

存取控制常見語句

查詢互連網主動向內部資產發起訪問，並且命中存取控制策略的流量日誌。
```
log_type:internet_log and direction:"in" and not acl_rule_id:00000000-0000-0000-0000-000000000000
```
其中，not acl_rule_id全為0表示命中存取控制策略，其他情況則表示未命中存取控制策略。

查詢內部資產主動向互連網發起訪問、並且命中存取控制策略被攔截的流量日誌，分析Top 10目的IP、目的連接埠的分布情況。

log_type:internet_log and direction:out and not acl_rule_id:00000000-0000-0000-0000-000000000000 and rule_result:drop | select dst_ip, dst_port, count(*) as cnt group by dst_ip, dst_port order by cnt desc limit 10

查詢內部資產主動向互連網發起訪問、目的連接埠443、報文數大於3（完成TCP 3次握手）、未識別到網域名稱資訊的流量日誌，並以目的IP段、應用欄位彙總，分析源IP、目的IP、應用的Top 10情況。

log_type:internet_log and direction:out and dst_port:443 and total_packet_count>3 and domain:""| select array_agg(distinct src_ip) as srcip, array_agg(distinct dst_ip) as dstip, slice(split(dst_ip,'.' ,4),1,3) as dstip_c, app_name, COUNT(1) as cnt GROUP by dstip_c,app_name order by cnt desc limit 10

攻擊防護常見語句

查詢互連網主動向內部資產主動發起訪問、並且命中攻擊防護策略的流量日誌。
```
log_type:internet_log and direction:"in" and not ips_rule_id:00000000-0000-0000-0000-000000000000
```
其中，not ips_rule_id全為0表示命中攻擊防護策略，其他情況則表示未命中攻擊防護策略。

查詢內部資產主動向互連網發起訪問、並且命中攻擊防護策略的流量日誌，查看IP、連接埠、應用、網域名稱、IPS策略結果等資訊。

log_type:internet_log and direction:out and not ips_rule_id:00000000-0000-0000-0000-000000000000 | select src_ip, dst_ip, dst_port,app_name, domain,ips_rule_id, ips_rule_name, rule_result

操作步驟

登入Cloud Firewall控制台。
在左側導覽列，選擇日志监控 > 日誌分析，然後單擊日誌查詢。
（可選）預設情況下，進入日誌查詢頁面時，系統會自動執行一次查詢操作，展示查詢結果。您可以單擊頁面右上方的表徵圖，在查詢設定頁簽，關閉該功能或設定查詢時間。
在搜尋方塊輸入查詢語句和分析語句。
- 查詢語句用於日誌資料的查看、簡單搜尋和過濾。您可以使用查詢語句，通過特定條件（例如時間範圍、請求類型、關鍵字等）篩選出感興趣的資料集。查詢語句可以單獨使用，文法說明請參見查詢文法。
- 分析語句用於對日誌資料進行過濾、轉換、統計、彙總等操作，例如統計一段時間內資料的平均值、擷取資料的同比和環比結果。分析語句必須配合查詢語句一起使用，格式為查詢語句|分析語句，文法說明請參見彙總函式。
設定日誌資料的時間範圍。有以下三種設定方式，如果在分析語句中設定了時間範圍，則查詢分析結果以該時間範圍為準。
重要
執行查詢和分析語句後，預設只返回100行。如果您希望返回更多資料，可使用LIMIT文法。更多資訊，請參見LIMIT子句。
- 在頁面頂端的下拉式清單中，選擇時間範圍例如最近15分鐘。
- 在分析語句中通過__time__欄位指定時間範圍（閉合區間），例如* | SELECT * FROM log WHERE __time__>1558013658 AND __time__< 1558013660。
- 在分析語句中指定時間時，使用from_unixtime函數或to_unixtime函數轉換時間格式。例如：
  - * | SELECT * FROM log WHERE from_unixtime(__time__) > from_unixtime(1664186624) AND from_unixtime(__time__) < now()
  - * | SELECT * FROM log WHERE __time__ > to_unixtime(date_parse('2022-10-19 15:46:05', '%Y-%m-%d %H:%i:%s')) AND __time__ < to_unixtime(now())
單擊查詢/分析，查看查詢分析結果。詳細介紹，請參見查看查詢分析結果。

查看查詢分析結果

您可以通過長條圖、原始日誌等模組展示的資料，查看日誌查詢分析結果。

說明

分析語句如果不設定limit，預設返回100條內容。如果您需要返回更多的內容，請手動設定limit。
以下為您介紹長條圖和原始日誌展示的資料資訊，其他功能模組，請參見查詢和分析日誌。

長條圖

長條圖展示查詢到的日誌在時間上的分布情況。

將滑鼠懸浮在綠色資料區塊上時，您可以查看該資料區塊代表的時間範圍和日誌叫用次數。
雙擊綠色資料區塊，您可以查看更細時間粒紋的日誌分布，同時原始日誌頁簽中將同步展示指定時間範圍內的查詢結果。

原始日誌

原始日誌展示了日誌的查詢分析結果。

序號	說明
圖示①	切換日誌的展示格式、排序時間等。
圖示②	單擊表徵圖，可下載日誌到本地或查看日誌的下載記錄。詳細介紹，請參見匯出日誌。
圖示③	單擊表徵圖後選擇JSON配置，設定JSON展開類型和展開層級。單擊表徵圖後選擇事件配置，為原始日誌提供可視化、易操作的日誌切入功能，方便您擷取更詳盡的日誌資訊，具體操作，請參見事件配置。
圖示④	展示日誌顯示欄位、索引日誌和系統欄位。在索引欄位地區，單擊目標欄位後的表徵圖，將欄位添加到顯示欄位中，在右側日誌資訊中顯示。在顯示欄位地區，單擊目標欄位後的表徵圖，將索引欄位從顯示欄位中清除，在右側日誌資訊中不再顯示。說明未添加任何顯示欄位時，右側日誌資訊展示系統預設配置的欄位。單擊欄位後的表徵圖，查看欄位的基本分布情況、統計指標等資訊。具體操作，請參見欄位設定。
圖示⑤	設定顯示欄位後，單擊表徵圖，將顯示欄位列表收藏為視圖，便於後續快速切換展示關注的欄位資料。單擊表徵圖後選擇tag設定，將欄位設定為系統tag，展示在右側日誌資訊上方。例如。單擊表徵圖後開啟別名功能，將欄位名稱替換為別名，未設定別名的欄位仍展示欄位名稱。設定欄位別名的步驟，請參見建立索引。
圖示⑥	展示日誌詳情，日誌欄位的詳細介紹，請參見日誌欄位。單擊表徵圖，負責日誌內容。單擊表徵圖，調用SLS Copilot，基於日誌內容總結資訊、尋找錯誤資訊等。單擊表徵圖，查看Tag詳情。

Cloud Firewall：查詢及分析日誌