Agentic SOC產品日誌接入策略需要綁定標準化規則,標準化規則基於SLSLog Service的SPL文法實現了對日誌的解析與標準化。
標準化規則
標準化規則來源
標準化規則採用SPL文法將接入原始日誌映射至標準化日誌結構,並設定日誌關鍵字段的對應關係,為後續標準化日誌產生警示提供資料支撐。
規則來源 | 說明 | 支援的操作 |
預定義 | Agentic SOC預先初始化了一批接入解析規則,為其設定好了SPL文法,並綁定了接入策略。內建50+規則模板,將阿里雲安全專家經驗賦能使用者。 |
|
自訂 |
|
|
建立自訂標準化規則
訪問Security Center控制台-Agentic SOC-管理-接入設定,在頁面左側頂部,選擇需防護資產所在的地區:中國內地或非中國內地。
標準化規則頁簽內,單擊左上方建立自訂規則。參考以下資訊,完成基礎設定。
配置項名稱
配置項說明
规则名称
使用者自訂
廠商
預定義廠商:阿里雲、飛塔、長亭、微軟、深信服、騰訊雲、華為雲、山石網科、鬥象科技,微軟雲等。
使用者自訂廠商:如何建立廠商請參見產品接入。
產品
自動拉取廠商下所有的產品,例如阿里雲Security Center、飛塔防火牆等,Agentic SOC支援的產品請參見接入設定。
備忘
可為當前標準化規則增加特徵描述,方便快速尋找及增加可讀性。
在日誌標準化測試頁簽,完成標準化規則接入欄位配置。
選擇日誌樣本來源:
基於資料來源:
資料來源:自動同步已有資料來源執行個體。
日誌樣本:系統預設自動查詢最近7天日誌樣本,同時支援手動選擇時間。
基於手動輸入:在日誌樣本(JSON)編輯器中粘貼原始日誌,支援格式化和驗證操作。
建立解析方案:
AI推薦配置方案
控制台手動喚起安全AI助手,Agentic SOC自動指派日誌標準化 Agent 自主分析日誌樣本,推薦標準化分類、標準化結構和欄位對應關係,並產生 SPL文法。
在解析測試地區,單擊安全AI助手按鈕,右側彈出AI助手對話面板。
擷取推薦配置:AI 分析日誌樣本後,在安全AI助手對話方塊內,將返回推薦配置。
標準化分類和標準化結構:AI 根據日誌內容自動識別日誌類型並推薦分類。
標準化分類:部落格、主機日誌、安全日誌、審計日誌、快照日誌、登入日誌、其他日誌。
標準化結構:
一個標準化分類包含多個標準化結構。
一個標準化結構對應一組標準化欄位和一個資料集(StoreView)。而一個資料集又映射為多個標準化結構。
說明如何查看標準化分類/結構的對應的資料集和標準化欄位,請參見查看標準化欄位和資料集
映射結果表格:展示每個日誌欄位與標準化欄位的映射關係,標註必填或選填。
說明對於AI未自動匹配的欄位,可通過下拉式功能表手動選擇標準化欄位。
產生SPL文法:在安全AI助手返回的推薦配置對話內容下方,單擊產生SPL,AI 根據映射結果自動產生 SPL 文法,並附帶映射決策表和合規性自檢結果。
自動填滿配置表單:在安全AI助手返回的SPL文法對話內容下方,單擊一鍵應用,AI 推薦的標準化分類、標準化結構和 SPL 文法自動填滿到規則編輯表單中。
手動設定
標準化分類和標準化結構:Agentic SOC預設支援的標準化分類和標準化結構以及對應的欄位說明,請參見查看標準化欄位和資料集。
SPL文法:
可以將預定義規則以及已有的自動定義規則作為模板來使用。
說明規則所對應的 SPL文法,可在規則詳情頁查看。
也可參考SPL文法文檔自訂編寫。
配置擴充欄位和文法類型
解析測試:
設定完標準化分類和解析文法後,單擊解析。
在解析結果地區可查看根據日誌樣本,產生的解析結果。
管理非標準化欄位(可選):若SPL文法解析結果中,存在未被映射至日誌標準化欄位的欄位,且擴展欄位接入選擇原樣保留,建議將這些欄位添加至標準化結構對應的日誌擴充欄位中。添加後系統將為這些欄位構建專用索引,更多說明,請參見管理擴充欄位。
測試通過後,單擊左下角完成。
管理標準化規則
修改標準化規則:單擊目標操作列的編輯按鈕。支援修改規則名稱、備忘、SPL文法,操作配置說明,請參考建立自訂標準化規則。
說明僅自訂規則支援修改。
刪除標準化規則:單擊目標操作列的刪除按鈕。
說明預定義規則不允許刪除。
已綁定接入策略的標準化規則不可刪除。
標準化欄位和資料集
查看標準化欄位和資料集
訪問Security Center控制台-Agentic SOC-管理-接入設定,在頁面左側頂部,選擇需防護資產所在的地區:中國內地或非中國內地。
在左側標准字段列表地區,日誌活動分類目錄下的清單項目即為Agentic SOC支援的標準化分類,根節點即為標準化結構。
單擊目標標準化分類(如部落格)左側的展開箭頭,展開該分類下的標準化結構列表(如五元組日誌、DNS類日誌、HTTP日誌)。
單擊具體的標準化結構節點(如API風險日誌),可在右側地區查看以下資訊:
標準化欄位:展示該標準化結構對應的標準化欄位列表,包括欄位名稱、類型、欄位描述、是否必填、範例。
擴充欄位:用於展示使用者自訂欄位。系統將為這些欄位建立專用索引,支援針對特定欄位的快速檢索資料分析,優於傳統的全文檢索搜尋模式。
資料集:展示該標準化結構對應資料集。
管理擴充欄位
當日誌中存在未映射至標準欄位的屬性且需進行分析時,請執行以下配置:
原樣保留:將擴充欄位接入模式設定為原樣保留,將欄位完整接入系統。
構建索引:建議將這些欄位添加至標準化結構對應的日誌擴充欄位中。添加後系統將為這些欄位構建專用索引,支援高效的欄位級精確檢索與分析。相比傳統全文模糊搜尋,該方式能顯著提升查詢速度與準確度。
建立標準化結構(可選)
在標準化欄位頁簽,在標准字段列表地區,單擊目標標準化分類右側
。在新增標準化結構彈窗中,配置如下資訊。
標準化結構:填寫標準化結構名稱,便於配置標準化規則時尋找。
結構標識符:必須以custom-開頭,支援數字、字母。
日誌儲存位置:選擇日誌儲存的Logstore。
建立LogStore:
名稱:必須以
custom-開頭。儲存位置:在日誌Project(
aliyun-cloudsiem-data-{aliUid}-{regionId}),建立新的日誌庫下,可前往Log Service控制台查看。
已有LogStore:僅支援選擇自訂建立(以
custom-開頭)的日誌庫。
添加擴充欄位
大量新增
在標準化規則頁簽內,建立或修改自訂規則時進行解析測試地區,單擊管理非標準化欄位。
在非標準化欄位管理頁,單擊自動產生索引屬性。
在自動產生索引屬性頁面,將自動同步根據日誌樣本和SPL文法解析出的未被映射至標準化欄位的日誌欄位,即為擴充欄位。
選擇添加方式:
追加:保留已存在的索引屬性,將新增的擴充欄位索引追加其後。
覆蓋:替換當前已經建立索引屬性,刪除舊的索引資料。
修改欄位資訊(可選):
欄位名稱:原始日誌中未被映射至標準化欄位的日誌欄位名稱。
類型:僅支援text、long、double、json。
是否分詞:
針對text,支援分詞設定,開關控制。
支援的分詞符:
,、(空格)、'、"、;、=、(、)、[、]、{、}、?、@、&、<、>、/、:、\n(分行符號)、\t(定位字元)、\r(斷行符號符)。
單個添加
在標準化欄位頁簽,在標准字段列表地區,展開目標標準化分類並單擊目標標準化結構。
在右側地區的擴展欄位頁簽,單擊欄位管理。
在非標準化欄位管理頁簽,單擊添加欄位,並配置對應的欄位資料。
欄位名稱:原始日誌中未被映射至標準化欄位的日誌欄位名稱。
類型:僅支援text、long、double、json。
是否分詞:
針對text,支援分詞設定,開關控制。
支援的分詞符:
,、(空格)、'、"、;、=、(、)、[、]、{、}、?、@、&、<、>、/、:、\n(分行符號)、\t(定位字元)、\r(斷行符號符)。
資料集
什麼是資料集
資料集Storeview是基於Logstore建立的虛擬資源,它們用於管理和儲存多個Logstore之間的關聯關係。通過資料集(Storeview),可以對不同Logstore中的日誌進行統一查詢,但是資料集(Storeview)不支援對日誌的修改操作。
資料集和標準化欄位對應關係
標準化規則需要配置標準化分類/結構,每一個標準化分類包含多種標準化結構,每一種結構對應一個儲存資料集(StoreView)和一組標準化欄位。而一個資料集(StoreView)又映射到多個標準化結構。對應關係可參考下圖:
資料集使用說明
產品接入時Agentic SOC根據SPL文法按照資料集中對應資料標準欄位對產品日誌進行解析,再匹配威脅檢測規則,最終識別出安全風險。
若資料集(StoreView)已經綁定了5個掃描查詢模式的接入策略,則新增策略的標準化方式只允許“即時消費”不支援“掃描查詢“,標準化方式說明請參見產品接入。
常見的資料集
標準化分類 | 標準化結構 | 資料集名稱 | 標準化日誌庫 |
部落格 | 五元組日誌 | network_activity | network-activity |
DNS類日誌 | |||
HTTP日誌 | |||
主機日誌 | 進程網路外聯日誌 | process_activity | process-activity |
進程寫檔案日誌 | |||
進程開機記錄 | |||
進程請求DNS日誌 | |||
安全日誌 | API安全風險日誌 | risk_activity | risk-activity |
雲產品基準日誌 | |||
主機基準日誌 | |||
雲平台操作警示日誌 | alert_activity | alert-activity | |
API安全警示日誌 | |||
端點檢測與響應警示日誌 | |||
防火牆警示日誌 | |||
主機網路警示日誌 | |||
Web Application Firewall警示日誌 | |||
其他警示日誌 | |||
爬蟲警示日誌 | |||
漏洞日誌 | vulnerability_activity | vulnerability-activity | |
審計日誌 | Bastionhost審計日誌 | audit_activity | audit-activity |
非關係型Database Audit日誌 | |||
雲平台Action Trail日誌 | |||
K8s審計日誌 | |||
Windows安全事件記錄 | |||
API Gateway審計日誌 | |||
關係型Database Audit日誌 | |||
Object Storage Service審計日誌 | |||
Azure活動目錄審計日誌 | |||
Azure活動目錄登入日誌 | |||
快照日誌 | 賬戶快照 | account_activity | account-activity |
進程啟動快照 | process_activity | process-activity | |
網路連結快照 | |||
登入日誌 | 雲平台登入日誌 | login_activity | login-activity |
主機登入失敗日誌 | |||
主機登入日誌 |