本文為您介紹新版日誌審計服務的工作原理、使用限制、費用說明和接入分類。
背景資訊
近年來,隨著雲端運算的廣泛應用和企業上雲的深度普及,許多企業或個人使用者將各種日誌託管在雲上進行查詢、審計等操作。
日誌審計是《網路安全法》、《資料安全法》等法律法規的剛需要求,例如《網路安全法》第二十一條第三小節中明確規定“採取監測、記錄網路運行狀態、網路安全事件的技術措施,並按照規定留存相關的部落格不少於六個月"。企業或組織在運行過程中,為了完成基礎設施的安全維護、使用者資訊權益的保護,保障企業的網路資料安全,需要始終貫徹和落實以《網路安全法》、《資料安全法》為代表的各種法律法規的要求。企業在生產實踐中,應按照《資訊安全技術-網路安全等級保護基本要求》進行企業安全定級、備案、整改和測評工作,始終落實自查自糾和接受相關行業機關的督查和測評。
資料合規管理也是許多企業或組織需要面臨的專業且複雜的問題,在全球化的今天,企業資料可能儲存在全球各個地區或組織中,一方面這些資料管理需要基於法律法規要求,保障資料安全、保護個人資訊權益、維護國家安全和社會公用利益,另一方面出於生產實踐的需要,進行資料有序地自由流動,從而將資料的價值最大化。
在這些背景下我們推出了新版日誌審計服務,增強了資料接入能力,不僅支援雲產品資料,還支援運行時資料。使用者可以通過多記錄項目中心管理日誌資料,從而將雲產品日誌或運行時日誌中心化匯總、查詢、統計、分析,同時滿足資料合規的相關地區限制要求,實現依法、有序的資料自由流動管理。
準系統
阿里雲Log Service平台支援自動化管理日誌,並具備日誌查詢、分析、儲存、加工、投遞、消費、警示、可視化等能力。日誌審計基於Log Service平台,還支援以下功能:
資料接入雲產品日誌
雲產品覆蓋範圍:日誌審計覆蓋阿里雲許多主流雲產品及其日誌類型,當前日誌審計支援接入儲存類(SLS、OSS)、網路類(CLB、ALB、VPC、DNS)、資料庫類(RDS、PolarDB)、安全類(Security Center、Cloud Firewall、Web Application Firewall、DDoS 防護)、審計類(Action Trail、配置審計)等雲產品及相關日誌類型。
日誌自動化採集:日誌審計支援自動化採集使用者日誌。一方面,一旦雲產品接入新版日誌審計服務,新增日誌將自動寫入儲存的目標Logstore中;另一方面,如果雲帳號下有執行個體新增或屬性變更,雲產品的日誌會根據使用者配置的採集規則進行自動化採集與寫入。
採集規則可編排:日誌審計支援三種資源選擇模式對雲產品資源進行過濾:全部資源、按照執行個體模式過濾資源、按照屬性模式過濾資源,使用者可以根據實際需求選擇。
資料跨地區匯總:日誌審計通過資料加工功能實現日誌資料的跨地區匯總,Log Service會自動建立資料加工任務,這些任務根據使用者的日誌預設投遞目標庫和採集規則配置的中心化目標庫的投遞關聯建立。
支援多日誌中心:日誌只需接入一次,即可根據規則配置,通過資料加工匯總到各個記錄項目或日誌庫中。例如,使用者可以將北京、杭州地區的日誌匯總到上海中心,將馬來西亞、印尼地區的日誌匯總到新加坡中心。
支援資來源目錄多帳號功能:管理員或委派管理員可以通過配置多帳號採集,將成員帳號的所有日誌匯總。
資料接入運行時日誌
運行時日誌採集:日誌審計支援將開源Agent(Tetragon、Falco)採集的運行時日誌通過Logtail採集到日誌庫中。
採集Systemd Journal日誌:日誌審計支援使用Logtail採集Systemd Journal日誌,支援以容器方式採集宿主機上的Journal日誌。適用於Docker、Kubernetes情境。
工作原理
資料接入雲產品日誌
雲產品的日誌首先儲存在各自的預設Logstore中,這些日誌包括雲產品的操作資訊、運行狀態等。
雲產品日誌及對應的Logstore名稱,請參見雲產品採集注意事項。
對於每個雲產品執行個體,如果命中多個採集規則,只要有一個採集規則匹配,該執行個體日誌就會被採集到預設Logstore中。
日誌審計自動建立資料加工任務,將預設Logstore的日誌匯總到使用者關聯的Project中。
雲產品日誌類型由使用者配置的日誌審計採集規則決定。
日誌審計會自動檢測使用者雲帳號下各個地區的雲產品執行個體新增或變更,並同步到日誌審計採集規則中。
如果資來源目錄的管理員帳號或委派管理員帳號,配置了多帳號配置的日誌採集規則,雲產品日誌將會首先被採集到成員帳號雲產品預設投遞目標庫下,然後通過自動建立的資料加工作業,匯總到管理員帳號或委派管理者帳號中心日誌庫中。
採集規則1:按照地區屬性進行採集,將華東1(杭州)和華南1(深圳)地區的雲產品日誌投遞到中心化Logstore(
xxx_log_center)中,該Logstore屬於中心化Project(center-A-cn-shanghai)。採集規則2:按照地區屬性進行採集,將新加坡地區的雲產品日誌投遞到中心化Logstore(
xxx_log_center)中,該Logstore屬於中心化Project(center-A-ap-southeast-1)。
資料接入運行時日誌
Docker、Kubernetes情境下使用Tetragon、Falco收集容器作業記錄到目錄檔案、標準輸出中,然後通過Logtail將容器運行時日誌投遞到Log Service的日誌庫。
應用對比
新版日誌審計和舊版日誌審計對比
請參見版本對比。
新版日誌審計和CloudLens for XX 系列對比
以CloudLens for PolarDB為例,日誌審計和CloudLens for PolarDB均可以開啟PolarDB的審計日誌。參考下表,不同情境下,您可以選擇對應方案採集日誌。
情境 | 推薦方案 | 優勢 |
手動控制採集日誌開關 | 操作簡單,配置靈活。 | |
自動化採集雲產品日誌 | 使用Log ServiceAPI實現雲產品日誌的自動採集。 | 大量設定。 |
跨地區中心化轉存 | 在新版日誌審計控制台開啟相關規則。 | 跨地區日誌即時同步,滿足資料合規性要求。 |
跨帳號中心化(基於資來源目錄)轉存 | 在新版日誌審計控制台開啟相關規則。 | 多帳號日誌統一管理,符合企業級資料治理需求。 |
新版日誌審計和雲產品控制台開啟方式對比
以Security Center、WAF 2.0和WAF 3.0雲產品為例,您可以根據不同日誌情境選擇在對應控制台開啟。
雲產品 | 雲產品控制台 | 新版日誌審計 |
Security Center | 新版日誌審計只做中心化轉存。以下情境,建議您在新版日誌審計控制台開啟:
| |
WAF |
使用限制
日誌審計目前只支援公用雲。
新版日誌審計服務正處於公測階段,如果您在使用中遇到任何問題,請提交工單。
費用說明
日誌審計功能本身不收費,但開通後會產生日誌儲存、日誌流量等計費,包括以下部分:
費用類型 | 說明 |
雲產品日誌預設Logstore的費用 |
|
資料加工的費用 |
|
日誌審計關聯Logstore的費用 |
|
雲產品功能費用 | 對於部分雲產品日誌,開啟日誌採集前必須開啟對應雲產品的功能。例如,VPC流日誌需要開啟流日誌功能,RDS審計日誌需要開啟SQL洞察與審計功能,這些功能會造成相應雲產品的額外費用,更多費用構成說明,請參見雲產品採集注意事項。 |
運行時日誌費用 | 與普通Logstore收費標準一致,無額外費用。計費項目的具體資訊請參見按使用功能計費模式計費項目和按寫入資料量計費模式計費項目。降低Logstore的儲存費用、停止Logstore的計費等資訊,請參見如何降低日誌的儲存成本?。 |
雲產品接入分類
日誌審計當前雲產品接入主要分為以下類型,具體限制請參考雲產品採集注意事項。
雲產品接入類型 | 分類依據 | 限制及說明 | 對應雲產品及日誌類型 |
執行個體類 | 支援按照執行個體粒度(執行個體 ID、執行個體地區、執行個體標籤等屬性)進行規則配置採集。 | 雲產品執行個體日誌會預設投遞到當前執行個體所屬地區的日誌庫中。 |
|
全域日誌類 | 只能按照全域粒度配置採集規則。 | 雲產品全域日誌會預設投遞到一個固定地區的日誌庫中 |
|
安全類 | 規則配置將依賴資源屬性模式,擷取雲產品預設投遞地區列表。 | 需要使用者去雲產品控制台手動開啟採集,日誌審計僅做中心化加工匯總。 |
|
Action Trail、配置審計類 | 不依賴採集規則,通過日誌庫名稱與日誌審計關聯。 | 需要使用者去雲產品控制台手動設定跟蹤或投遞,並將其配置到當前審計關聯記錄項目。 |
|