Security Center：匯入騰訊雲日誌資料

建立從 CLS 到 Kafka 協議消費轉儲任務

1. 開啟 Kafka 協議消費

   1. 訪問騰訊雲-日誌主題頁面，並在左上方選擇對應的日誌儲存地區。

   2. 單擊目標日誌主題名稱，進入詳情頁。

      • Web Application Firewall：通常在 waf_post_logset 日誌集下，詳情參見Web Application Firewall投遞至CLS。

   3. 單擊左側導覽列Kafka協議消費，在基本資料頁簽，單擊右側的編輯並開啟啟用狀態開關。參照如下說明，完成配置後，單擊確定。

      • 資料範圍：歷史+最新。

      • 消費資料格式：JSON（勾選不轉義）或原始內容。

      • 資料壓縮格式：不壓縮。

      • 外網消費：開啟。

      • 服務日誌：開啟。

2. 擷取串連 Kafka 服務所需的資訊

   完成配置後，單擊查看消費者參數，擷取所需關鍵配置資訊：CLS外網服務地址（存取點）、使用者名稱、消費主題（topic）以便後續在Security Center授權訪問COS和建立資料匯入任務中使用。

   參數	說明
   外網訪問地址	格式：kafkaconsumer-${region}.cls.tencentcs.com:9096。
   消費主題	kafka的topic。
   使用者名稱	配置為 ${LogSetID}，即日誌集 ID。
   密碼	配置為 ${SecretId}#${SecretKey}。

設定存取金鑰

• 使用主帳號密鑰：訪問騰訊雲-API密鑰管理頁面，單擊建立密鑰。並妥善儲存產生的 SecretId 和 SecretKey（下載CSV檔案或複製到本地檔案儲存）。更多資訊，請參考主帳號存取金鑰管理。

  說明

  API 金鑰或者專案密鑰均可使用。

• 使用子帳號密鑰：

  1. 在訪問管理主控台的 騰訊雲-策略頁面，建立最小存取權限策略，以保證密鑰使用安全。更多資訊請參考Kafka 協議消費授權、通過策略文法建立自訂策略。

     {
         "version": "2.0",
         "statement": [{
             "action": [
                 "cls:PreviewKafkaRecharge",
                 "cls:CreateKafkaRecharge",
                 "cls:ModifyKafkaRecharge"
             ],
             "resource": "*",
             "effect": "allow"
         }]
     }

  2. 訪問騰訊雲-使用者列表頁面，選擇已有子帳號或建立新的子帳號。

     • 添加上一步建立的存取原則。

     • 使用者詳情頁面API密鑰頁簽，單擊建立密鑰。並妥善保管產生的 SecretId 和 SecretKey（下載CSV檔案或複製到本地檔案儲存）。更多資訊，請參考子帳號存取金鑰管理。

授權Security Center訪問 Kafka

1. 訪問Security Center控制台-系統設定-功能設定，在頁面左側頂部，選擇需防護資產所在的地區：中國內地或非中國內地。

2. 在多云配置管理頁簽，選擇多云资产後，單擊新增授权。在彈出的面板中進行如下配置：

   • 廠商：選擇 Apache。

   • 接入方式：選擇 Kafka。

   • 存取點：填寫騰訊雲kafka協議消費外網訪問地址。

   • 使用者名稱：填寫騰訊雲kafka協議消費使用者名稱。

   • 密碼：設定存取金鑰中帳號密鑰資訊拼接（SecretId#SecretKey）。

   • 通訊協定：sasl_plaintext。

   • SASL 認證機制：plain。

3. 配置同步策略

   AK服務狀態檢查：設定Security Center自動檢查騰訊雲帳號存取金鑰有效性的時間間隔。可選“關閉”，表示不進行檢測。

建立資料匯入任務

1. 建立資料來源

   為騰訊雲日誌資料建立一個專屬CTDR 資料來源，若已建立請跳過此步驟。

   1. 訪問Security Center控制台-威脅分析與響應-接入中心，在頁面左側頂部，選擇需防護資產所在的地區：中國內地或非中國內地。

   2. 在資料來源頁簽，建立接收日誌的資料來源。具體操作請參見建立資料來源：日誌未接入Log Service（SLS）。

      • 來源資料源類型：可選擇CTDR專屬資料擷取通道（推薦）或使用者側Log Service。

      • 接入執行個體：建議建立日誌庫（Logstore），進行資料隔離。

2. 在數據匯入頁簽，單擊新增數據匯入。在彈出的面板中進行如下配置：

   • 終端節點：選擇騰訊雲kafka協議消費外網訪問地址。

   • Topics：選擇騰訊雲kafka協議消費的消費主題（topic）。

   • 實值型別：參考CLS轉儲日誌的消費資料格式，對應關係如下：

     轉儲格式	實值型別
     JSON	json
     原始內容	text

3. 配置目標資料來源

   • 資料來源名稱：選擇步驟1建立的資料來源。

   • 目標Logstore：根據選擇的資料來源，自動拉取該資料來源下的日誌庫。

4. 單擊確定儲存配置：匯入配置完成後，Security Center將自動從騰訊雲拉取日誌。

建立從 CLS 到 COS 轉儲任務

1. 建立 COS 投遞任務：

   1. 訪問騰訊雲-日誌主題頁面，並在左上方選擇對應的日誌儲存地區。

   2. 單擊目標日誌主題名稱，進入詳情頁。

      • Web Application Firewall：通常在 waf_post_logset 日誌集下，詳情參見Web Application Firewall投遞至CLS。

   3. 選擇左側導覽列投遞到COS後，單擊添加投遞配置。並按以下要求進行配置：

      說明

      若日誌進行歸檔確認頁，單擊仍選擇投遞到COS按鈕即可。

      • 基本配置：

        • 投遞時間範圍：若想支援分析資料，請不要設定結束時間。

        • 投遞檔案大小：設定投遞日誌觸發值，即日誌量累計到該值後才會將日誌投遞至投遞COS。

        • 投遞間隔時間：設定日誌投遞時間間隔，即每隔該時間長度，將這段時間長度中的日誌，壓縮後投遞至COS。

        重要

        投遞檔案大小和投遞間隔時間為或（OR）關係，即達到任意其中一個觸發條件時，開始投遞日誌至COS。

      • 儲存桶配置：

        • COS儲存桶：選擇或建立存放騰訊雲產品（如WAF）日誌的儲存桶。

        • 檔案命名：建議選擇投遞時間命名，方便區分資料。

        • COS 路徑：COS 儲存桶中儲存日誌的路徑。預設按照格式/年/月/日/小時/儲存，例如/2022/7/31/14/ ，路徑配置支援 strftime 的文法 。

        • 檔案壓縮：請選擇gzip或不壓縮。

          警告

          Security Center目前不支援 lzop 和 snappy 壓縮格式的記錄檔解析。

        • COS 儲存類型：選擇標準儲存，更多資訊參考儲存類型概述。

      • 進階配置：

        • 消費資料格式：選擇JSON。

        • JSON：選擇不轉義。

2. 擷取COS 儲存桶的訪問網域名稱（Endpoint）。

   訪問騰訊雲-儲存桶列表，定位步驟3選擇的COS儲存桶。進入桶詳情頁，在網域名稱資訊地區擷取網域名稱資訊。

   重要

   • 網域名稱資訊注意不包含儲存桶名稱，格式為：cos.${region}.myqcloud.com。

   • 擷取桶訪問地址會在後續Security Center授權訪問COS、建立資料匯入任務中使用。

   

設定存取金鑰

• 使用主帳號密鑰：訪問騰訊雲-API密鑰管理頁面，單擊建立密鑰。並妥善儲存產生的 SecretId 和 SecretKey（下載CSV檔案或複製到本地檔案儲存）。更多資訊，請參考主帳號存取金鑰管理。

  說明

  API 金鑰或者專案密鑰均可使用。

• 使用子帳號密鑰：

  1. 在訪問管理主控台的 騰訊雲-策略頁面，建立最小存取權限策略，以保證密鑰使用安全。更多資訊請參考投遞 COS授權、通過策略文法建立自訂策略。

     {
         "version": "2.0",
         "statement": [
             {
                 "effect": "allow",
                 "action": [
                     "cls:DescribeTopics",
                     "cls:DescribeLogsets",
                     "cls:DescribeIndex",
                     "cls:CreateShipper"
                 ],
                 "resource": "*"
             },
             {
                 "effect": "allow",
                 "action": [
                     "tag:DescribeResourceTagsByResourceIds",
                     "tag:DescribeTagKeys",
                     "tag:DescribeTagValues", 
                     "cls:ModifyShipper",
                     "cls:DescribeShippers",
                     "cls:DeleteShipper",
                     "cls:DescribeShipperTasks",
                     "cls:RetryShipperTask",
                     "cls:DescribeShipperPreview",
                     "cos:GetService",
                     "cam:ListAttachedRolePolicies",
                     "cam:AttachRolePolicy",
                     "cam:CreateRole",
                     "cam:DescribeRoleList"
                 ],
                 "resource": "*"
             }
         ]
     }

  2. 訪問騰訊雲-使用者列表頁面，選擇已有子帳號或建立新的子帳號。

     • 添加上一步建立的存取原則。

     • 使用者詳情頁面API密鑰頁簽，單擊建立密鑰。並妥善儲存產生的 SecretId 和 SecretKey（下載CSV檔案或複製到本地檔案儲存）。更多資訊，請參考子帳號存取金鑰管理。

在Security Center授權訪問COS

1. 訪問Security Center控制台-系統設定-功能設定，在頁面左側頂部，選擇需防護資產所在的地區：中國內地或非中國內地。

2. 在多云配置管理頁簽，選擇多云资产後，單擊新增授权，下拉選擇 IDC。在彈出的面板中進行如下配置：

   • 廠商：選擇 AWS-S3。

   • 接入方式：選擇S3 。

   • 終端節點（Endpoint）：COS 儲存桶的訪問網域名稱。

   • Access Key Id/Secret Access Key：設定存取金鑰。

3. 配置同步策略

   AK服務狀態檢查：設定Security Center自動檢查騰訊雲帳號存取金鑰有效性的時間間隔。可選“關閉”，表示不進行檢測。

建立資料匯入任務

1. 訪問Security Center控制台-威脅分析與響應-接入中心，在頁面左側頂部，選擇需防護資產所在的地區：中國內地或非中國內地。

2. 在數據匯入頁簽，單擊新增數據匯入。在彈出的面板中進行如下配置：

   • 資料來源類型：S3。

   • 終端節點：COS 儲存桶的訪問網域名稱。

   • 桶（Bucket）：CLS日誌轉存配置的COS儲存桶。

   • 檔案路徑首碼過濾：通過檔案路徑首碼過濾S3檔案，用於準確定位待匯入的檔案。例如待匯入的檔案都在csv/目錄下，則可以指定首碼為csv/。檔案具體路徑，請參見COS 路徑。

     說明

     強烈建議設定此參數。如果不設定，系統將遍曆整個 S3 Bucket。當 Bucket 內檔案數量巨大時，全量遍曆會嚴重影響匯入效率。

   • 檔案路徑正則過濾：通過Regex篩選檔案，用於準確定位待匯入的檔案。預設為空白，表示不過濾。例如S3檔案為testdata/csv/bill.csv，可以設定Regex為(testdata/csv/)(.*)。

     說明

     • 推薦與檔案路徑首碼過濾一起設定，提高效率。此配置與檔案路徑首碼過濾之前為“且（and）”的關係。

     • 調整Regex的方法，請參見如何調試Regex。

   • 資料格式：檔案的解析格式，如下所示。

     • CSV：分隔字元分割的文字檔，支援指定檔案中的首行為欄位名稱或手動指定欄位名稱。除欄位名稱外的每一行都會被解析為日誌欄位的值。

     • JSON：逐行讀取S3檔案，將每一行看作一個JSON對象進行解析。解析後，JSON對象中的各個欄位對應為日誌中的各個欄位。

     • 單行文本：將S3檔案中的每一行解析為一條日誌。

     • 跨行文本：多行模式，支援指定首行或者尾行的Regex解析日誌。

     若選擇為CSV或跨行文本時，需額外設定相關參數，具體說明如下所示。

     CSV

     參數	說明
     分隔字元	設定日誌的分隔字元，預設值為半形逗號（,）。
     引號	CSV字串所使用的引號字元。
     轉義符	配置日誌的轉義符，預設值為反斜線（\）。
     日誌最大跨行數	當一條日誌跨多行時，需要指定最大行數，預設值為1。
     首行作為欄位名稱	開啟開關後，將使用CSV檔案中的首行作為欄位名稱。例如提取下圖中的首行為日誌欄位的名稱。
     跳過行數	指定跳過的日誌行數。例如設定為1，則表示從CSV檔案中的第2行開始採集日誌。

     跨行文本

     參數	說明
     正則匹配位置	設定Regex匹配的位置，具體說明如下： 首行正則：使用Regex匹配一條日誌的行首，未匹配部分為該條日誌的一部分，直到達到最大行數。 尾行正則：使用Regex匹配一條日誌的行尾，未匹配部分為下一條日誌的一部分，直到達到最大行數。
     Regex	根據日誌內容，設定正確的Regex。調整Regex的方法，請參見如何調試Regex。
     最大行數	一條日誌最大的行數。

   • 編碼格式：待匯入的S3檔案的編碼格式。支援GBK、UTF-8。

   • 壓縮格式：根據OBS中設定的檔案壓縮格式，由系統自動檢測。

   • 檔案修改時間過濾：從任務啟動時刻回溯30分鐘作為起始時間，匯入此後修改的所有檔案（含未來新增檔案）。

   • 檢查新檔案周期：用於設定匯入任務定期掃描新檔案的時間間隔，任務將按此時間間隔自動掃描並匯入新增的檔案。

3. 配置目標資料來源

   • 資料來源名稱：選擇狀態正常的自訂資料來源（自訂Log Service/CTDR專屬資料擷取通道）。若無合適的資料來源，請參考資料來源，建立新的資料來源。

   • 目標Logstore：根據選擇的資料來源，自動拉取該資料來源下的日誌庫。

4. 單擊確定儲存配置：匯入配置完成後，Security Center將自動從騰訊雲拉取日誌。