如果您需要在日誌資料寫入Logstore前對資料進行處理,例如資料過濾、欄位提取、欄位擴充、資料脫敏,可以使用寫入處理器(IngestProcessor)。
工作原理
通過Logtail採集、Log ServiceSDK、Web Tracking功能等方式採集日誌資料,資料會先經過寫入處理器(IngestProcessor),然後寫入Logstore。資料處理過程在Log Service中完成,不會佔用用戶端的資源。
使用情境
欄位提取:從原始日誌欄位中通過Regex、Key-Value格式、JSON等解析方式提取出新的欄位。
擴充欄位:為原始日誌添加新的欄位。
丟棄欄位:刪除原始日誌的部分欄位。
資料脫敏:將原始日誌的敏感資訊進行脫敏處理。
資料過濾:丟棄原始日誌的部分資料。
使用限制
限制項 | 說明 |
寫入處理器個數 | 每個Project下最多建立100個IngestProcessor。 |
寫入處理器配置中SPL語句長度 | 每個SPL語句長度不超過4000個字元。 |
寫入處理器中SPL指令限制 | 僅支援行處理指示,不支援彙總、邏輯判斷等指令。 |
每個Logstore關聯的寫入處理器個數 |
|
更新或刪除寫入處理器後生效時間 | 修改或刪除寫入處理器配置,或者修改Logstore與寫入處理器的關聯關係,會在一分鐘內生效。 |
功能計費
寫入處理器是按照資料處理過程中消耗的計算資源量進行計費,計費單位為OCU。
可觀測資源額度OCU(Observability Capacity Unit)是阿里雲雲原生可觀測推出的新版計費單位,可根據每小時資源使用方式自動統計OCU用量。
Log Service計算型功能收費計劃逐步通過OCU進行計量,以使用者實際消耗的計算資源作為計量的度量維度。在 CPU 情境下一個OCU的效能約等於0.5 Core CPU、2 GB記憶體、3000 IOPS,在計算OCU的總數時,會按照消耗的CPU核心數、記憶體大小和IOPS三個維度分別計算三個OCU數量,然後取三個OCU數量的最大值作為OCU的最終值,用於計費。
假設您的計算作業消耗了1 Core CPU,2GB記憶體,3000 IOPS,則這個作業消耗2個OCU。在一個計量周期(1小時)內,計算平均消耗的OCU可參考:資料寫入處理器處理1GB資料,大約消耗1/3個OCU。資料加工(新版)處理1GB資料,大約消耗1/3個OCU。規則消費處理1GB資料,約消耗0.3個OCU。
OCU的計費資訊,請參見按寫入資料量計費模式計費項目和按使用功能計費模式計費項目。