資料安全（脫敏加密）類外掛程式 - Simple Log Service

資料安全類外掛程式用於脫敏、加密敏感性資料。

外掛程式效果樣本

表格展示該原始日誌在分別使用脫敏處理外掛程式（原生）與不使用外掛程式的情況下，儲存到Log Service後的資料結構。

原始日誌	不使用外掛程式	使用脫敏處理外掛程式
`[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]`	Content："[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]"	Content："[{'account':'1812213231432969','password':'******'}, {'account':'1812213685634','password':'******'}]"

資料安全外掛程式概覽

Log Service提供以下多種類型的資料安全類外掛程式，請按需要進行選擇。

外掛程式名稱	類型	功能說明
脫敏處理	原生	對日誌欄位進行脫敏替換。
資料脫敏	拓展	敏感性資料替換為指定字串或MD5。
欄位加密	拓展	對指定欄位內容進行加密。
資料編碼與解碼	拓展	對資料進行：BASE64解碼、BASE64編碼、MD5編碼。

功能入口

當您需要使用Logtail外掛程式處理日誌時，您可以在建立或修改Logtail配置時，添加外掛程式。具體操作，請參見原生與拓展處理外掛程式使用說明。

原生外掛程式與拓展外掛程式的區別

原生外掛程式：C++實現，效能更強。

拓展外掛程式：Go實現，生態豐富且靈活，當業務日誌過於複雜，無法使用原生外掛程式處理時，可以考慮使用拓展外掛程式。

拓展外掛程式效能限制
- 使用拓展外掛程式進行Tlog時，LoongCollector會消耗更多的資源（以CPU為主），如有需求可以調整LoongCollector參數配置進行日誌傳輸延時過長最佳化。
- 當未經處理資料量的產生速度超過5 MB/s時，不建議使用過於複雜的外掛程式組合來處理日誌，可以使用拓展外掛程式進行簡單處理，再通過資料加工完成進一步處理。
日誌採集限制
- 拓展外掛程式對文本日誌的處理採用行模式，即檔案層級的中繼資料（例如__tag__:__path__、__topic__等）會被存放到每一條日誌中。
- 添加拓展外掛程式後會影響和Tag相關的功能：
  - 上下文查詢和LiveTail功能不可用。如果要使用這些功能，需要額外添加aggregators配置。
  - __topic__欄位會被重新命名為__log_topic__。如果添加了aggregators配置，日誌中將同時存在__topic__欄位和__log_topic__欄位。如果您不需要__log_topic__欄位，可使用丟棄欄位外掛程式刪除該欄位。
  - __tag__:__path__等欄位不再具備原生欄位索引，需要建立欄位索引。

脫敏處理外掛程式（原生）

脫敏處理外掛程式，用於脫敏日誌。

配置說明

參數名稱	說明
原始欄位	解析日誌前，用於存放日誌內容的原始欄位。
脫敏方式	脫敏方式，包括： const：將敏感內容替換成您所修改的字串。 md5：將敏感內容替換為其對應的MD5值。
替換字串	選擇脫敏方式為const，需輸入字串，用於替換敏感內容。
被替換內容前的內容運算式	敏感內容前的內容運算式，用於尋找敏感內容。使用RE2文法。更多資訊，請參見RE2文法。
被替換的內容運算式	敏感內容的運算式。使用RE2文法。更多資訊，請參見RE2文法。
替換所有匹配內容	選中替換所有匹配內容，則替換該欄位中所有的敏感內容。不選中替換所有匹配內容，則只替換欄位中與運算式匹配的第一部分內容。

配置樣本

原始欄位

content:[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

Logtail配置

解析結果

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

資料脫敏外掛程式（拓展）

使用processor_desensitize外掛程式，將日誌中的敏感性資料替換為指定字串或MD5值。此處介紹processor_desensitize外掛程式的參數說明和配置樣本。

使用限制

表單配置方式：採集文本日誌和容器標準輸出時可用。
JSON配置方式：採集文本日誌時不可用。

配置說明

重要

Logtail 1.3.0及以上版本支援processor_desensitize外掛程式。

表單配置方式

配置處理器類型為資料脫敏，相關參數說明如下表所示。

參數說明

參數	說明
原始欄位	日誌欄位名稱。
脫敏方式	脫敏方式。可選值：字串替換：將敏感內容替換為字串。您可以通過替換字串參數指定目標字串。 md5：將敏感內容替換為對應的MD5值。
敏感性資料內容	指定提取敏感內容的方式。可選值：欄位全文：全部提取，即替換目標欄位值中的所有內容。正則指定：使用Regex提取敏感內容。
替換字串	用於替換敏感內容的字串。設定脫敏方式為字串替換時，必填。
敏感內容首碼正則	匹配敏感內容首碼的Regex。設定敏感性資料內容為正則指定時，必填。
敏感內容正則	匹配敏感內容的Regex。設定敏感性資料內容為正則指定時，必填。

配置樣本
將目標欄位值中的所有內容替換為字串。
- 原始日誌
```
"password" : "123abcdefg"
```
- Logtail外掛程式處理配置
- 處理結果
```
"password":"********"
```

JSON配置方式

配置type為processor_desensitize，detail說明如下表所示。

參數說明

參數	類型	是否必選	說明
SourceKey	String	是	日誌欄位名稱。
Method	String	是	脫敏方式。可選值： const：將敏感內容替換為字串。您可以通過ReplaceString參數指定目標字串。 md5：將敏感內容替換為對應的MD5值。
Match	String	否	指定提取敏感內容的方式。可選值： full（預設值）：全部提取，即替換目標欄位值中的所有內容。 regex：使用Regex提取敏感內容。
ReplaceString	String	否	用於替換敏感內容的字串。設定Method為const時，必填。
RegexBegin	String	否	匹配敏感內容首碼的Regex。設定Match為regex時，必填。
RegexContent	String	否	匹配敏感內容的Regex。設定Match為regex時，必填。

配置樣本

樣本1

將目標欄位值中的所有內容替換為字串，即設定Method為const，Match為full。

原始日誌
```
"password" : "123abcdefg"
```

Logtail外掛程式處理配置

{
  "type" : "processor_desensitize",
  "detail" : {
    "SourceKey" : "password",
    "Method" : "const",
    "Match" : "full",
    "ReplaceString": "********"
  }
}

處理結果
```
"password":"********"
```

樣本2

使用Regex指定目標欄位值中的敏感內容，並替換為對應的MD5值，即設定Method為md5，Match為regex。

原始日誌

"content" : "[{'account':'1234567890','password':'abc123'}]"

Logtail外掛程式處理配置

{
   "type" : "processor_desensitize",
   "detail" : {
      "SourceKey" : "content",
      "Method" : "md5",
      "Match" : "regex",
      "RegexBegin": "'password':'",
      "RegexContent": "[^']*"
   }
}

處理結果

"content":"[{'account':'1234567890','password':'e99a18c428cb38d5f260853678922e03'}]"

欄位加密外掛程式（拓展）

使用processor_encrypt外掛程式對指定欄位進行加密。此處介紹processor_encrypt外掛程式的參數說明和配置樣本。

配置說明

表單配置方式

配置處理器類型為欄位加密，相關參數說明如下表所示。

參數	說明
原始欄位	指定需要加密的原始欄位，支援添加多個。
密鑰	設定密鑰，格式為64個十六進位字元。
初始向量	設定加密的初始向量，格式為32個十六進位字元，預設值為`00000000000000000000000000000000`。
儲存路徑	讀取加密參數的檔案路徑。未配置時按照Logtail配置-輸入配置-檔案路徑讀取。
失敗保留未經處理資料	選中該選項後，如果加密失敗，系統將保留原始欄位的值。如果未選中該選項，則加密失敗後，欄位值將被替換為`ENCRYPT_ERROR`。

JSON配置方式

配置type為processor_encrypt，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String數組	是	原始欄位名。
EncryptionParameters	Object	是	密鑰相關配置。
Key	String	是	設定密鑰，需為64個十六進位字元。
IV	String	否	設定加密的初始向量，需為32個十六進位字元，預設值為`00000000000000000000000000000000`。
KeyFilePath	Boolean	否	讀取加密參數的檔案路徑。未配置時按照Logtail配置-輸入配置-檔案路徑讀取。
KeepSourceValueIfError	String	否	加密失敗，系統是否保留原始欄位的值。 true：保留。 false（預設值）：不保留。加密失敗後，欄位值將被替換為`ENCRYPT_ERROR`。

資料編碼與解碼外掛程式（拓展）

使用processor_base64_encoding、processor_base64_decoding或processor_md5外掛程式對欄位值進行編解碼。此處介紹各個外掛程式的參數說明和配置樣本。

使用限制

表單配置方式：採集文本日誌和容器標準輸出時可用。
JSON配置方式：採集文本日誌時不可用。

BASE64編碼

通過processor_base64_encoding外掛程式對欄位值進行編碼。

表單配置方式

配置處理器類型為BASE64（編碼），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
結果欄位	編碼後的結果欄位名。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。

JSON配置方式

配置type為processor_base64_encoding，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
NewKey	String	是	編碼後的結果欄位名。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。

BASE64解碼

通過processor_base64_decoding外掛程式對欄位值進行解碼。

表單配置方式

配置處理器類型為BASE64（解碼），相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
結果欄位	解碼後的結果欄位名。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。
解碼失敗報錯	選中該選項後，如果解碼失敗，系統將報錯。

JSON配置方式

配置type為processor_base64_decoding，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
NewKey	String	是	解碼後的結果欄位名。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。
DecodeError	Boolean	否	解碼失敗時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。

MD5編碼

通過processor_md5外掛程式對欄位值進行MD5編碼。

表單配置方式

配置處理器類型為MD5，相關參數說明如下表所示。

參數	說明
原始欄位	原始欄位名。
結果欄位	編碼後的結果欄位名。
原始欄位缺失報錯	選中該選項後，如果原始日誌中無您所指定的原始欄位，系統將報錯。

JSON配置方式

配置type為processor_md5，detail說明如下表所示。

參數	類型	是否必選	說明
SourceKey	String	是	原始欄位名。
MD5Key	String	是	編碼後的結果欄位名。
NoKeyError	Boolean	否	原始日誌中無您所指定的原始欄位時，系統是否報錯。 true：報錯。 false（預設值）：不報錯。

Simple Log Service：資料安全（脫敏加密）類外掛程式

外掛程式效果樣本

資料安全外掛程式概覽

功能入口

原生外掛程式與拓展外掛程式的區別

脫敏處理外掛程式（原生）

配置說明

資料脫敏外掛程式（拓展）

使用限制

配置說明

表單配置方式

JSON配置方式

欄位加密外掛程式（拓展）

配置說明

表單配置方式

JSON配置方式

資料編碼與解碼外掛程式（拓展）

使用限制

BASE64編碼

表單配置方式

JSON配置方式

BASE64解碼

表單配置方式

JSON配置方式

MD5編碼

表單配置方式

JSON配置方式

相關文檔