資料安全類外掛程式用於脫敏、加密敏感性資料。
外掛程式效果樣本
表格展示該原始日誌在分別使用脫敏處理外掛程式（原生）與不使用外掛程式的情況下，儲存到Log Service後的資料結構。
|
原始日誌 |
不使用外掛程式 |
使用脫敏處理外掛程式 |
|
Content："[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]" |
Content："[{'account':'1812213231432969','password':'******'}, {'account':'1812213685634','password':'******'}]" |
資料安全外掛程式概覽
Log Service提供以下多種類型的資料安全類外掛程式，請按需要進行選擇。
|
外掛程式名稱 |
類型 |
功能說明 |
|
脫敏處理 |
原生 |
對日誌欄位進行脫敏替換。 |
|
資料脫敏 |
拓展 |
敏感性資料替換為指定字串或MD5。 |
|
欄位加密 |
拓展 |
對指定欄位內容進行加密。 |
|
資料編碼與解碼 |
拓展 |
對資料進行：BASE64解碼、BASE64編碼、MD5編碼。 |
功能入口
當您需要使用Logtail外掛程式處理日誌時，您可以在建立或修改Logtail配置時，添加外掛程式。具體操作，請參見原生與拓展處理外掛程式使用說明。
原生外掛程式與拓展外掛程式的區別
原生外掛程式：C++實現，效能更強。
拓展外掛程式：Go實現，生態豐富且靈活，當業務日誌過於複雜，無法使用原生外掛程式處理時，可以考慮使用拓展外掛程式。
-
拓展外掛程式效能限制
-
日誌採集限制
-
拓展外掛程式對文本日誌的處理採用行模式，即檔案層級的中繼資料（例如
__tag__:__path__、__topic__等）會被存放到每一條日誌中。 -
添加拓展外掛程式後會影響和Tag相關的功能：
-
脫敏處理外掛程式（原生）
脫敏處理外掛程式，用於脫敏日誌。
配置說明
|
參數名稱 |
說明 |
|
原始欄位 |
解析日誌前，用於存放日誌內容的原始欄位。 |
|
脫敏方式 |
脫敏方式，包括：
|
|
替換字串 |
選擇脫敏方式為const，需輸入字串，用於替換敏感內容。 |
|
被替換內容前的內容運算式 |
敏感內容前的內容運算式，用於尋找敏感內容。使用RE2文法。更多資訊，請參見RE2文法。 |
|
被替換的內容運算式 |
敏感內容的運算式。使用RE2文法。更多資訊，請參見RE2文法。 |
|
替換所有匹配內容 |
|
資料脫敏外掛程式（拓展）
使用processor_desensitize外掛程式，將日誌中的敏感性資料替換為指定字串或MD5值。此處介紹processor_desensitize外掛程式的參數說明和配置樣本。
使用限制
-
表單配置方式：採集文本日誌和容器標準輸出時可用。
-
JSON配置方式：採集文本日誌時不可用。
配置說明
Logtail 1.3.0及以上版本支援processor_desensitize外掛程式。
表單配置方式
配置處理器類型為數據脫敏，相關參數說明如下表所示。
-
參數說明
參數
說明
原始欄位
日誌欄位名稱。
脫敏方式
脫敏方式。可選值：
-
字串替換：將敏感內容替換為字串。您可以通過替換字串參數指定目標字串。
-
md5：將敏感內容替換為對應的MD5值。
敏感性資料內容
指定提取敏感內容的方式。可選值：
-
欄位全文：全部提取，即替換目標欄位值中的所有內容。
-
正則指定：使用Regex提取敏感內容。
替換字串
用於替換敏感內容的字串。
設定脫敏方式為字串替換時，必填。
敏感內容首碼正則
匹配敏感內容首碼的Regex。
設定敏感性資料內容為正則指定時，必填。
敏感內容正則
匹配敏感內容的Regex。
設定敏感性資料內容為正則指定時，必填。
-
-
配置樣本
將目標欄位值中的所有內容替換為字串。
-
原始日誌
"password" : "123abcdefg" -
Logtail外掛程式處理配置：處理器類型選擇資料脫敏，在基礎配置中，原始欄位填寫
password，脫敏方式選擇字串替換，敏感性資料內容選擇欄位全文，替換字串填寫********。 -
處理結果
"password":"********"
-
JSON配置方式
配置type為processor_desensitize，detail說明如下表所示。
-
參數說明
參數
類型
是否必選
說明
SourceKey
String
是
日誌欄位名稱。
Method
String
是
脫敏方式。可選值：
-
const：將敏感內容替換為字串。您可以通過ReplaceString參數指定目標字串。
-
md5：將敏感內容替換為對應的MD5值。
Match
String
否
指定提取敏感內容的方式。可選值：
-
full（預設值）：全部提取，即替換目標欄位值中的所有內容。
-
regex：使用Regex提取敏感內容。
ReplaceString
String
否
用於替換敏感內容的字串。
設定Method為const時，必填。
RegexBegin
String
否
匹配敏感內容首碼的Regex。
設定Match為regex時，必填。
RegexContent
String
否
匹配敏感內容的Regex。
設定Match為regex時，必填。
-
-
配置樣本
-
樣本1
將目標欄位值中的所有內容替換為字串，即設定Method為const，Match為full。
-
原始日誌
"password" : "123abcdefg" -
Logtail外掛程式處理配置
{ "type" : "processor_desensitize", "detail" : { "SourceKey" : "password", "Method" : "const", "Match" : "full", "ReplaceString": "********" } } -
處理結果
"password":"********"
-
-
樣本2
使用Regex指定目標欄位值中的敏感內容，並替換為對應的MD5值，即設定Method為md5，Match為regex。
-
原始日誌
"content" : "[{'account':'1234567890','password':'abc123'}]" -
Logtail外掛程式處理配置
{ "type" : "processor_desensitize", "detail" : { "SourceKey" : "content", "Method" : "md5", "Match" : "regex", "RegexBegin": "'password':'", "RegexContent": "[^']*" } } -
處理結果
"content":"[{'account':'1234567890','password':'e99a18c428cb38d5f260853678922e03'}]"
-
-
欄位加密外掛程式（拓展）
使用processor_encrypt外掛程式對指定欄位進行加密。此處介紹processor_encrypt外掛程式的參數說明和配置樣本。
配置說明
表單配置方式
配置處理器類型為欄位加密，相關參數說明如下表所示。
|
參數 |
說明 |
|
原始欄位 |
指定需要加密的原始欄位，支援添加多個。 |
|
密鑰 |
設定密鑰，格式為64個十六進位字元。 |
|
初始向量 |
設定加密的初始向量，格式為32個十六進位字元，預設值為 |
|
儲存路徑 |
讀取加密參數的檔案路徑。未配置時按照Logtail配置-輸入配置-檔案路徑讀取。 |
|
失敗保留未經處理資料 |
選中該選項後，如果加密失敗，系統將保留原始欄位的值。 如果未選中該選項，則加密失敗後，欄位值將被替換為 |
JSON配置方式
配置type為processor_encrypt，detail說明如下表所示。
|
參數 |
類型 |
是否必選 |
說明 |
|
SourceKey |
String數組 |
是 |
原始欄位名。 |
|
EncryptionParameters |
Object |
是 |
密鑰相關配置。 |
|
Key |
String |
是 |
設定密鑰，需為64個十六進位字元。 |
|
IV |
String |
否 |
設定加密的初始向量，需為32個十六進位字元，預設值為 |
|
KeyFilePath |
Boolean |
否 |
讀取加密參數的檔案路徑。未配置時按照Logtail配置-輸入配置-檔案路徑讀取。 |
|
KeepSourceValueIfError |
String |
否 |
加密失敗，系統是否保留原始欄位的值。
|
資料編碼與解碼外掛程式（拓展）
使用processor_base64_encoding、processor_base64_decoding或processor_md5外掛程式對欄位值進行編解碼。此處介紹各個外掛程式的參數說明和配置樣本。
使用限制
-
表單配置方式：採集文本日誌和容器標準輸出時可用。
-
JSON配置方式：採集文本日誌時不可用。
BASE64編碼
BASE64解碼
MD5編碼
相關文檔
-
通過API介面配置Logtail流水線：
-
通過控制台配置處理外掛程式：