LLM-敏感資訊打碼組件說明 - Platform For AI

LLM-敏感資訊打碼（DLC）組件主要用於將敏感資訊打碼，例如將郵箱地址字元替換成[EMAIL]，手機/電話號碼替換成[TELEPHONE]或[MOBILEPHONE]，社會安全號碼碼替換成[IDNUM]。輸入的OSS資料檔案（JSONL格式，樣本）需符合：每一行是一個合法的JSON對象，檔案由多行JSON對象組成，整個檔案本身不是合法的JSON對象。

支援的計算資源

DLC

演算法說明

敏感資訊包括以下匹配項：

手機號碼：匹配以下Regex的字串將被替換成[MOBILEPHONE]。
- r'(?<!\d)(1(3[0-9]|4[579]|5[0-3,5-9]|6[6]|7[0135678]|8[0-9]|9[89])\d{8})(?!\d)'
- r'(?<!\d)(1[\d]{2}-\d{4}-\d{4}\D|\D1\d{10}\D|\D1[\d]{2} \d{4} \d{4})(?!\d)'
- r'(?<!\d)(1[3-9]\d{9})(?!\d)'
有線電話號碼：匹配以下Regex的字串將被替換成[TELEPHONE]。
- r'(?<!\d)(\(?0\d{2,3}[-\s)]?\d{7,8})(?!\d)'
郵箱：匹配以下Regex的字串將被替換成[EMAIL]。
- r'[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+.[a-zA-Z0-9-.]+'
身份證：匹配以下Regex的字串將被替換為[IDNUM]。
- r'(?<!\d)([1-6]\d{5}[12]\d{3}(0[1-9]|1[12])(0[1-9]|1[0-9]|2[0-9]|3[01])\d{3}(\d|X|x))(?!\d)'
- r'(?<!\d)([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])(?!\d)'

例如郵箱打碼：

處理前

當前欄位值彈窗顯示該欄位儲存了一段 Select2 Malay 翻譯外掛程式的 JavaScript 代碼，其中 Author 行包含作者郵箱地址（xxx@gmail.com），屬於需要脫敏處理的敏感資訊。

處理後

/**
 * Select2 Malay translation.
 *
 * Author: Kepoweran &lt;[EMAIL]&gt;
 */
(function ($) {
    "use strict";
    // ...
})(jQuery);

配置組件

在Designer工作流程頁面添加LLM-敏感資訊打碼（DLC）組件，並在介面右側配置相關參數：

參數類型	參數		是否必選	描述	預設值
欄位設定	目標處理欄位		是	要處理的欄位名稱。	無
欄位設定	資料輸出OSS目錄		否	處理後資料的OSS儲存目錄。如果為空白，使用工作空間預設路徑。	無
執行調優	多進程個數		否	設定進程數。	8
	選擇資源群組	公用資源群組	否	選擇節點規格（CPU或GPU執行個體規格）、節點數量、專用網路。	無
	選擇資源群組	專有資源群組	否	選擇CPU核心數、記憶體、共用記憶體、GPU卡數、節點數量。	無
	最大運行時間長度		否	組件最大運行時間長度，超過這個時間，作業會被kill。	無