LLM-敏感資訊打碼(DLC)組件主要用於將敏感資訊打碼,例如將郵箱地址字元替換成[EMAIL],手機/電話號碼替換成[TELEPHONE]或[MOBILEPHONE],社會安全號碼碼替換成[IDNUM]。輸入的OSS資料檔案(JSONL格式,樣本)需符合:每一行是一個合法的JSON對象,檔案由多行JSON對象組成,整個檔案本身不是合法的JSON對象。
支援的計算資源
演算法說明
敏感資訊包括以下匹配項:
手機號碼:匹配以下Regex的字串將被替換成
[MOBILEPHONE]。r'(?<!\d)(1(3[0-9]|4[579]|5[0-3,5-9]|6[6]|7[0135678]|8[0-9]|9[89])\d{8})(?!\d)'
r'(?<!\d)(1[\d]{2}-\d{4}-\d{4}\D|\D1\d{10}\D|\D1[\d]{2} \d{4} \d{4})(?!\d)'
r'(?<!\d)(1[3-9]\d{9})(?!\d)'
有線電話號碼:匹配以下Regex的字串將被替換成
[TELEPHONE]。r'(?<!\d)(\(?0\d{2,3}[-\s)]?\d{7,8})(?!\d)'
郵箱:匹配以下Regex的字串將被替換成
[EMAIL]。r'[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+.[a-zA-Z0-9-.]+'
身份證:匹配以下Regex的字串將被替換為
[IDNUM]。r'(?<!\d)([1-6]\d{5}[12]\d{3}(0[1-9]|1[12])(0[1-9]|1[0-9]|2[0-9]|3[01])\d{3}(\d|X|x))(?!\d)'
r'(?<!\d)([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])(?!\d)'
例如郵箱打碼:
處理前
| 處理後
|
配置組件
在Designer工作流程頁面添加LLM-敏感資訊打碼(DLC)組件,並在介面右側配置相關參數:
參數類型 | 參數 | 是否必選 | 描述 | 預設值 | |
欄位設定 | 目標處理欄位 | 是 | 要處理的欄位名稱。 | 無 | |
資料輸出OSS目錄 | 否 | 處理後資料的OSS儲存目錄。如果為空白,使用工作空間預設路徑。 | 無 | ||
執行調優 | 多進程個數 | 否 | 設定進程數。 | 8 | |
選擇資源群組 | 公用資源群組 | 否 | 選擇節點規格(CPU或GPU執行個體規格)、節點數量、專用網路。 | 無 | |
專有資源群組 | 否 | 選擇CPU核心數、記憶體、共用記憶體、GPU卡數、節點數量。 | 無 | ||
最大運行時間長度 | 否 | 組件最大運行時間長度,超過這個時間,作業會被kill。 | 無 | ||

