全部產品

Platform For AI：LLM-敏感詞過濾（MaxCompute）

更新時間：Dec 31, 2024

LLM-敏感詞過濾組件主要用於大語言模型（LLM）的文本資料預先處理工作，可以過濾掉帶有敏感詞的樣本。

支援的計算資源

演算法說明

識別文本中是否包含敏感詞，過濾掉包含敏感詞的樣本。支援返迴文本中包含的敏感詞。預設提供的敏感詞數量共12000+。

配置組件

在Designer工作流程頁面添加LLM-敏感詞過濾（MaxCompute）組件，並在介面右側配置相關參數：

參數類型	參數	預設值	描述
欄位設定	選擇目標處理列	無	選擇要處理的列。
	是否儲存敏感詞結果	無	是否將敏感詞識別結果儲存到輸出表中。如果勾選，則在輸出表中新增兩列用來儲存結果，否則不做儲存。是否敏感詞儲存列名：儲存是否敏感詞的列名，值為bool類型，預設列名為is_sensitive。敏感詞儲存列名：儲存敏感詞的列名，預設列名為sensitive_words。
	SQL指令碼	無	where語句填寫，是否敏感詞預設儲存到`is_sensitive`列，檢測出的敏感詞預設儲存到`sensitive_words`列，可根據這兩列的結果進行過濾。如果修改了列名，請根據修改後的列名填寫。預設條件為`where not is_sensitive`。
	敏感詞檔案	預置敏感詞檔案	敏感詞檔案路徑。置空時，使用預設的敏感詞列表。檔案格式為："敏感詞1\n敏感詞2\n..."，敏感詞之間用分行符號分隔。
	設定輸出表生命週期	28	正整數，單位為天。預設28天，28天后該組件產生的暫存資料表被回收。
執行調優	每個執行個體的cpu數目	100	設定map task每個instance的CPU數目，取值範圍為[50,800]。
	每個執行個體的memory大小，單位M	1024	設定map task每個instance的memory大小，單位為MB，取值範圍為[256,12288]。
	每個執行個體處理的資料大小，單位M	256	設定map task每個instance的最大處理資料量，使用者可以通過控制該變數，實現對map端輸入的控制。單位為MB，取值範圍為[1,Integer.MAX_VALUE]。