LLM-文本標準化組件說明 - Platform For AI

LLM-文本標準化（DLC）組件主要用於將文本Unicode標準化以及繁體轉簡體。輸入的OSS資料檔案（JSONL格式，樣本）需符合：每一行是一個合法的JSON對象，檔案由多行JSON對象組成，整個檔案本身不是合法的JSON對象。

支援的計算資源

DLC

演算法說明

LLM-文本標準化組件支援以下功能：

將Unicode文本標準化，使用NFKC的方式標準化文本。

ftfy.fix_text(text, normalization='NFKC')
繁體轉成簡體使用opencc包轉換。

使用opencc包轉換。

效果如下：

處理前

資料表列 A（類型為 text）包含 6 行文本資料，其中存在編碼異常字元及繁簡體中文混合內容。

處理後

資料表列類型為text，共6行結果：英文及特殊字元保持不變（如✔ No problems、The Mona Lisa doesn't have eyebrows.），中文繁體字已轉為簡體（如這是幾個繁體字,會被轉換為簡體字），包含繁簡體字、英文、數字和特殊字元的混合文本中繁體部分同樣完成轉換。

配置組件

在Designer工作流程頁面添加LLM-文本標準化（DLC）組件，並在介面右側配置相關參數：

參數類型	參數		是否必選	描述	預設值
欄位設定	目標處理欄位		是	要處理的欄位名稱。	無
	是否將Unicode文本標準化（NFKC方式）		否	是否將Unicode文本標準化（NFKC方式）。	選中
	是否將繁體轉簡體		否	是否將繁體轉簡體。	選中
	資料輸出OSS目錄		否	處理後資料的OSS儲存目錄。如果為空白，使用工作空間預設路徑。	無
執行調優	多進程個數		否	設定進程數。	8
	選擇資源群組	公用資源群組	否	選擇節點規格（CPU或GPU執行個體規格）、節點數量、專用網路。	無
	選擇資源群組	專有資源群組	否	選擇CPU核心數、記憶體、共用記憶體、GPU卡數、節點數量。	無
	最大運行時間長度		否	組件最大運行時間長度，超過這個時間，作業會被kill。	無