刪除LaTeX參考文獻 - Platform For AI

LLM-刪除LaTeX參考文獻組件主要用於大語言模型（LLM）的文本資料預先處理工作，適用於TEX文檔格式資料。主要功能是刪除LaTeX格式文本末尾的參考文獻。

支援的計算資源

演算法說明

定義LaTeX格式文本參考文獻的Regex為：r'(\\appendix|\\begin\{references\}|\\begin\{REFERENCES\}|\\begin\{thebibliography\}|\\bibliography\{.*\}).*$'（多個匹配欄位用“|”分隔）。

提取所有滿足上述Regex的字串，並替換為空白字元。樣本如下：

處理前

處理後

配置組件

在Designer工作流程頁面添加LLM-刪除LateX參考文獻組件，並在介面右側配置相關參數：

參數類型	參數	描述
欄位設定	選擇目標處理列	選擇要處理的列，支援多選。
欄位設定	設定輸出表生命週期	正整數，單位為天。預設28天，28天后該組件產生的暫存資料表被回收。
執行調優	每個執行個體的cpu數目	設定map task每個instance的CPU數目，取值範圍：50~800，預設值：100。
	每個執行個體的memory大小，單位M	設定map task每個instance的memory大小，取值範圍：256~12288，預設值：1024，單位：MB。
	每個執行個體處理的資料大小，單位M	設定map task每個instance的最大處理資料量，取值範圍：1~Integer.MAX_VALUE，預設值：256，單位：MB。您可以通過控制這個變數，從而達到對map端輸入的控制。