LLM-擴充LaTeX宏定義組件主要用於大語言模型(LLM)的文本資料預先處理工作,適用於TEX文檔格式資料。主要功能是內聯擴充所有無參數的宏,宏如果由字母和數字組成且沒有參數,則將宏的名稱替換成宏的值。
支援的計算資源
演算法說明
LLM-擴充LaTeX宏定義組件內聯擴充所有無參數的宏,Regex如下:
對比項 | 不帶參數的\newcommand宏 | 不帶參數的\def宏 |
Regex |
|
|
Regex匹配的內容 |
|
|
說明 | macro_name只允許包含字母和數字,macro_value可以包含任何字元 | |
提取所有滿足上述Regex的字串,將macro_name替換為macro_value。樣本如下:
處理前
| 處理後
|
配置組件
在Designer工作流程頁面添加LLM-擴充LaTeX宏定義組件,並在介面右側配置相關參數:
參數類型 | 參數 | 描述 |
欄位設定 | 選擇目標處理列 | 選擇要處理的列,支援多選。 |
設定輸出表生命週期 | 正整數,單位為天。預設28天,28天后該組件產生的暫存資料表被回收。 | |
執行調優 | 每個執行個體的cpu數目 | 設定map task每個instance的CPU數目,取值範圍:50~800,預設值:100。 |
每個執行個體的memory大小,單位M | 設定map task每個instance的memory大小,取值範圍:256~12288,預設值:1024,單位:MB。 | |
每個執行個體處理的資料大小,單位M | 設定map task每個instance的最大處理資料量,取值範圍:1~Integer.MAX_VALUE,預設值:256,單位:MB。 您可以通過控制這個變數,從而達到對map端輸入的控制。 |

