LLM-擴充LaTeX宏定義組件主要用於大語言模型(LLM)的文本資料預先處理工作,適用於TEX文檔格式資料。主要功能是內聯擴充所有無參數的宏,宏如果由字母和數字組成且沒有參數,則將宏的名稱替換成宏的值。
支援的計算資源
演算法說明
LLM-擴充LaTeX宏定義組件內聯擴充所有無參數的宏,Regex如下:
|
對比項 |
不帶參數的\newcommand宏 |
不帶參數的\def宏 |
|
Regex |
|
|
|
Regex匹配的內容 |
|
|
|
說明 |
macro_name只允許包含字母和數字,macro_value可以包含任何字元 |
|
提取所有滿足上述Regex的字串,將macro_name替換為macro_value。樣本如下:
|
處理前
|
處理後 處理後,
|
配置組件
在Designer工作流程頁面添加LLM-擴充LaTeX宏定義組件,並在介面右側配置相關參數:
|
參數類型 |
參數 |
描述 |
|
欄位設定 |
選擇目標處理列 |
選擇要處理的列,支援多選。 |
|
設定輸出表生命週期 |
正整數,單位為天。預設28天,28天后該組件產生的暫存資料表被回收。 |
|
|
執行調優 |
每個執行個體的cpu數目 |
設定map task每個instance的CPU數目,取值範圍:50~800,預設值:100。 |
|
每個執行個體的memory大小,單位M |
設定map task每個instance的memory大小,取值範圍:256~12288,預設值:1024,單位:MB。 |
|
|
每個執行個體處理的資料大小,單位M |
設定map task每個instance的最大處理資料量,取值範圍:1~Integer.MAX_VALUE,預設值:256,單位:MB。 您可以通過控制這個變數,從而達到對map端輸入的控制。 |