全部產品
Search
文件中心

Platform For AI:LLM-擴充LaTeX宏定義(MaxCompute)

更新時間:Jul 13, 2024

LLM-擴充LaTeX宏定義組件主要用於大語言模型(LLM)的文本資料預先處理工作,適用於TEX文檔格式資料。主要功能是內聯擴充所有無參數的宏,宏如果由字母和數字組成且沒有參數,則將宏的名稱替換成宏的值。

支援的計算資源

MaxCompute

演算法說明

LLM-擴充LaTeX宏定義組件內聯擴充所有無參數的宏,Regex如下:

對比項

不帶參數的\newcommand宏

不帶參數的\def宏

Regex

r'\\\bnewcommand\b\*?\{(\\[a-zA-Z0-9]+?)\}\{(.*?)\}$'

r'\\def\s*(\\[a-zA-Z0-9]+?)\s*\{(.*?)\}$'

Regex匹配的內容

\newcommand{\macro_name}{macro_value}

\newcommand*{\macro_name}{macro_value}

\def\macro_name{macro_value}

說明

macro_name只允許包含字母和數字,macro_value可以包含任何字元

提取所有滿足上述Regex的字串,將macro_name替換為macro_value。樣本如下:

處理前

image

處理後

image

配置組件

在Designer工作流程頁面添加LLM-擴充LaTeX宏定義組件,並在介面右側配置相關參數:

參數類型

參數

描述

欄位設定

選擇目標處理列

選擇要處理的列,支援多選。

設定輸出表生命週期

正整數,單位為天。預設28天,28天后該組件產生的暫存資料表被回收。

執行調優

每個執行個體的cpu數目

設定map task每個instance的CPU數目,取值範圍:50~800,預設值:100。

每個執行個體的memory大小,單位M

設定map task每個instance的memory大小,取值範圍:256~12288,預設值:1024,單位:MB。

每個執行個體處理的資料大小,單位M

設定map task每個instance的最大處理資料量,取值範圍:1~Integer.MAX_VALUE,預設值:256,單位:MB。

您可以通過控制這個變數,從而達到對map端輸入的控制。