刪除LaTeX文檔頭 - Platform For AI

LLM-刪除LaTeX文檔頭組件主要用於大語言模型（LLM）的文本資料預先處理工作，適用於TEX文檔格式資料。主要功能是找到第一個匹配<section-type>[optional-args]{name}章節格式的字串，並將其之前的所有內容刪除，保留第一個匹配到章節後的所有內容，包括該章區段標頭。

支援的計算資源

MaxCompute

演算法說明

定義LaTeX格式文本章節的Regex為：r'^(.*?)(\\\bchapter\b\*?(?:\[(.*?)\])?\{(.*?)\}|\\\bpart\b\*?(?:\[(.*?)\])?\{(.*?)\}|\\\bsection\b\*?(?:\[(.*?)\])?\{(.*?)\}|\\\bsubsection\b\*?(?:\[(.*?)\])?\{(.*?)\}|\\\bsubsubsection\b\*?(?:\[(.*?)\])?\{(.*?)\}|\\\bparagraph\b\*?(?:\[(.*?)\])?\{(.*?)\}|\\\bsubparagraph\b\*?(?:\[(.*?)\])?\{(.*?)\})'（多個匹配欄位用“|”分隔）。

定位到滿足上述Regex的第一個字串，將其之前的所有內容刪除，保留第一個匹配到章節後的所有內容，包括該章區段標頭。樣本如下：

處理前

\begin{teaserfigure}
\end{teaserfigure}
%% This command processes the author and affiliation and title
\maketitle
\section{Introduction}
\begin{itemize}
\end{itemize}
\section{Related Work}
\label{gen_inst} Self-supervised

處理後

\section{Introduction}
\begin{itemize}
\end{itemize}
\section{Related Work}
\label{gen_inst} Self-supervised
\section{Method}
\label{method}In this section,
\subsection{Framework} kkk

配置組件

在Designer工作流程頁面添加LLM-刪除LaTeX文檔頭（MaxCompute）組件，並在介面右側配置相關參數：

參數類型	參數	描述
欄位設定	選擇目標處理列	選擇要處理的列，支援多選。
	是否刪除沒有匹配到章節格式的樣本	如果勾選此選項，如果樣本沒有匹配到任何章節格式，則刪除該樣本。
	設定輸出表生命週期	正整數，單位為天。預設28天，28天后該組件產生的暫存資料表被回收。
執行調優	每個執行個體的cpu數目	設定map task每個instance的CPU數目，取值範圍：50~800，預設值：100。
	每個執行個體的memory大小，單位M	設定map task每個instance的memory大小，取值範圍：256~12288，預設值：1024，單位：MB。
	每個執行個體處理的資料大小，單位M	設定map task每個instance的最大處理資料量，取值範圍：1~Integer.MAX_VALUE，預設值：256，單位：MB。您可以通過控制這個變數，從而達到對map端輸入的控制。