LaTeX コメント行の削除 - Platform For AI - Alibaba Cloud ドキュメントセンター

LLM-LaTeX コメントの削除コンポーネントは、大規模言語モデル (LLM) のワークフローにおけるテキストデータの前処理に使用します。このコンポーネントは TEX 形式のドキュメントを対象に、LaTeX テキストからコメント行とインラインコメントを削除します。

サポートされるコンピューティングリソース

MaxCompute

アルゴリズム

このコンポーネントは、次の正規表現を使用して LaTeX テキスト内のコメントを識別し、削除します。

タイプ	正規表現
コメント行	`r'(?m)^%.*\n?'`
インラインコメント	`r'[^\\]%.+$'`

このコンポーネントは、これらの正規表現に一致するすべての文字列を検出し、空の文字列に置換します。この処理の例を次に示します。

処理前

%%
%% これはファイル `sample-sigconf.tex' です。
%% LaTeX ソースの最初のコマンドは \documentclass コマンドにする必要があります。
\documentclass[sigconf,review,anonymous]{acmart}

%% 注: 単一カラムのバージョンは、
%% 提出と査読に必要です。これは変更によって対応できます。
\input{math_commands.tex}
%% プリアンブルの終わり、ドキュメントソースの本文の開始。
\begin{document}

%% "title" コマンドにはオプションのパラメーターがあります。
%% これにより、著者はページヘッダーで使用される「短いタイトル」を定義できます。
\title{Hierarchical Cross Contrastive Learning of Visual Representations}
\author{Hesen Chen}

処理後

\documentclass[sigconf,review,anonymous]{acmart}
\input{math_commands.tex}
\begin{document}
\title{Hierarchical Cross Contrastive Learning of Visual Representations}
\author{Hesen Chen}

コンポーネントの設定

[LLM-LaTeX Remove Comments] コンポーネントを Designer ワークフローに追加し、右側のペインでそのパラメーターを設定します。

パラメーターグループ	パラメーター	説明
フィールド設定	ターゲット列の選択	処理する列を 1 つ以上選択します。
	すべてのコメント行を削除	選択した場合、すべてのコメント行を削除します。
	すべてのインラインコメントを削除	選択した場合、すべてのインラインコメントを削除します。
	出力テーブルのライフサイクルを設定	一時的な出力テーブルが削除されるまでの日数を指定します。この値は正の整数である必要があります。デフォルト値は 28 です。
パフォーマンスチューニング	インスタンスあたりの CPU 数	各マップタスクインスタンスの CPU 数。値の範囲：50～800。デフォルト値：100。
	インスタンスあたりのメモリサイズ (MB)	各マップタスクインスタンスのメモリサイズ (MB)。値の範囲：256～12288。デフォルト値：1024。
	インスタンスあたりのデータサイズ (MB)	各マップタスクインスタンスが処理できる最大データ量 (MB)。値の範囲：1～Integer.MAX_VALUE。デフォルト値：256。このパラメーターで、各マップタスクの入力ボリュームを制御します。