LaTeX マクロ展開 - Platform For AI - Alibaba Cloud ドキュメントセンター

Platform for AI (PAI) の LLM-LaTeX マクロ展開 (DLC) コンポーネントは、大規模言語モデル (LLM) のトレーニングに使用される TeX テキストデータを前処理します。マクロにパラメーターがなく、マクロ名に英数字のみが含まれている場合、アルゴリズムはマクロ名をマクロ定義に置き換えてインライン展開を実行します。入力の Object Storage Service (OSS) データファイルは JSON Lines フォーマットで、次の要件を満たす必要があります：ファイル内の各行は有効な JSON オブジェクトであり、ファイルは複数行の JSON オブジェクトで構成されますが、ファイル自体は有効な JSON オブジェクトではありません。詳細については、「例」をご参照ください。

サポートされているコンピューティングリソース

Deep Learning Containers (DLC)

アルゴリズムの説明

LLM-LaTeX マクロ展開 (DLC) コンポーネントは、次の正規表現に一致するマクロに対してインライン展開を実行します：

項目	\newcommand で定義されたパラメーターなしのマクロ	\def で定義されたパラメーターなしのマクロ
正規表現	`r'\\\bnewcommand\b\?\{(\\[a-zA-Z0-9]+?)\}\{(.?)\}$'`	`r'\\def\s(\\[a-zA-Z0-9]+?)\s\{(.*?)\}$'`
一致するマクロ	`\newcommand{\macro_name}{macro_value}` `\newcommand*{\macro_name}{macro_value}`	`\def\macro_name{macro_value}`
注	`macro_name` の値は英数字のみですが、`macro_value` には任意の文字を含めることができます。

マクロが前述の正規表現に一致する場合、コンポーネントは macro_name の値を macro_value の値に置き換えます。例：

処理前

\usepackage{microtype}
\usepackage{graphicx}

% hyperref と algorithmic の連携を改善する試み：
\newcommand{\theHalgorithm}{\arabic{algorithm}}
% 定理など
\usepackage{amsmath}

処理後

\usepackage{microtype}
\usepackage{graphicx}

% hyperref と algorithmic の連携を改善する試み：

% 定理など
\usepackage{amsmath}

コンポーネントの設定

ビジュアルモデリングのパイプラインページで、[LLM-LaTeX マクロ展開 (DLC)] コンポーネントのパラメーターを設定します。

[タブ]	[パラメーター]		[必須]	[説明]	[デフォルト値]
[フィールド設定]	[対象処理フィールド]		はい	処理するフィールドの名前。	N/A
[フィールド設定]	[出力データ保存用の OSS ディレクトリ]		いいえ	生成されたデータを格納する OSS ディレクトリ。このパラメーターを指定しない場合、ワークスペースのデフォルトパスが使用されます。	N/A
[チューニング]	[プロセス数]		いいえ	プロセス数。	8
	[リソースグループを選択]	[パブリックリソースグループ]	いいえ	使用するインスタンスタイプ (CPU または GPU)、インスタンス数、および仮想プライベートクラウド (VPC)。	N/A
	[リソースグループを選択]	[専用リソースグループ]	いいえ	使用する vCPU 数、メモリ、共有メモリ、GPU 数、およびインスタンス数。	N/A
	[最大実行期間]		いいえ	コンポーネントの最大実行期間。この期間を超えると、ジョブは終了します。	N/A