LLM-LaTeX Expand Macro (DLC) コンポーネントの説明 - Platform For AI

Platform for AI (PAI) のLLM-LaTeX Expand Macro (DLC) コンポーネントは、大規模言語モデル (LLM) のトレーニングに使用されるTeXテキストデータを前処理するために使用されます。マクロにパラメーターがなく、マクロ名に文字と数字のみが含まれている場合、アルゴリズムはマクロ名をインライン展開用のマクロ定義に置き換えます。入力Object Storage Service (OSS) データファイルは、JSONライン形式であり、次の要件を満たす必要があります。ファイルの各行は有効なJSONオブジェクトであり、ファイルは複数行のJSONオブジェクトで構成されますが、ファイルは有効なJSONオブジェクトではありません。詳細については、「例」をご参照ください。

サポートされるコンピューティングリソース

ディープラーニングコンテナ (DLC)

アルゴリズムの説明

LLM-LaTeX Expand Macro (DLC) コンポーネントは、次の正規表現に一致するマクロに対してインライン展開を実行します。

項目	\newcommandを使用して定義されたパラメーターなしマクロ	\defを使用して定義されたパラメーターなしマクロ
正規表現	`r' \\\ bnewcommand\b\* ?\{(\\[a-zA-Z0-9]+?)\}\{(.*?)\}$ '`	`r'\\def\s (\\[a-zA-Z0-9]+?)\s {(.*?)\}$ '`
一致したマクロ	`\newcommand{\macro_name}{macro_value}` `\newcommand *{\macro_name}{macro_value}`	`\def\macro_name{macro_value}`
注意	macro_name値には文字と数字のみを使用できますが、macro_valueには任意の文字を使用できます。

マクロが上記の正規表現と一致する場合、コンポーネントはmacro_nameの値をmacro_valueの値に置き換えます。例：

処理前

処理後

コンポーネントの設定

Machine Learning Designerのパイプラインページで、LLM-LaTeX Expand Macro (DLC) コンポーネントのパラメーターを設定します。

タブ	パラメーター		必須	説明	デフォルト値
フィールドの設定	Target Processフィールド		可	処理するフィールドの名前。	N/A
フィールドの設定	OutputDataを保存するためのOSSディレクトリ		不可	生成されたデータが保存されるOSSディレクトリ。このパラメーターを指定しない場合、ワークスペースのデフォルトパスが使用されます。	N/A
チューニング	プロセス数		不可	プロセスの数。	8
	リソースグループの選択	パブリックリソースグループ	不可	使用するインスタンスタイプ (CPUまたはGPU) 、インスタンス数、および仮想プライベートクラウド (VPC) 。	N/A
	リソースグループの選択	専用リソースグループ	不可	使用するvCPU、メモリ、共有メモリの数、GPUの数、およびインスタンスの数。	N/A
	最大実行時間		不可	コンポーネントを実行できる最大期間。この時間を超えると、ジョブは終了する。	N/A