LLM-Remove LaTeX Bibliography (DLC) コンポーネントは、テキストの末尾から参考文献セクションを削除することで、TeX ドキュメントを処理します。入力データは JSONL フォーマットの OSS ファイルである必要があります (例)。このファイルでは、各行は有効な JSON オブジェクトですが、ファイル全体としては有効な JSON オブジェクトではありません。
サポートされるコンピューティングリソース
アルゴリズム
このコンポーネントは、正規表現 r'(\\appendix|\\begin\{references\}|\\begin\{REFERENCES\}|\\begin\{thebibliography\}|\\bibliography\{.*\}).*$' を使用して LaTeX テキスト内の参考文献を識別します。この式では、複数の一致パターンが縦棒 (|) で区切られています。
このコンポーネントは、正規表現に一致するすべての文字列を削除します。次の例は、処理前と処理後の結果を示しています。
|
処理前 [現在のフィールド値] ポップアップには、 |
後 [現在のフィールド値] ポップアップには、処理後の結果が表示されます。LaTeX ファイルのヘッダーのコメントテキストのみが残ります： |
コンポーネントの設定
Designer で、LLM-Remove LaTeX Bibliography (DLC) コンポーネントをワークフローに追加し、右側のパネルでそのパラメーターを設定します。
|
パラメータータイプ |
パラメーター |
必須 |
説明 |
デフォルト |
|
|
フィールド設定 |
処理するフィールド |
はい |
処理するフィールドの名前。 |
なし |
|
|
出力 OSS ディレクトリ |
いいえ |
処理済みデータを格納する OSS ディレクトリ。このパラメーターを空のままにした場合、デフォルトのワークスペースパスが使用されます。 |
なし |
||
|
実行チューニング |
プロセス数 |
いいえ |
ジョブに使用する同時プロセスの数。 |
8 |
|
|
リソースグループの選択 |
パブリックリソースグループ |
いいえ |
ノード仕様 (CPU または GPU インスタンス)、ノード数、VPC を設定できます。 |
なし |
|
|
専用リソースグループ |
いいえ |
CPU コア数、メモリ、共有メモリ、GPU 数、ノード数を設定できます。 |
なし |
||
|
最大ランタイム |
いいえ |
ジョブの実行が許可される最大時間。この制限を超えると、ジョブは終了します。 |
なし |
||