LLM-LaTeX Remove Bibliography コンポーネントは、大規模言語モデル (LLM) 向けに TEX 形式のテキストデータを前処理します。LaTeX 形式のテキストから参考文献セクションを削除します。
サポートされるコンピューティングリソース
アルゴリズム
このコンポーネントは、正規表現 r'(\\appendix|\\begin\{references\}|\\begin\{REFERENCES\}|\\begin\{thebibliography\}|\\bibliography\{.*\}).*$' を使用して、LaTeX 形式のテキスト内の参考文献セクションを特定します。ここで、パイプ文字 (|) は複数の一致パターンを区切ります。
このコンポーネントは、この正規表現に一致するすべての文字列を検索し、空の文字列に置き換えます。例：
|
処理前
|
処理後 [現在のフィールド値] ダイアログボックスでは、フィールドの内容が |
コンポーネントの設定
ビジュアルモデリングで、パイプラインに LLM-LaTeX Remove Bibliography コンポーネントを追加し、右側のペインでそのパラメーターを設定します。
|
パラメータータイプ |
パラメーター |
説明 |
|
フィールド設定 |
処理するターゲット列の選択 |
処理する列を 1 つ以上選択します。 |
|
出力テーブルのライフサイクルの設定 |
このコンポーネントによって生成される一時テーブルの保存期間 (日数)。値は正の整数である必要があります。この期間が経過すると、テーブルは削除されます。デフォルト：28。 |
|
|
実行チューニング |
インスタンスあたりの CPU 数 |
各マップタスクインスタンスの CPU コア数。有効値の範囲は 50～800 です。デフォルト：100。 |
|
インスタンスあたりのメモリサイズ (MB) |
各マップタスクインスタンスに割り当てるメモリ (MB)。有効値の範囲は 256～12288 です。デフォルト：1024。 |
|
|
インスタンスあたりのデータサイズ (MB) |
各マップタスクインスタンスが処理できる最大データ量 (MB)。有効値の範囲は 1～Integer.MAX_VALUE です。デフォルト：256。 このパラメーターを調整して、マップステージの入力ボリュームをコントロールできます。 |