LLM-删除LaTeX参考文献(DLC)组件适用于TEX文档格式数据。主要功能是删除LaTeX格式文本末尾的参考文献。输入的OSS数据文件(JSONL格式,示例)需符合:每一行是一个合法的JSON对象,文件由多行JSON对象组成,整个文件本身不是合法的JSON对象。
支持的计算资源
算法说明
定义LaTeX格式文本参考文献的正则表达式为:r'(\\appendix|\\begin\{references\}|\\begin\{REFERENCES\}|\\begin\{thebibliography\}|\\bibliography\{.*\}).*$'(多个匹配字段用“|”分隔)。
提取所有满足上述正则表达式的字符串,并替换为空字符。示例如下:
|
处理前 弹窗当前字段值中显示 |
处理后 当前字段值弹窗中显示处理结果为 LaTeX 文件头部注释文本: |
配置组件
在Designer工作流页面添加LLM-删除LaTeX参考文献(DLC)组件,并在界面右侧配置相关参数:
|
参数类型 |
参数 |
是否必选 |
描述 |
默认值 |
|
|
字段设置 |
目标处理字段 |
是 |
要处理的字段名称。 |
无 |
|
|
数据输出OSS目录 |
否 |
处理后数据的OSS存储目录。如果为空,使用工作空间默认路径。 |
无 |
||
|
执行调优 |
多进程个数 |
否 |
设置进程数。 |
8 |
|
|
选择资源组 |
公共资源组 |
否 |
选择节点规格(CPU或GPU实例规格)、节点数量、专有网络。 |
无 |
|
|
专有资源组 |
否 |
选择CPU核数、内存、共享内存、GPU卡数、节点数量。 |
无 |
||
|
最大运行时长 |
否 |
组件最大运行时长,超过这个时间,作业会被kill。 |
无 |
||