大模型数据处理DLC算法组件支持聚合成组。成组后统一配置资源，DLC节点可批量执行任务、避免中间数据落盘，执行效率和资源利用率更高。
简介
大模型数据处理算法组件由多个DLC/MaxCompute组件组成。其中，DLC组件不仅具备普通组件的功能，还支持聚合成组。对组统一配置资源后，成组的DLC节点在运行时可批量执行任务，并避免中间数据落盘，从而提升执行效率和资源利用率。
在Designer中，支持聚合成组的大模型数据处理DLC组件如下：
-
LLM数据处理（DLC）
-
LVM数据处理（DLC）
当前，大模型数据处理/LLM数据处理（DLC）目录下的LLM-毒性检测与清洗（DLC）和LLM-文本质量打分（DLC）组件不支持聚合成组。
注意事项
组件聚合成组后，需注意以下事项：
-
配置优先级：组的配置优先级高于组内每个节点的单独配置。
-
组件聚合限制：当前，大模型数据处理/LLM数据处理（DLC）目录下的LLM-毒性检测与清洗（DLC）和LLM-文本质量打分（DLC）组件不支持聚合成组。
-
参数配置：每个组件的调优参数需在单个组件内配置，全局字段则在组设置中配置。全局字段包括文本字段、图像字段、视频字段，以及计算资源和数据输出路径等，无需在组件内单独配置。
-
多节点分布式运行支持：部分组件不支持多节点分布式运行。如果组中包含不支持多节点的组件，启动多节点任务会失败。此时需将该组件从组中移除，或使用单节点运行该组。要确认组件是否支持多节点分布式运行，检查该组件的执行调优界面：如果节点数量可改为大于1的数值，则该组件支持多节点分布式运行。
-
输出结果：组内的单个组件不会单独输出结果。组内每个组件的输出结果均为整个组的输出。例如，下图从组中间拉出一条工作流连接到下游，此时中间组件（LLM-文本标准化）的输出是LLM-文本标准化和LLM-特殊内容移除两个组件处理后的结果，而不仅是LLM-文本标准化处理后的结果。
聚合成组
智能聚合
系统检测到画布中有可成组运行的节点时，您可以单击画布上方的
聚合，然后单击
，对组配置资源。
组配置面板包含以下字段：
-
组名（如
LLMDataProcessGroup1） -
计算资源（DLC）
-
选择资源组（公共资源组）
-
节点规格（如CPU 4vCPU+16GB Mem ecs.g6.xlarge）
-
节点数量
-
专有网络配置
-
最大运行时长(秒)
-
文本字段（要处理的文本字段名称）
-
数据输出 OSS 目录（必选，处理后数据的 OSS 存储目录）
手动聚合
您也可以单击画布上方的
，或按住Shift并用鼠标左键选择多个大模型数据处理DLC节点，在空白处右键单击，选择选中节点成组，然后单击，对组配置资源。
在组配置面板中设置以下参数：
-
组名：自定义组名称，例如LLMDataProcessGroup1
-
计算资源：选择DLC
-
选择资源组：选择公共资源组或专属资源组
-
CPU/GPU：选择CPU或GPU
-
规格：选择计算实例规格，例如4xCPU+16GB Mem ecs.g6.xlarge
-
节点数量：设置节点数量
-
专有网络：选择专有网络
-
最大运行时长(秒)：设置最大运行时长
-
文本字段：设置文本字段名称，例如text
-
数据输出 OSS 目录：设置数据输出路径