全部產品
Search
文件中心

Platform For AI:大模型資料處理組件彙總成組

更新時間:Dec 14, 2024

大模型資料處理DLC演算法組件支援彙總成組與資源最佳化,可實現高效的資料處理和資源利用。其創新之處在於支援批量任務執行,減少不必要的資料存放區操作,從而顯著提升效能表現。

簡介

大模型資料處理演算法組件由多個DLC/MaxCompute組件組成。其中,DLC組件不僅具備普通組件的功能,還支援彙總成組的操作。通過對組進行資源配置,成組後的DLC節點在運行時能夠批量執行任務,並避免中間資料落盤,從而提升執行效率和資源使用率。

在Designer中,支援彙總成組的大模型資料處理DLC組件如下:

image

重要

當前在大模型資料處理/LLM資料處理(DLC)目錄下的LLM-毒性檢測與清洗(DLC)和LLM-文本品質打分(DLC)組件不支援彙總成組。

注意事項

當組件彙總成組後,需注意以下事項:

  • 配置優先順序:組的配置優先順序高於組內每個節點的單獨配置。

  • 組件彙總限制:當前在大模型資料處理/LLM資料處理(DLC)目錄下的LLM-毒性檢測與清洗(DLC)LLM-文本品質打分(DLC)組件不支援彙總成組。

  • 參數配置:每個組件的調優參數需要在單個組件內進行配置,而全域欄位則應在組設定中進行配置。全域欄位包括文字欄位、映像欄位、視頻欄位,以及計算資源和資料輸出路徑等,這些無需在組件內單獨配置。

  • 多節點分布式運行支援:部分組件不支援多節點分布式運行。如果組中包含不支援多節點的組件,啟動多節點任務將會失敗。在這種情況下,需要將該組件從組中移除或使用單節點運行該組。要確認組件是否支援多節點分布式運行,可以檢查該組件的執行調優介面:如果節點數量可以修改為大於1的數值,則該組件支援多節點分布式運行。

    image

  • 輸出結果:組內的單個組件不會單獨輸出結果。組內每個組件的輸出結果均為整個組的輸出。例如,下圖顯示了從組中間拉出一條工作流程串連到下遊,在這種情況下,中間組件(LLM-文本標準化)的輸出是LLM-文本標準化和LLM-特殊內容移除兩個組件處理後的結果,而不是僅僅LLM-文本標準化處理後的結果。

    image

彙總成組

智能彙總

當系統檢測到畫布中有可以成組啟動並執行節點時,您可以單擊畫布上方的image進行彙總,然後單擊image,對組進行資源配置。

image

手動彙總

您也可以單擊畫布上方的image或通過Shift+滑鼠左鍵,選擇多個大模型資料處理DLC節點,在空白處單擊右鍵,選擇選中節點成組,然後單擊image,對組進行資源配置。

image

相關文檔