LLM-特殊內容移除組件說明 - Platform For AI

LLM-特殊內容移除（DLC）組件主要用於去除文本中的URL連結，以及去除HTML格式字元並解析出HTML文本。輸入的OSS資料檔案（JSONL格式，樣本）需符合：每一行是一個合法的JSON對象，檔案由多行JSON對象組成，整個檔案本身不是合法的JSON對象。

支援的計算資源

DLC

演算法說明

LLM-特殊內容移除組件支援以下功能：

去除URL連結

刪除文本中匹配Regexr'(https?|http)?:\/\/[\w\.\/\?\=\&\%\-\_]+'的字元。
去除HTML格式字元並解析出HTML文本

將文本中的'<li>'替換成'\n*'，'<ol>'替換成'\n*'，並刪除'</li>'和'</ol>'字元。最後解析HTML文本並返回。

例如去除文章中的URL連結：

處理前

處理前的當前欄位值為 AngularJS v1.3.0-beta.2 壓縮源碼，其中 URL http://angularjs.org 被重點標註。欄位值內容片段：

/*
 AngularJS v1.3.0-beta.2
 (c) 2010-2014 Google, Inc. http://angularjs.org
 License: MIT
*/
(function(H,a,A){'use strict';function D(p,g){g=g||
{};a.forEach(g,function(a,c){delete g[c]});for(var c in
p)!p.hasOwnProperty(c)||"$"===c.charAt(0)&&"$"===c.charAt(1)|| // ...

處理後

配置組件

在Designer工作流程頁面添加LLM-特殊內容移除（DLC）組件，並在介面右側配置相關參數：

參數類型	參數		是否必選	描述	預設值
欄位設定	目標處理欄位		是	要處理的欄位名稱。	無
	是否去除URL連結		否	是否去除URL連結。	選中
	是否去除html格式字元並解析出html文本		否	是否去除HTML格式字元並解析出HTML文本。	未選中
	資料輸出OSS目錄		否	處理後資料的OSS儲存目錄。如果為空白，使用工作空間預設路徑。	無
執行調優	多進程個數		否	設定進程數。	8
	選擇資源群組	公用資源群組	否	選擇節點規格（CPU或GPU執行個體規格）、節點數量、專用網路。	無
	選擇資源群組	專有資源群組	否	選擇CPU核心數、記憶體、共用記憶體、GPU卡數、節點數量。	無
	最大運行時間長度		否	組件最大運行時間長度，超過這個時間，作業會被kill。	無