LLM-Copyright資訊移除組件說明 - Platform For AI

LLM-Copyright資訊移除（DLC）組件主要用於刪除文本中的Copyright資訊，多用於去除代碼文本中的頭部Copyright注釋。輸入的OSS資料檔案（JSONL格式，樣本）需符合：每一行是一個合法的JSON對象，檔案由多行JSON對象組成，整個檔案本身不是合法的JSON對象。

支援的計算資源

DLC

演算法說明

去除文本中的Copyright資訊或者注釋資訊，分為以下兩個步驟：

首先檢測文本中是否有符合Regex'/\\*[^*]*\\*+(?:[^/*][^*]*\\*+)*/'（注釋字元）的字串。
- 如果匹配到對應字串，則檢測字串中是否包含copyright欄位，如果包含，則刪除整段字串並返回；否則不做刪除，直接返回。
- 如果匹配不到該Regex，則進入步驟2繼續處理。
將文本用分行符號分隔，按行遍曆文本是否以//、#、--注釋符號開頭，一旦匹配到合格某行，繼續統計連續的注釋行，直到注釋符號終止，則遍曆終止。最後刪除文本中的連續注釋片段並返回。

以上步驟均檢測第一次匹配到的注釋片段，即預設檢測文本的頭部，剩餘部分不做處理。例如：

處理前

/**
 * angular-spinner version 0.3.1
 * License: MIT.
 * Copyright (C) 2013, 2014, Uri Shaked and contributors.
 */

(function(window, angular, undefined) {
'use strict';

angular.module('angularSpinner', [])

處理後

(function(window, angular, undefined) {
'use strict';
angular.module('angularSpinner', [])
.factory('usSpinnerService', ['$rootScope', function ($rootScope) {
  var config = {};
  config.spin = function (key) {
    $rootScope.$broadcast('us-spinner:spin', key);
  };
}]);
})(window, angular);

配置組件

在Designer工作流程頁面添加LLM-Copyright資訊移除（DLC）組件，並在介面右側配置相關參數：

參數類型	參數		是否必選	描述	預設值
欄位設定	目標處理欄位		是	要處理的欄位名稱。	無
欄位設定	資料輸出OSS目錄		否	處理後資料的OSS儲存目錄。如果為空白，使用工作空間預設路徑。	無
執行調優	多進程個數		否	設定進程數。	8
	選擇資源群組	公用資源群組	否	選擇節點規格（CPU或GPU執行個體規格）、節點數量、專用網路。	無
	選擇資源群組	專有資源群組	否	選擇CPU核心數、記憶體、共用記憶體、GPU卡數、節點數量。	無
	最大運行時間長度		否	組件最大運行時間長度，超過這個時間，作業會被kill。	無