LLM - Copyright Removal (DLC) component - Platform For AI - Alibaba Cloud ドキュメントセンター

LLM - Copyright Removal (DLC) コンポーネントは、テキストから著作権情報を削除します。通常、コードファイルの先頭にある著作権コメントブロックを削除するために使用されます。OSS からの入力データは、各行が有効な JSON オブジェクトである JSON Lines (JSONL) フォーマット (サンプル) である必要があります。

サポートされる計算リソース

DLC

仕組み

このコンポーネントは、2 つのステップでテキストから著作権情報やその他の先頭のコメントを削除します。

まず、コンポーネントはテキストをスキャンし、ブロックコメントを識別する正規表現 '/\\*[^*]*\\*+(?:[^/*][^*]*\\*+)*/' に一致する文字列を探します。
- 一致する文字列が見つかった場合、コンポーネントはその文字列に copyright という単語が含まれているかどうかをチェックします。含まれている場合は、コメントブロック全体が削除されます。含まれていない場合は、文字列は変更されません。
- 一致が見つからない場合、コンポーネントはステップ 2 に進みます。
コンポーネントはテキストを個々の行に分割し、連続するコメント行 (//、#、または -- で始まる行) の最初のブロックを検索して、ブロック全体を削除します。

どちらのステップも、テキストの先頭にあると想定される、最初に見つかったコメントブロックのみを処理します。残りのコンテンツは変更されません。例：

処理前

/**
 * angular-spinner version 0.3.1
 * License: MIT.
 * Copyright (C) 2013, 2014, Uri Shaked and contributors.
 */

(function(window, angular, undefined) {
'use strict';

angular.module('angularSpinner', [])

処理後

(function(window, angular, undefined) {
'use strict';
angular.module('angularSpinner', [])
.factory('usSpinnerService', ['$rootScope', function ($rootScope) {
  var config = {};
  config.spin = function (key) {
    $rootScope.$broadcast('us-spinner:spin', key);
  };
}]);
})(window, angular);

コンポーネントの設定

Designer で、LLM - Copyright Removal (DLC) コンポーネントをワークフローに追加し、右側のパネルでそのパラメーターを設定します。

パラメーターグループ	パラメーター		必須	説明	デフォルト
フィールド設定	ターゲットフィールド		はい	処理対象のフィールド名。	N/A
フィールド設定	出力 OSS ディレクトリ		いいえ	処理後のデータを格納する OSS ディレクトリ。空のままにすると、デフォルトのワークスペースパスが使用されます。	N/A
実行チューニング	プロセス数		いいえ	ジョブに使用する並列プロセス数。	8
	リソースグループの選択	パブリックリソースグループ	いいえ	ノード仕様 (CPU または GPU インスタンスタイプ)、ノード数、VPC を選択します。	N/A
	リソースグループの選択	専用リソースグループ	いいえ	CPU コア数、メモリ、共有メモリ、GPU 数、ノード数を選択します。	N/A
	最大ランタイム		いいえ	ジョブの最大ランタイム。この期間を超えると、システムはジョブを終了します。	N/A