LLM-Clean Copyright Information (MaxCompute) - Platform For AI - Alibaba Cloud ドキュメントセンター

LLM-Clean Copyright Information (MaxCompute) コンポーネントは、大規模言語モデル (LLM) 向けのテキストデータを前処理します。主な機能は、コードから著作権に関するコメントヘッダーを削除することです。

サポートされるコンピューティングリソース

MaxCompute

アルゴリズム

このコンポーネントは、以下の 2 つのステップでテキストから著作権情報やその他のコメント情報を削除します：

まず、アルゴリズムはテキストに正規表現 '/\\*[^*]*\\*+(?:[^/*][^*]*\\*+)*/' (コメント文字) に一致する文字列が含まれているかどうかをチェックします。
- 一致する文字列が見つかった場合、アルゴリズムはその文字列に copyright というキーワードが含まれているかを確認します。含まれている場合は、文字列全体を削除して結果を返します。含まれていない場合は、テキストを変更せずにそのまま返します。
- 正規表現に一致する文字列が見つからなかった場合、アルゴリズムはステップ 2 に進みます。
アルゴリズムはテキストを改行で分割します。次に、各行を反復処理し、//、#、-- などのコメントマーカーで始まっているかどうかを確認します。一致する行が見つかると、コメントではない行が見つかるまで、連続するコメント行を数え続けます。最後に、アルゴリズムは連続したコメントブロックをテキストから削除し、結果を返します。

前述のどちらのステップも、最初に一致したコメントブロックのみを検出します。つまり、このコンポーネントはテキストのヘッダー部分のみをチェックし、残りのコンテンツは処理しません。以下の例は、処理前と処理後の比較です。

処理前

[現在のフィールド値] ポップアップウィンドウには、angular-spinner 0.3.1 の JavaScript ソースコードが表示されます。コードの先頭には、バージョン番号、ライセンスタイプ (License: MIT)、および `Copyright (C) 2013, 2014, Uri Shaked and contributors` という通知を含む MIT ライセンスのコメントブロックがあります。その後に IIFE と `angular.module('angularSpinner', [])` などのコード行が続きます。

後

(function(window, angular, undefined) {
'use strict';
angular.module('angularSpinner', [])
.factory('usSpinnerService', ['$rootScope', function ($rootScope) {
    var config = {};
    config.spin = function (key) {
        $rootScope.$broadcast('us-spinner:spin', key);
    };
}]);
})(window, window.angular);

コンポーネントの設定

ビジュアルモデリングで、[LLM-Clean Copyright Information (MaxCompute)] コンポーネントをパイプラインに追加し、右側のペインでそのパラメーターを設定します。

タイプ	パラメーター	デフォルト値	説明
フィールド設定	ターゲット列の選択	なし	処理する列を選択します。
フィールド設定	出力テーブルのライフサイクル	28	出力される一時テーブルのライフサイクルを日数で指定します。この期間を過ぎると、テーブルはリサイクルされます。デフォルト値：28。
チューニング	インスタンスあたりの CPU 数	100	各マップタスクインスタンスの CPU 数。有効値の範囲は [50, 800] です。
	インスタンスあたりのメモリサイズ (MB)	1024	各マップタスクインスタンスのメモリサイズ (MB)。有効値の範囲は [256, 12288] です。
	インスタンスあたりのデータサイズ (MB)	256	各マップタスクインスタンスが処理できるデータの最大量。このパラメーターを設定することで、マップ側の入力を制御できます。値の単位は MB で、有効値の範囲は [1, Integer.MAX_VALUE] です。