Komponen LLM - Copyright Removal (DLC) - Platform For AI

Komponen LLM - Copyright Removal (DLC) menghapus informasi hak cipta dari teks dan biasanya digunakan untuk menghilangkan blok komentar hak cipta di awal file kode. Data masukan dari OSS harus dalam format JSON Lines (JSONL) (Contoh), dengan setiap baris berupa objek JSON yang valid.

compute resources yang didukung

DLC

Cara kerja

Komponen ini menghapus informasi hak cipta dan komentar pembuka lainnya dari teks dalam dua langkah:

Pertama, komponen memindai teks untuk mencari string apa pun yang sesuai dengan ekspresi reguler '/\\*[^*]*\\*+(?:[^/*][^*]*\\*+)*/', yang mengidentifikasi komentar blok.
- Jika ditemukan string yang sesuai, komponen memeriksa apakah string tersebut berisi kata copyright. Jika iya, seluruh blok komentar tersebut dihapus; jika tidak, string tersebut dibiarkan tanpa perubahan.
- Jika tidak ditemukan kecocokan, komponen melanjutkan ke langkah 2.
Komponen membagi teks menjadi baris-baris individual, mencari blok pertama yang terdiri atas baris komentar berurutan (baris yang diawali dengan //, #, atau --), lalu menghapus seluruh blok tersebut.

Kedua langkah hanya memproses blok komentar pertama yang ditemukan—yang diasumsikan berada di awal teks—sedangkan sisa konten dibiarkan tanpa perubahan. Contohnya:

Sebelum diproses

/**
 * angular-spinner version 0.3.1
 * License: MIT.
 * Copyright (C) 2013, 2014, Uri Shaked and contributors.
 */

(function(window, angular, undefined) {
'use strict';

angular.module('angularSpinner', [])

Setelah diproses

(function(window, angular, undefined) {
'use strict';
angular.module('angularSpinner', [])
.factory('usSpinnerService', ['$rootScope', function ($rootScope) {
  var config = {};
  config.spin = function (key) {
    $rootScope.$broadcast('us-spinner:spin', key);
  };
}]);
})(window, angular);

Konfigurasi komponen

Di Designer, tambahkan komponen LLM - Copyright Removal (DLC) ke alur kerja Anda dan konfigurasikan parameternya di panel sebelah kanan.

Parameter group	Parameter		Required	Description	Default
Field settings	Target field		Yes	Nama bidang yang akan diproses.	N/A
Field settings	Output OSS directory		No	Direktori OSS untuk menyimpan data yang telah diproses. Jika dibiarkan kosong, jalur ruang kerja default akan digunakan.	N/A
Execution tuning	Number of processes		No	Jumlah proses paralel yang digunakan untuk pekerjaan ini.	8
	Select resource group	Public resource group	No	Pilih spesifikasi node (Tipe instans CPU atau GPU), jumlah node, dan VPC.	N/A
	Select resource group	Dedicated resource group	No	Pilih jumlah core CPU, memori, memori bersama, jumlah GPU, dan jumlah node.	N/A
	Maximum runtime		No	Waktu proses maksimum untuk pekerjaan ini. Sistem akan menghentikan tugas jika melebihi durasi ini.	N/A