LLM - Penghapusan konten khusus (DLC) - Platform For AI - Alibaba Cloud Documentation Center

Komponen LLM - Special Content Removal (DLC) menghapus tautan URL, menghilangkan tag HTML, dan mengurai teks hasilnya. File data input OSS harus dalam format JSONL (contoh), di mana setiap baris merupakan objek JSON yang valid, meskipun seluruh file tidak membentuk objek JSON yang valid.

Compute resources yang didukung

DLC

Algoritma

Komponen LLM - Special Content Removal (DLC) mendukung fitur-fitur berikut:

Hapus tautan URL

Menghapus karakter dari teks yang sesuai dengan ekspresi reguler r'(https?|http)?:\/\/[\w\.\/\?\=\&\%\-\_]+'.
Hapus tag HTML dan uraikan teks HTML

Mengganti '<li>' dan '<ol>' dengan '\n*', serta menghapus tag '</li>' dan '</ol>'. Komponen kemudian mengurai dan mengembalikan teks hasilnya.

Sebagai contoh, untuk menghapus tautan URL dari sebuah artikel:

Sebelum

Sebelum diproses, nilai bidang saat ini adalah kode sumber minified AngularJS v1.3.0-beta.2, di mana URL http://angularjs.org disorot. Cuplikan nilai bidang tersebut:

/*
 AngularJS v1.3.0-beta.2
 (c) 2010-2014 Google, Inc. http://angularjs.org
 License: MIT
*/
(function(H,a,A){'use strict';function D(p,g){g=g||
{};a.forEach(g,function(a,c){delete g[c]});for(var c in
p)!p.hasOwnProperty(c)||"$"===c.charAt(0)&&"$"===c.charAt(1)|| // ...

Sesudah

Kotak dialog current field value menampilkan konten yang telah diproses. Ini merupakan cuplikan kode JavaScript minified dari AngularJS v1.3.0-beta.2, termasuk komentar hak cipta ((c) 2010-2014 Google, Inc., License: MIT) dan sebagian definisi fungsi. URL http://angularjs.org telah dihapus.

Konfigurasi komponen

Dalam alur kerja Designer, tambahkan komponen LLM - Special Content Removal (DLC) dan konfigurasikan parameternya di panel sisi kanan.

Jenis parameter	Parameter		Wajib	Deskripsi	Bawaan
pengaturan bidang	target processing field		Ya	Nama bidang yang akan diproses.	Tidak ada
	Remove URL links		Tidak	Apakah akan menghapus tautan URL dari teks.	Dipilih
	Remove HTML tags and parse HTML text		Tidak	Apakah akan menghapus tag HTML dan mengurai teks hasilnya.	Tidak dipilih
	data output OSS directory		Tidak	Direktori OSS untuk menyimpan data yang telah diproses. Jika parameter ini dibiarkan kosong, komponen akan menggunakan path ruang kerja bawaan.	Tidak ada
penyesuaian eksekusi	number of processes		Tidak	Jumlah proses yang digunakan untuk pekerjaan.	8
	Select resource group	public resource group	Tidak	Pilih spesifikasi instans (CPU atau GPU), jumlah node, dan Virtual Private Cloud.	Tidak ada
	Select resource group	dedicated resource group	Tidak	Pilih jumlah core CPU, memori, memori bersama, jumlah GPU, dan jumlah node.	Tidak ada
	maximum runtime		Tidak	Waktu proses maksimum komponen. Jika waktu ini terlampaui, sistem akan menghentikan tugas.	Tidak ada