Komponen LLM-Clean Special Content - Platform For AI - Alibaba Cloud Documentation Center

Komponen LLM-Clean Special Content melakukan pra-pemrosesan data teks untuk model bahasa besar (large language model/LLM) dengan menghapus konten khusus seperti informasi navigasi, informasi penulis, informasi sumber, URL, karakter non-printable, dan markup HTML, serta mengurai dan mengekstraksi teks dari struktur HTML.

Batasan

Komponen ini hanya mendukung Mesin komputasi MaxCompute.

Cara kerja

Komponen LLM-Clean Special Content mendukung fitur-fitur berikut:

Pertama, komponen membagi teks menjadi beberapa baris menggunakan line break.

Hapus informasi navigasi
- Kata kunci informasi navigasi meliputi: 'Home>', 'Main page>', 'Home»', 'Home/', dan 'Home|'.
- Ekspresi reguler informasi navigasi: 'Current location:.*[>]{1,}' dan 'Location:.*[>]{1,}'.
- Komponen menghapus baris yang berisi kata kunci tersebut atau yang sesuai dengan ekspresi reguler ini.
Hapus informasi penulis

Komponen menghapus baris jika baris tersebut berisi salah satu kata kunci terkait penulis yang ditentukan dan setidaknya satu tanda baca dari himpunan '.?!;:,'.

Kata kunci informasi penulis meliputi: 'Reporter ', 'Source:', 'Editor:', 'Login|Register', 'This article URL:', 'Publish date:', 'Time added:', 'Share to:', '“Scan”', 'Related links:', 'Lottery', 'Site navigation ', '| Contact us', 'Homepage ', 'Current location:', 'Published at ', dan 'Location: '.

Hapus informasi sumber

Ekspresi reguler untuk sumber artikel meliputi: r'(\d{4}[-/year]\d{1,2}[-/month]\d{1,2}[day]{0,}\s\d{1,2}:\d{1,2}:\d{1,2})', r'\d{4}[-/]\d{1,2}[-/]\d{1,2}.*[source:|editor:]'.

Komponen hanya memeriksa lima baris pertama untuk kecocokan dengan ekspresi reguler tersebut dan menghapus baris yang cocok.

Catatan
Jika Anda mengaktifkan penghapusan informasi navigasi dan penulis, komponen akan memeriksa lima baris pertama dari teks yang tersisa, bukan teks aslinya.
Hapus URL

Komponen menghapus teks apa pun yang sesuai dengan ekspresi reguler r'(https?|http)?:\/\/[\w\.\/\?\=\&\%\-\_]+'.
Hapus karakter non-printable

Komponen menghapus karakter apa pun yang sesuai dengan ekspresi reguler '[\001\002\003\004\005\006\007\x08\x09\x0b\x0c\x0d\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a]+'.
Hapus markup HTML dan urai teks HTML

Komponen mengganti '<li>' dan '<ol>' dengan '\n*' serta menghapus tag '</li>' dan '</ol>'. Kemudian, komponen mengurai HTML yang tersisa dan mengembalikan konten teksnya.

Contoh penghapusan URL:

Sebelum:

/*
 AngularJS v1.3.0-beta.2
 (c) 2010-2014 Google, Inc. http://angularjs.org
 License: MIT
*/
(function(H,a,A){'use strict';function D(p,g){g=g||
{};a.forEach(g,function(a,c){delete g[c]});for(var c in
p)!p.hasOwnProperty(c)||"$"===c.charAt(0)&&"$"===c.charAt(1)||(g[c]=p[c])}})

Sesudah:

Setelah diproses, URL http://angularjs.org dihapus dari blok komentar.

Parameter konfigurasi visual

Anda dapat mengonfigurasi parameter komponen di antarmuka Machine Learning Designer.

Tab	Parameter	Wajib	Deskripsi	Bawaan
Field Settings	Select target column	Ya	Kolom yang akan diproses.	Tidak ada
Field Settings	Output table lifecycle	Tidak	Periode retensi, dalam hari, untuk tabel temporary yang dihasilkan oleh komponen ini. Tabel tersebut akan didaur ulang setelah periode ini berakhir.	28

Tuning	Number of CPUs per instance of map task	Tidak	Jumlah CPU per instans task map. Nilai yang valid berkisar antara 50 hingga 800.	100
	The memory size per instance of map task	Tidak	Ukuran memori, dalam MB, per instans task map. Nilai yang valid berkisar antara 256 hingga 12.288.	1024
	The maximum size of input data for a map	Tidak	Jumlah maksimum data masukan, dalam MB, yang dapat diproses oleh satu instans task map. Parameter ini mengontrol ukuran pemisahan data masukan pada fase map. Rentang nilai yang valid adalah [1, Integer.MAX_VALUE].	256

Dokumentasi terkait

Untuk informasi lebih lanjut tentang komponen dalam Machine Learning Designer, lihat Ikhtisar Machine Learning Designer.