Ikhtisar komponen LLM-Text Normalization (DLC) - Platform For AI

Komponen LLM-Text Normalization (DLC) menormalisasi teks Unicode dan mengonversi Tionghoa Tradisional menjadi Tionghoa Sederhana. File data input OSS harus dalam format JSONL (contoh). Dalam file JSONL, setiap baris merupakan objek JSON yang valid, meskipun keseluruhan file bukan objek JSON yang valid.

compute resources yang didukung

DLC

Deskripsi algoritma

Komponen LLM-Text Normalization mendukung fitur-fitur berikut:

Menormalisasi teks Unicode menggunakan metode NFKC.

ftfy.fix_text(text, normalization='NFKC')
Mengonversi Tionghoa Tradisional menjadi Tionghoa Sederhana.

Konversi ini menggunakan paket opencc.

Tabel berikut menjelaskan hasil proses tersebut.

Sebelum diproses

Kolom A dalam tabel data bertipe text dan berisi enam baris data teks dengan anomali pengkodean serta campuran karakter Tionghoa Tradisional dan Sederhana.

Setelah diproses

Kolom ini bertipe text dan berisi enam baris hasil. Teks bahasa Inggris dan karakter khusus, seperti ✔ No problems dan The Mona Lisa doesn't have eyebrows., tetap tidak berubah. Karakter Tionghoa Tradisional dikonversi menjadi Tionghoa Sederhana. Misalnya, These are a few traditional characters that will be converted to simplified characters. Konversi ini juga berlaku untuk bagian Tionghoa Tradisional dalam teks campuran yang mengandung Tionghoa Sederhana, bahasa Inggris, angka, dan karakter khusus.

Konfigurasi komponen

Anda dapat menambahkan komponen LLM-Text Normalization (DLC) ke alur kerja Anda di Designer dan mengonfigurasi parameter pada panel di sebelah kanan.

Jenis parameter	Parameter		Wajib	Deskripsi	Nilai default
Pengaturan bidang	Target process field		Ya	Nama bidang yang akan diproses.	None
	Normalize Unicode text (NFKC)		Tidak	Menentukan apakah teks Unicode dinormalisasi menggunakan metode NFKC.	Selected
	Convert Traditional Chinese to Simplified Chinese		Tidak	Menentukan apakah Tionghoa Tradisional dikonversi menjadi Tionghoa Sederhana.	Selected
	OSS output directory for data		Tidak	Direktori penyimpanan OSS untuk data yang telah diproses. Jika dibiarkan kosong, jalur default ruang kerja akan digunakan.	None
Penyesuaian eksekusi	Number of processes		Tidak	Jumlah proses yang digunakan.	8
	Select resource group	Public resource group	Tidak	Pilih spesifikasi node (spesifikasi instans CPU atau GPU-accelerated), jumlah node, dan virtual private cloud (VPC).	None
	Select resource group	Dedicated resource group	Tidak	Pilih jumlah core CPU, memori, memori bersama, jumlah GPU, dan jumlah node.	None
	Maximum runtime		Tidak	Waktu proses maksimum komponen. Jika waktu proses melebihi nilai ini, pekerjaan akan dihentikan.	None