Komponen LLM-Text Normalizer melakukan pra-pemrosesan teks untuk model bahasa besar (large language models/LLMs) dengan menormalisasi teks Unicode dan mengonversi aksara Tiongkok Tradisional menjadi Tiongkok Sederhana.
Batasan
Komponen ini hanya didukung pada Mesin komputasi MaxCompute.
Algoritma
Komponen LLM-Text Normalizer mendukung fitur-fitur berikut:
-
Menormalisasi teks Unicode menggunakan metode NFKC (Normalization Form Compatibility Composition).
ftfy.fix_text(text, normalization='NFKC') -
Mengonversi aksara Tiongkok Tradisional menjadi Tiongkok Sederhana menggunakan paket opencc.
Berikut perbandingan data sebelum dan sesudah pemrosesan:
-
Sebelum pemrosesan: Tabel data berisi enam baris data uji dengan tipe kolom
text. Datanya mencakup campuran teks Tiongkok dan Inggris, aksara Tiongkok Tradisional dan Sederhana, karakter khusus, serta teks rusak akibat masalah pengkodean. -
Sesudah pemrosesan: Tabel berisi 6 baris data. Baris 1:
✔ No problems. Baris 2:The Mona Lisa doesn't have eyebrows.. Baris 3:No problems. Baris 4:Alibaba. Baris 5:These are a few traditional characters, which will be converted to simplified characters. Baris 6:Test the conversion effect of a combination of traditional afadf characters $#@#, simplified characters, and various other characters and numbers 123213*&dasd. Aksara Tiongkok Tradisional telah dikonversi menjadi aksara Tiongkok Sederhana, sedangkan huruf Inggris, angka, dan karakter khusus tetap tidak berubah.
Parameter konfigurasi visual
Anda dapat mengonfigurasi parameter komponen secara visual di Machine Learning Designer.
|
Tab |
Parameter |
Wajib |
Deskripsi |
Bawaan |
|
Field Settings |
Select target column |
Ya |
Kolom yang akan diproses. Anda dapat memilih beberapa kolom. |
Tidak ada |
|
Set output table lifecycle |
Tidak |
Menentukan siklus hidup (dalam hari) untuk tabel temporary yang dihasilkan oleh komponen ini. Setelah periode tersebut, tabel akan dihapus. |
28 |
|
|
Tuning |
Number of CPUs per instance |
Tidak |
Jumlah vCPU untuk setiap instans task map. Nilai valid: 50 hingga 800. |
100 |
|
Memory size per instance (MB) |
Tidak |
Ukuran memori dalam MB untuk setiap instans task map. Nilai valid: 256 hingga 12288. |
1024 |
|
|
Data size per instance (MB) |
Tidak |
Ukuran data maksimum (dalam MB) yang dapat diproses oleh setiap instans task map. Parameter ini mengontrol ukuran input untuk fase map. Nilai valid: 1 hingga Integer.MAX_VALUE. |
256 |
Dokumen terkait
Untuk informasi lebih lanjut tentang komponen Machine Learning Designer, lihat ikhtisar Machine Learning Designer.