Komponen LLM-LaTeX Expand Macro (DLC) dari Platform for AI (PAI) digunakan untuk pra-pemrosesan data teks TeX yang digunakan dalam pelatihan large language models (LLMs). Jika suatu makro tidak memiliki parameter dan namanya hanya terdiri atas huruf dan angka, algoritma akan menggantinya secara inline dengan definisi makro tersebut. File data input Object Storage Service (OSS) harus berformat JSON Lines dan memenuhi persyaratan berikut: setiap baris merupakan objek JSON yang valid, dan file terdiri dari beberapa baris objek JSON, tetapi bukan merupakan objek JSON yang valid secara keseluruhan. Untuk informasi lebih lanjut, lihat Contoh.
Sumber daya komputasi yang didukung
Deskripsi algoritma
Komponen LLM-LaTeX Expand Macro (DLC) melakukan ekspansi inline pada makro yang sesuai dengan ekspresi reguler berikut:
Item | Makro tanpa parameter yang didefinisikan menggunakan \newcommand | Makro tanpa parameter yang didefinisikan menggunakan \def |
Ekspresi reguler |
|
|
Makro yang sesuai |
|
|
Catatan | Nilai macro_name hanya boleh berisi huruf dan angka, sedangkan macro_value dapat berisi karakter apa pun. | |
Jika sebuah makro sesuai dengan ekspresi reguler di atas, komponen akan mengganti nilai macro_name dengan nilai macro_value. Contoh:
|
Sebelum pemrosesan
|
Setelah pemrosesan
|
Konfigurasi komponen
Pada halaman pipeline Machine Learning Designer, konfigurasikan parameter komponen LLM-LaTeX Expand Macro (DLC).
Tab | Parameter | Wajib | Deskripsi | Nilai default | |
Fields Setting | Target Process Field | Ya | Nama field yang ingin Anda proses. | N/A | |
OSS Directory for Saving OutputData | Tidak | Direktori OSS tempat data hasil disimpan. Jika Anda tidak menentukan parameter ini, path default ruang kerja akan digunakan. | N/A | ||
Tuning | Number of Processes | Tidak | Jumlah proses. | 8 | |
Select Resource Group | Public Resource Group | Tidak | Tipe instans (CPU atau GPU), jumlah instans, dan virtual private cloud (VPC) yang ingin Anda gunakan. | N/A | |
Dedicated resource group | Tidak | Jumlah vCPU, memori, memori bersama, jumlah GPU, dan jumlah instans yang ingin Anda gunakan. | N/A | ||
Maximum Running Duration | Tidak | Periode waktu maksimum komponen dapat berjalan. Jika periode ini terlampaui, pekerjaan akan dihentikan. | N/A | ||