Deskripsi Komponen LLM-LaTeX Expand Macro (DLC) - Platform For AI

Komponen LLM-LaTeX Expand Macro (DLC) dari Platform for AI (PAI) digunakan untuk memproses data teks TeX yang digunakan dalam melatih model bahasa besar (LLMs). Jika makro tidak memiliki parameter dan nama makro hanya terdiri dari huruf serta angka, algoritma mengganti nama makro dengan definisi makro untuk ekspansi inline. File data input Object Storage Service (OSS) harus berformat JSON Lines dan memenuhi persyaratan berikut: setiap baris dalam file adalah objek JSON yang valid, tetapi file secara keseluruhan bukan objek JSON yang valid. Untuk informasi lebih lanjut, lihat Contoh.

Sumber daya komputasi yang didukung

Deep Learning Containers (DLC)

Deskripsi algoritma

Komponen LLM-LaTeX Expand Macro (DLC) melakukan ekspansi inline pada makro yang sesuai dengan ekspresi reguler berikut:

Item	Makro tanpa parameter yang didefinisikan menggunakan \newcommand	Makro tanpa parameter yang didefinisikan menggunakan \def
Ekspresi reguler	`r'\\\bnewcommand\b\?\{(\\[a-zA-Z0-9]+?)\}\{(.?)\}$'`	`r'\\def\s(\\[a-zA-Z0-9]+?)\s\{(.*?)\}$'`
Makro yang cocok	`\newcommand{\macro_name}{macro_value}` `\newcommand*{\macro_name}{macro_value}`	`\def\macro_name{macro_value}`
Catatan	Nilai macro_name hanya dapat berisi huruf dan angka, sedangkan macro_value dapat berisi karakter apa pun.

Jika makro cocok dengan ekspresi reguler sebelumnya, komponen mengganti nilai macro_name dengan nilai macro_value. Contoh:

Sebelum diproses

Setelah diproses

Konfigurasi komponen

Di halaman pipeline Machine Learning Designer, konfigurasikan parameter dari komponen LLM-LaTeX Expand Macro (DLC).

Tab	Parameter		Diperlukan	Deskripsi	Nilai default
Pengaturan Bidang	Bidang Proses Target		Ya	Nama bidang yang ingin Anda proses.	Tidak tersedia
Pengaturan Bidang	Direktori OSS untuk Menyimpan OutputData		Tidak	Direktori OSS tempat data yang dihasilkan disimpan. Jika Anda tidak menentukan parameter ini, jalur default ruang kerja digunakan.	Tidak tersedia
Pengaturan	Jumlah Proses		Tidak	Jumlah proses.	8
	Pilih Grup Sumber Daya	Grup Sumber Daya Publik	Tidak	Tipe instans (CPU atau GPU), jumlah instans, dan virtual private cloud (VPC) yang ingin Anda gunakan.	Tidak tersedia
	Pilih Grup Sumber Daya	Grup sumber daya khusus	Tidak	Jumlah vCPU, memori, memori bersama, jumlah GPU, dan jumlah instans yang ingin Anda gunakan.	Tidak tersedia
	Durasi Maksimum Berjalan		Tidak	Periode maksimum waktu selama komponen dapat berjalan. Jika periode ini terlampaui, tugas dihentikan.	Tidak tersedia