Komponen pemrosesan data LLM dapat dikelompokkan untuk mendukung eksekusi batch dan meminimalkan konfigurasi penyimpanan data, sehingga meningkatkan performa secara signifikan.
Ikhtisar
Komponen pemrosesan data LLM (DLC) dapat dikelompokkan untuk mengeksekusi tugas batch tanpa penyimpanan data perantara, sehingga meningkatkan efisiensi dan pemanfaatan sumber daya.
Komponen pemrosesan data LLM (DLC) dalam Machine Learning Designer meliputi:
Saat ini, komponen LLM-Risk Content Filtering (DLC) dan LLM-Quality Predict (DLC) di bawah folder Large Model Data Preprocessing tidak mendukung pengelompokan.
Catatan penggunaan
Perhatikan hal berikut ketika menggabungkan komponen ke dalam kelompok:
Konfigurasi kelompok memiliki prioritas lebih tinggi dibandingkan konfigurasi individu komponen di dalam kelompok.
Saat ini, komponen LLM-Risk Content Filtering (DLC) dan LLM-Quality Predict (DLC) di bawah folder Large Model Data Preprocessing tidak mendukung pengelompokan.
Parameter tuning komponen harus dikonfigurasi secara individual, sedangkan bidang global seperti teks, gambar, video, sumber daya komputasi, dan jalur output data harus diatur pada tingkat kelompok.
Beberapa komponen mungkin tidak mendukung operasi terdistribusi multi-node. Jika sebuah kelompok mencakup komponen semacam itu, tugas multi-node akan gagal. Untuk memeriksa apakah sebuah komponen mendukung operasi terdistribusi multi-node, buka tab Tuning dari komponen tersebut. Jika parameter Nodes dapat disetel ke nilai lebih besar dari 1, komponen tersebut mendukung operasi terdistribusi multi-node.
Komponen yang dikelompokkan tidak akan mengeluarkan hasil secara individual. Output kelompok adalah hasil kolektif dari semua komponen. Sebagai contoh, alur kerja di bawah ini menunjukkan koneksi yang dimulai dari pusat kelompok, yang menunjukkan bahwa output kelompok mencakup output dari LLM-Text Normalizer (DLC) dan LLM-Clean Special Content (DLC)-1.
Kelompok komponen
Pengelompokan cerdas
Sistem dapat secara otomatis mendeteksi node di kanvas yang cocok untuk dikelompokkan. Klik 
untuk mengelompokkannya, lalu klik 
untuk mengonfigurasi sumber daya untuk kelompok tersebut.
Pengelompokan manual
Klik 
atau gunakan Shift+klik kiri untuk memilih beberapa komponen. Kemudian, klik kanan di area kosong dan pilih Group Selected Nodes. Klik untuk mengonfigurasi sumber daya untuk kelompok tersebut.
