Platform For AI：Penerapan model dan pelatihan

Prasyarat

Sebelum melakukan fine-tuning atau pelatihan tambahan pada model, Anda harus membuat bucket Layanan Penyimpanan Objek (OSS). Untuk informasi lebih lanjut, lihat Buat bucket.

Penagihan

Model Gallery gratis digunakan, tetapi Anda akan dikenakan biaya untuk penerapan model dan pelatihan berdasarkan Elastic Algorithm Service (EAS) dan Deep Learning Containers (DLC). Untuk informasi lebih lanjut, lihat Penagihan EAS dan Penagihan DLC.

Temukan model untuk kasus penggunaan Anda

Model Gallery menyediakan berbagai macam model untuk membantu Anda memecahkan masalah bisnis dunia nyata. Pertimbangkan tips berikut untuk dengan cepat menemukan model yang paling sesuai dengan kebutuhan Anda:

• Temukan model berdasarkan domain dan tugas.

• Sebagian besar model dilabeli dengan set data pra-latih yang mereka gunakan. Set data pra-latih yang sesuai dengan kasus penggunaan Anda menghasilkan kinerja yang lebih baik baik untuk penerapan langsung maupun fine-tuning. Informasi lebih lanjut tentang set data pra-latih dapat ditemukan di halaman detail model.

• Secara umum, model dengan lebih banyak parameter memberikan performa yang lebih baik, tetapi juga mengakibatkan biaya waktu proses yang lebih tinggi dan memerlukan lebih banyak data untuk fine-tuning.

Ikuti langkah-langkah berikut untuk menemukan model:

1. Pergi ke halaman Model Gallery.

   1. Masuk ke Konsol PAI.

   2. Di panel navigasi kiri, klik daftar ruang kerja. Di halaman daftar ruang kerja, klik nama ruang kerja yang ingin Anda kelola.

   3. Di panel navigasi kiri, klik QuickStart > Model Gallery.

2. Temukan model yang sesuai dengan bisnis Anda.

   

   Setelah memilih model, Anda dapat menerapkannya dan melakukan prediksi online untuk memverifikasi kinerja inferensinya. Untuk informasi lebih lanjut, lihat Penerapan model dan debugging online.

Penerapan model dan debugging online

Bagian ini menggunakan model Llama-3.1-8B-Instruct sebagai contoh. Setelah menemukan model yang cocok, klik kartu model untuk pergi ke halaman detail model, di mana Anda dapat menerapkannya dan melakukan prediksi online.

Terapkan layanan model

1. Di halaman detail model, klik Deploy.

   

2. (Opsional) Konfigurasikan layanan model dan informasi penerapan sumber daya.

   Model Gallery mengonfigurasi secara otomatis Basic Information dan Resource Information untuk setiap model berdasarkan karakteristiknya. Anda dapat menggunakan pengaturan default atau mengubah konfigurasi penerapan sesuai kebutuhan bisnis Anda.

   Parameter	Deskripsi
   Service Name	Di area Basic Information, nama layanan dikonfigurasi secara default. Anda dapat mengubah nama sesuai kebutuhan. Nama layanan harus unik dalam wilayah yang sama.
   Resource Type	Di bagian Resource Information, Anda dapat memilih grup sumber daya publik, grup sumber daya khusus, atau kuota sumber daya.
   Deployment Resources	Di bagian Resource Information, spesifikasi sumber daya dikonfigurasi secara default. Anda dapat menggunakan konfigurasi default atau memilih spesifikasi sumber daya lainnya. Untuk performa yang lebih baik, pilih spesifikasi dengan daya komputasi lebih tinggi dari default.

   

3. Di bagian bawah halaman detail penerapan model, klik Deploy. Di kotak dialog Billing Notification, klik OK.

   Anda akan dialihkan secara otomatis ke halaman Service Details. Di halaman ini, Anda dapat melihat Basic Information dan Resource Information untuk layanan tersebut. Ketika Status berubah menjadi Running, layanan berhasil diterapkan.

Debug layanan model secara online

Di halaman Service details, beralihlah ke tab Online Debugging, masukkan data permintaan di editor di bawah Body, dan klik Send Request untuk menampilkan hasil inferensi layanan model di output di bawah.

Anda dapat membuat data permintaan dalam format yang ditentukan di halaman detail model. Untuk beberapa model, seperti model Stable Diffusion V1.5, Anda dapat mengklik View Web App di sudut kanan atas halaman Service details untuk meluncurkan antarmuka web. Ini memungkinkan Anda menguji kemampuan inferensi model dengan lebih mudah.

Jika set data pra-latih tidak sepenuhnya sesuai dengan skenario bisnis Anda, kinerja model dalam aplikasi Anda mungkin berbeda dari kinerja teoritisnya. Jika hasil prediksi tidak memuaskan, lakukan fine-tuning pada model untuk kasus penggunaan spesifik Anda. Untuk informasi lebih lanjut, lihat Latih model.

Latih model

Anda dapat menggunakan set data Anda sendiri untuk melakukan fine-tuning pada model pra-bangun dari platform PAI. Bagian ini menggunakan model Llama-3.1-8B-Instruct sebagai contoh. Ikuti langkah-langkah berikut:

1. Di halaman detail model, klik Train.

   

2. Di halaman fine-tuning, konfigurasikan parameter berikut.

   Catatan

   Parameter yang didukung bervariasi berdasarkan model. Konfigurasikan berdasarkan persyaratan spesifik model Anda.

   Tipe Parameter	Parameter	Deskripsi
   Training Method	SFT (Supervised Fine-Tuning)	Mode pelatihan yang didukung meliputi: Fine-tuning terawasi: Menyesuaikan parameter model menggunakan pasangan input dan output. Optimisasi preferensi langsung: Secara langsung mengoptimalkan LLM agar sesuai dengan preferensi manusia, yang memiliki tujuan optimasi yang sama dengan algoritma Reinforcement Learning from Human Feedback (RLHF). Kedua mode pelatihan mendukung fine-tuning melalui penyetelan parameter penuh, LoRA, dan QLoRA.
   	DPO (Direct Preference Optimization)
   Job Configuration	Task name	Nama tugas dikonfigurasi secara default. Anda dapat mengubah nama sesuai kebutuhan.
   	Maximum running time	Durasi maksimum selama tugas dapat berjalan. Setelah konfigurasi selesai, jika tugas berjalan lebih lama dari durasi maksimum, tugas akan berhenti dan mengembalikan hasil. Jika Anda menggunakan konfigurasi default, waktu proses tugas tidak dibatasi oleh parameter ini.
   Dataset Configuration	Training Dataset	Model Gallery menyediakan dataset pelatihan default. Jika Anda tidak ingin menggunakan dataset default, siapkan data pelatihan Anda dalam format yang ditentukan dalam dokumentasi model dan unggah dengan salah satu cara berikut: OSS file or directory Klik dan pilih jalur OSS dataset. Di kotak dialog Select OSS file, Anda dapat memilih file data yang ada atau ikuti langkah-langkah berikut untuk mengunggah file dataset lokal. Klik Upload file. Klik Select local Files atau Drag and drop files, dan unggah file data lokal sesuai petunjuk. Custom Dataset Anda dapat menggunakan dataset di layanan penyimpanan cloud seperti OSS. Klik untuk memilih dataset yang telah dibuat. Jika tidak ada dataset yang tersedia, Anda dapat membuatnya. Untuk informasi lebih lanjut, lihat Buat dan kelola dataset.
   	Validate dataset	Klik Add validation dataset. Dataset validasi dikonfigurasi dengan cara yang sama seperti Training dataset.
   Output Configuration		Pilih jalur penyimpanan cloud untuk menyimpan model yang telah dilatih dan file log TensorBoard. Catatan Jika Anda telah mengonfigurasi jalur penyimpanan OSS default untuk ruang kerja Anda di halaman detail ruang kerja, jalur ini akan diisi secara otomatis dan tidak memerlukan entri manual. Untuk informasi lebih lanjut tentang cara mengonfigurasi jalur penyimpanan ruang kerja, lihat Kelola ruang kerja.
   Computing Resources	Resource Type	Hanya Sumber daya komputasi umum yang didukung.
   	Source	Public Resources: Metode penagihan: bayar sesuai penggunaan. Cocok untuk: Sumber daya publik mungkin mengalami penundaan antrian. Oleh karena itu, direkomendasikan untuk tugas non-mendesak atau skenario dengan persyaratan ketepatan waktu rendah. Resource Quota: Termasuk sumber daya komputasi umum atau sumber daya komputasi cerdas Lingjun. Metode penagihan: Berlangganan. Cocok untuk: Cocok untuk sejumlah besar tugas yang memerlukan keandalan tinggi. Preemptible Resources: Metode penagihan: Bayar sesuai penggunaan. Cocok untuk: Untuk mengurangi biaya sumber daya, gunakan instans spot, yang biasanya ditawarkan dengan diskon signifikan. Keterbatasan: Ketersediaan tidak dijamin. Anda mungkin tidak dapat memperoleh instans segera, atau instans tersebut dapat ditarik kembali. Untuk informasi lebih lanjut, lihat Gunakan pekerjaan preemptible.
   Hyperparameter Configuration		Konfigurasi hyperparameter yang didukung bervariasi berdasarkan model. Anda dapat menggunakan nilai default atau mengubah pengaturan parameter berdasarkan kebutuhan bisnis Anda.

3. Klik Train.

   Anda akan dialihkan secara otomatis ke halaman Task details, di mana Anda dapat melihat informasi dasar, status real-time, log tugas, dan informasi pemantauan untuk tugas pelatihan.

   Catatan

   Model yang telah dilatih secara otomatis didaftarkan di AI Assets-Manajemen Model. Anda kemudian dapat melihat atau menerapkan model. Untuk informasi lebih lanjut, lihat Daftarkan dan kelola model.

Referensi

FAQ tentang Model Gallery