Kompresi model adalah teknik untuk meminimalkan ukuran dan kompleksitas komputasi model pembelajaran mesin melalui berbagai strategi, dengan tujuan mempertahankan akurasi prediksi mereka. Hal ini semakin penting karena model deep learning berkembang dalam kompleksitas dan ukuran, terutama untuk lingkungan dengan sumber daya terbatas, di mana kompresi model dapat secara signifikan mengurangi penggunaan penyimpanan dan sumber daya komputasi.
Pengenalan
Model Gallery dari Platform for AI (PAI) menawarkan kuantisasi model menggunakan teknologi Kuantisasi Hanya-Bobot. Ini mendukung strategi kuantisasi MinMax-8Bit dan MinMax-4Bit, yang mengonversi parameter floating-point model menjadi integer 8-bit atau 4-bit. Pendekatan ini bertujuan untuk mengurangi ukuran dan kompleksitas komputasi model, memfasilitasi penyebaran model deep learning secara efisien di lingkungan dengan sumber daya terbatas sambil tetap menjaga performa yang kuat.
Kompresi sebuah model
Latih sebuah model.
Untuk mengompresi sebuah model, Anda harus melatihnya terlebih dahulu. Untuk informasi lebih lanjut, lihat Latih model.
Setelah melatih model, klik Compress di pojok kanan atas halaman detail pekerjaan.
Konfigurasikan tugas kompresi.
Tabel berikut menjelaskan parameter utama:
Parameter
Deskripsi
Metode Kompresi
Hanya Model Quantization yang didukung, yang didasarkan pada teknologi Kuantisasi Hanya-Bobot. Teknik ini mengonversi parameter bobot model ke lebar bit yang lebih rendah, sehingga menurunkan kebutuhan video memory selama inferensi.
Strategi Kompresi
MinMax-8Bit: Menggunakan penskalaan min-maks untuk mengkuantisasi model ke format integer 8-bit.
MinMax-4Bit: Menggunakan penskalaan min-maks untuk mengkuantisasi model ke format integer 4-bit.
Untuk informasi tentang parameter lainnya, lihat Melatih model.
Klik Compress.
Ikuti petunjuk di layar untuk pergi ke halaman Task Details, di mana Anda dapat melihat informasi dasar, status real-time, log tugas, dan detail lainnya dari tugas kompresi.
Menampilkan Tugas Kompresi
Untuk melihat tugas kompresi, buka Model Gallery > Job Management > Compression Jobs.
