Model sıkıştırma; tahmin performansını korurken model boyutunu ve hesaplama karmaşıklığını azaltmak için kuantizasyon gibi teknikler kullanır. GPU belleğinin sınırlı olduğu durumlarda veya dağıtım maliyetlerini düşürmek istediğinizde bu yöntem faydalıdır.
Giriş
PAI-Model Gallery, Weight-only Quantization teknolojisine dayalı model kuantizasyonunu destekler. MinMax-8Bit veya MinMax-4Bit stratejilerini kullanarak kayan noktalı parametreleri 8 bitlik veya 4 bitlik tamsayı temsillerine dönüştürür. Bu yaklaşım, iyi performansı korurken model boyutunu ve GPU bellek kullanımını azaltır.
Modeli sıkıştırın
-
Sıkıştırılabilir modelleri filtreleyin. Model Gallery sayfasında, yalnızca sıkıştırılabilir modelleri göstermek için sol taraftaki Supported operations filtresinden Compression seçeneğini belirleyin.
-
Hedef model kartındaki Compression bağlantısına tıklayarak sıkıştırma işini yapılandırın. Temel parametreler aşağıda açıklanmıştır. Diğer parametreleri ihtiyacınıza göre ayarlayın.
Parametre
Açıklama
Sıkıştırma yöntemi
Şu anda yalnızca Weight-only Quantization teknolojisine dayalı model kuantizasyonu yöntemi desteklenmektedir. Bu yöntem, modelin ağırlık parametrelerini daha düşük bit genişliklerine dönüştürerek çıkarım sırasında GPU bellek kullanımını azaltır.
Sıkıştırma stratejisi
-
MinMax-8Bit: Min-max ölçekleme yöntemini kullanarak modeli 8 bitlik tamsayı temsilinde kuantize eder.
-
MinMax-4Bit: Min-max ölçekleme yöntemini kullanarak modeli 4 bitlik tamsayı temsilinde kuantize eder.
-
-
Yapılandırmayı tamamladıktan sonra Compression düğmesine tıklayın. Sayfa, sıkıştırma işinin temel bilgilerini, gerçek zamanlı durumunu ve iş günlüklerini görüntüleyebileceğiniz Task details sayfasına yönlendirilir.
Sıkıştırma işine ayrıca şu yoldan erişebilirsiniz: PAI-Model Gallery > Job Management > Compression Jobs
Modeli dağıtın
Sıkıştırma işlemi başarıyla tamamlandıktan sonra, sıkıştırılmış modeli dağıtmak için model ayrıntıları sayfasının sağ üst köşesindeki Deploy düğmesine tıklayın. Hizmeti çağırma hakkında bilgi için bkz. Ortak ağ geçidi üzerinden hizmet çağırma (genel/VPC).
Modeli değerlendirin
Model dağıtıldıktan sonra, sıkıştırmanın etkilerini kontrol etmek için modeli değerlendirin. Ayrıntılar için bkz. Model değerlendirmesi (ModelEval).