模型壓縮通過量化等技術減小模型體積和計算複雜度，同時盡量保持預測效能。適用於GPU顯存有限或需要降低部署成本的情境。
簡介
PAI-Model Gallery支援基於Weight-only Quantization技術的模型量化，通過MinMax-8Bit或MinMax-4Bit策略將模型浮點數參數量化到8位或4位整數表示，減小模型體積、降低顯存佔用，同時保持較好的效能。
壓縮模型
-
訓練模型。
壓縮功能僅支援訓練後的模型，因此需要先完成模型訓練。詳情請參見模型部署及訓練。
-
待模型訓練完成之後，在任务详情頁單擊右上方压缩。
-
配置壓縮任務。
關鍵配置如下：
參數
說明
壓縮方式
當前僅支援基於Weight-only Quantization技術的模型量化方法，即將模型的權重參數轉換到更低的bit位，降低模型推理的顯存佔用。
壓縮策略
-
MinMax-8Bit：使用最小值-最大值（min-max）縮放方法將模型量化到8位整數表示。
-
MinMax-4Bit：使用最小值-最大值（min-max）縮放方法將模型量化到4位整數表示。
其他參數配置同模型部署及訓練。
-
-
單擊压缩。
頁面跳轉到任务详情頁面，可查看壓縮任務的基本資料、即時狀態和任務日誌。
查看壓縮任務
在PAI-Model Gallery > 任务管理 > 压缩任务中查看壓縮任務。
