部署和微調大模型所需的顯存取決於模型參數量、精度、序列長度等因素。使用本文的計算機可快速估算顯存需求，協助您選擇合適的GPU規格。
一. 簡易顯存估算器
說明
本文根據大模型通用的計算方式，估算大模型部署和微調所需顯存，由於不同模型的網路結構和演算法存在差異，因此，可能與實際顯存佔用有差距。
對於MoE模型（混合專家模型），以DeepSeek-R1-671B為例，671B的模型本身參數都需要載入，但在推理時只啟用37B的參數，因此在計算啟用值所佔顯存時，需要按照37B的模型參數量計算。
模型微調時通常採用16-bit儲存模型參數、啟用值、梯度，採用Adam/AdamW最佳化器，並用32-bit儲存最佳化器狀態。