Platform For AI：估算大模型所需顯存

模型本身參數

在模型推理時首先需要儲存模型本身的參數，其佔用的顯存計算公式為：參數量 x 參數精度。常用的參數精度有FP32（4位元組）、FP16（2位元組）、BF16 （2位元組）。對於大語言模型，模型參數通常採用FP16或BF16。因此，以參數精度為FP16，參數量為7B的模型為例，其所需顯存為：

$$\frac{7\times 10^9\times 2}{10^9}=14\text{GB}$$

啟用值

在大語言模型推理過程中，需要計算每層神經元的啟用值，其佔用顯存與批量大小、序列長度和模型架構（層數、隱藏層大小）正相關，關係式可以表示為：$$啟用值顯存\propto b\times s\times h\times L\times param\_bytes$$

其中：

• b（batch size）：單次請求批量大小，在作為線上服務時通常為1，作為批處理介面時不為1。

• s（sequence length）：整個序列長度，包括輸入輸出（token數量）。

• h（hidden size）：模型隱藏層維度。

• L（Layers）：模型Transformer層數。

• param_bytes：啟用值儲存的精度，一般為2位元組。

結合以上因素和實踐經驗，為簡化顯存估算，且留有一定餘量，以一個7B模型為例，b為1，s為2048，param_bytes為2位元組時，啟用值所佔顯存可以大致按照10%的模型所佔顯存進行估算，即：$$14\text{GB}\times 0.1=1.4\text{GB}$$。

KV緩衝

為加速大語言模型的推理效率，通常會緩衝每層Transformer已經計算完成的鍵K（Key）和值V（Value），避免每個時間步重新計算所有歷史token的注意力機制參數。引入KV緩衝後，其計算量從$$O(n^2)$$降低至$$O(n)$$，大幅提升推理速度。與啟用值類似，KV緩衝佔用顯存也與批量大小、序列長度、並發度和模型架構（層數、隱藏層大小）正相關，關係式可以表示為：$$KV緩衝顯存\propto 2\times b\times s\times h\times L\times C\times param\_bytes$$

其中：

• 2：表示需要儲存K（Key）和V（Value）兩個矩陣。

• b（batch size）：單次請求批量大小，在作為線上服務時通常為1，作為批處理介面時不為1。

• s（sequence length）：整個序列長度，包括輸入輸出（token數量）。

• h（hidden size）：模型隱藏層維度。

• L（Layers）：模型Transformer層數。

• C（Concurrent）：服務介面請求的並發度。

• param_bytes：啟用值儲存的精度，一般為2位元組 。

結合以上因素和實踐經驗，為簡化顯存估算，且留有一定餘量，以一個7B模型為例，當C為1，b為1，s為2048，param_bytes為2位元組時，KV緩衝所佔顯存也大致按照10%的模型所佔顯存進行估算，即：$$1.4\text{GB}$$。

其他

除了以上影響因素外，當前批次的輸入資料、CUDA核心、PyTorch/TensorFlow深度學習架構本身等也會佔用一些顯存，通常為1～2GB。

模型本身參數

在微調訓練時首先需要儲存模型本身的參數，其佔用的顯存計算公式為：參數量 x 參數精度。常用的參數精度有FP32（4位元組）、FP16（2位元組）、BF16 （2位元組），對於大語言模型，在微調時模型參數通常採用FP16或BF16。因此以參數精度為FP16，參數量為7B的模型為例，其所需顯存為：

$$\frac{7\times 10^9\times 2}{10^9}=14\text{GB}$$

梯度參數

在模型訓練的反向傳播過程中，需要為模型參數計算梯度，梯度的數量與待訓練的參數數量相同。大語言模型中通常採用2位元組的精度儲存梯度，因此7B的模型根據不同的微調訓練方法，所需的顯存為：

最佳化器狀態

在訓練過程中還需儲存最佳化器的狀態，狀態值的數量與待訓練參數數量相關，此外，模型通常會採用混合參數精度訓練，即模型參數、梯度採用2位元組儲存，最佳化器狀態採用4位元組儲存，此做法是為了確保在參數更新過程中保持高精度，避免因FP16/BF16的有限動態範圍導致數值不穩定或溢出。同時，如果採用4位元組儲存狀態時，所需的顯存將翻倍。常用的最佳化器情況如下：

啟用值

訓練時還需儲存前向傳播過程中產生的中間啟用值，以便在反向傳播時計算梯度。這部分顯存消耗與批量大小 (batch size)、序列長度 (sequence length) 和模型架構（層數、隱藏層大小）正相關，關係式可以表示為：$$啟用值顯存\propto b\times s\times h\times L\times param\_bytes$$

其中：

• b（batch size）：批量大小。

• s（sequence length）：整個序列長度，包括輸入輸出（token數量）。

• h（hidden size）：模型隱藏層維度。

• L（Layers）：模型Transformer層數。

• param_bytes：啟用值儲存的精度一般為2位元組。

結合以上因素和實踐經驗，為簡化顯存估算，且留有一定餘量，以一個7B模型為例，當b為1，s為2048，param_bytes為2位元組時，啟用值所佔顯存可以大致按照10%的模型所佔顯存進行估算，即：$$14\text{GB}\times 0.1=1.4\text{GB}$$。

其他

除了以上影響因素外，當前批次的輸入資料、CUDA核心、PyTorch/TensorFlow深度學習架構本身等也會佔用一些顯存，通常為1～2GB。

Q：如何查看大模型參數量？

對於開源大模型，其參數量通常會標註在模型名稱上，如：Qwen-7B，其參數量為$$7\times 10^9$$， Qwen3-235B-A22B，其總參數量為$$235\times 10^9$$ ，推理時啟用的參數量為$$22\times 10^9$$。對於未在名稱上標註的模型，您可以搜尋並查看模型說明文檔，找到模型參數資訊。

Q：如何查看大模型的參數的精度？

如果未加特別說明，大模型通常採用16-bit（2位元組）儲存。對於量化的模型，其可能採用8-bit/4-bit儲存，詳細情況您可以查看其說明文檔，例如，如果您使用PAI Model Gallery中的模型，其詳情頁通常會介紹參數的精度：

千問2.5-7B-Instruct訓練說明：

Q：如何查看大模型微調訓練使用的最佳化器及狀態精度？

大模型訓練通常採用Adam/AdamW最佳化器，參數精度為32-bit（4位元組），更詳細的配置需要查看啟動命令或者代碼。

Q：如何查看顯存佔用？

您可以通過PAI-DSW、PAI-EAS、PAI-DLC的圖形監控頁面查看顯存佔用情況：

或者在容器的終端中執行nvidia-smi查看GPU使用方式：

Q：顯存不足的常見報錯有哪些？

使用NVIDIA GPU顯存不足時會報CUDA out of memory. Tried to allocate X GB的錯誤，此時您需要增大顯存，或者縮小批量大小（batch size）、序列長度等。