GPU穩定性最佳實務

隨著AI、深度學習、科學計算和巨量資料處理等技術的發展，GPU成為高效能運算的關鍵組件。為保障伺服器穩定運行，阿里雲提供巡檢服務以提前發現硬體故障，支援您通過自助診斷功能快速定位問題。

重要

本文僅適用於Linux作業系統。

應用情境

GPU伺服器問題診斷

通過阿里雲ECS自主診斷服務功能對GPU伺服器潛在隱患進行診斷，從而能夠快速定位問題。
GPU服務營運
- 阿里雲檢測到GPU硬體問題時，將主動向您發送營運事件通知。您只需響應ECS系統事件，即可實現故障的自動回復。
- 您可以通過自助診斷系統或調用ReportInstancesStatus反饋一台或多台GPU執行個體所發生的異常問題。阿里雲在收到上報後會對執行個體進行異常檢測，如果確實存在異常，將主動向您發送營運事件通知。您只需對系統事件作出響應，即可實現故障的自動回復。
重要
響應系統事件後，執行個體將重啟，從而引發業務中斷的風險。建議您在業務低峰期選擇以下一種方式進行服務重啟。
- 直接在視窗期之前響應系統事件。
- 預約重啟時間。

GPU硬體裝置診斷

在GPU執行個體的運行過程中，可能會出現潛在的故障隱患或安全風險，例如顯卡故障或驅動程式錯誤等問題。您可以通過以下方法進行診斷：

通過ECS管理主控台啟動GPU裝置健全狀態檢查功能，以便自主診斷當前執行個體的GPU卡或驅動是否存在異常。
通過雲助手外掛程式對當前執行個體的GPU卡狀態及驅動狀態等進行全面診斷，從而快速識別使用GPU時遇到的常見問題（例如GPU卡異常、驅動異常等）。一旦診斷出異常情況，系統能夠自動發起營運措施，例如向您發送通知等。

通過診斷功能檢測GPU

訪問ECS控制台-診斷。
在頁面左側頂部，選擇目標資源所在的資源群組和地區。

單擊GPU 設備檢測卡片中的發起診斷。在建立診斷任務對話方塊中，選擇執行個體ID和時間範圍，然後單擊發起診斷。

其中問題排查類型選擇 執行個體裝置檢測，檢查項選擇 GPU 裝置健全狀態檢查。

診斷完成後查看診斷報告。

診斷報告資訊說明：

專案	說明
診斷結果	如果各項加記憶體均正常，則顯示執行個體未發現異常。如果存在異常診斷項，則顯示為執行個體存在***項異常，並顯示異常詳情和相應的解決方案，您可以參考修複方案解決問題。
診斷項詳情	包含GPU裝置和驅動的狀態檢查、NVIDIA Xid工具異常檢查、GPU顯存狀態檢查、`Fabricmanager`組件異常檢查以及GPU驅動狀態檢查。層級分為嚴重、警告和通過。
診斷基礎資訊	資源ID、報告ID和診斷時間。

通過雲助手一鍵診斷GPU

訪問ECS控制台-雲助手。
在頁面左側頂部，選擇目標資源所在的資源群組和地區。
在ECS 執行個體頁簽下的執行個體列表，單擊執行個體所在行操作欄的執行命令。
在建立執行命令面板的命令信息地區，完成參數配置。

主要參數項如下所示，其他參數保持預設。更多資訊，請參見建立命令。

將逾時時間設定為 180 秒。

重要
參數取值必須嚴格遵循下文所提供的取值設定，否則可能會導致雲助手執行失敗。
- 命令類型：Shell。
- 命令內容：複製如下命令。有關Shell命令的樣本，請參見查看執行個體系統配置。
```
if acs-plugin-manager --list --local | grep ACS-ECS-GpuCheck > /dev/null 2>&1
then
    acs-plugin-manager --remove --plugin ACS-ECS-GpuCheck
fi
acs-plugin-manager --exec --plugin ACS-ECS-GpuCheck
```
- 逾時時間：命令執行逾時時間。當執行命令的任務逾時後，雲助手將強制終止任務進程。
  
  說明
  逾時時間僅支援設定為正整數，單位為秒，取值範圍：10～86400秒（24小時）。

單擊執行，通過雲助手命令診斷GPU執行個體健康狀態。

執行結果中各檢查項均顯示OK狀態，表示GPU診斷無異常。

time="2024-07-18T10:25:19+08:00" level=info msg="gpu_check output:"
    GPU PCI Slot: 00:07.0, Diagnosis result: 00:07.0_1321122071797_0_0
    * Double Bit Error Check – OK
    * Info Rom Corrupted Check – OK
    * eRDMA Incorrect Check – OK
    * Kernel Upgrade Check – OK
    * Fabricmanager running Check – OK
    * Power Cable Error Check – OK
    * GPU Device Lost Check – OK
    * GPU Driver Install Check – OK
    * GPU Xid Error Check – OK
    GPU PCI Slot: 00:08.0, Diagnosis result: 00:08.0_1321122085127_0_0
    * Power Cable Error Check – OK
    * GPU Device Lost Check – OK
    * GPU Driver Install Check – OK

執行結果中某個或多個檢查項顯示Failed狀態，表示GPU診斷出現異常。

time="2024-07-18T10:26:24+08:00" level=info msg="Begin to gpu health check"
time="2024-07-18T10:26:25+08:00" level=info msg="gpu_check output:"
GPU PCI Slot: 00:07.0, Diagnosis result: 00:07.0_N/A_10100000_0
 * Power Cable Error Check – OK
 * Double Bit Error Check – OK
 * GPU Driver Install Check – Failed
 * Kernel Upgrade Check – Failed
 * GPU Device Lost Check – OK
 * Info Rom Corrupted Check – OK
 * eRDMA Incorrect Check – OK
 * GPU Xid Error Check – OK
 * Fabricmanager running Check – OK
time="2024-07-18T10:26:25+08:00" level=info msg="Detailed logs are located in /var/log/check_gpu.tar.gz"
time="2024-07-18T10:26:25+08:00" level=info msg="Complete GPU health check"

診斷資訊說明：

診斷項	診斷說明	異常處理措施
Double Bit Error Check	檢測GPU的Double Bit Error情況。	根據錯誤數不同會提示您重啟執行個體。
Info Rom Corrupted Check	檢測GPU的infoROM韌體資訊。	向您發送營運通知。
eRDMA Incorrect Check	檢測GPU的eRDMA網卡狀態。	向您發送營運通知。
Kernel Upgrade Check	檢測由於Kernel升級導致驅動異常情況。	需您卸載驅動後重新安裝驅動。
Fabricmanager running Check	檢測`Fabricmanager`組件運行狀態。	需您安裝或啟動`Fabricmanager`元件服務。
Power Cable Error Check	檢測GPU電源線及供電狀態。	向您發送營運通知。
GPU Device Lost Check	檢測GPU丟卡情況。	向您發送營運通知。
GPU Driver Install Check	檢測GPU驅動的安裝狀態。	需您安裝驅動。
GPU Xid Error Check	檢測GPU Xid Error異常情況。	根據不同的XID錯誤提示您重啟執行個體。