為提升 GPU 異常處理能力的靈活性與可配置性，更好滿足不同業務情境對 GPU 異常容忍度的差異化需求，Container Service Kubernetes 版 ACK 將對 GPU 自動隔離機制進行最佳化。
變更時間
2026 年 05 月 14 日開始灰階發布。
變更內容
ACK 支援 GPU 異常檢測與自動隔離能力。當檢測到 GPU 異常時，可對異常 GPU 進行隔離，避免繼續調度新負載到異常 GPU，降低對業務啟動並執行影響。由於自動隔離並不等同於自動修複，您仍需對異常 GPU 進行修複或處理。自 ACK Node Problem Detector（簡稱ACK NPD）組件 1.2.35 版本及ACK NVIDIA Device Plugin組件 0.7.0 版本起，GPU 自動隔離的觸發方式將由預設觸發調整為按配置觸發，具體如下：
ACK NPD 組件僅負責異常檢測。
ACK NVIDIA Device Plugin 組件根據 ACK NPD 輸出的異常檢測報告，以及使用者配置的“觸發 GPU 自動隔離的檢測項”，決定是否對異常 GPU 執行隔離。
在新版機制下，預設不會觸發 GPU 自動隔離。如果您需要啟用自動隔離，請根據業務需求自行配置觸發隔離的檢測項。
機制說明
舊版機制
ACK NPD組件檢測到GPU異常時，產生GPU隔離檔案，ACK NVIDIA Device Plugin組件將該檔案中列出的所有 GPU 裝置隔離，即預設在檢測到特定異常後自動隔離GPU，使用者可通過配置是否產生NVIDIA GPU 隔離檔案，控制自動隔離功能的啟停。
新版機制
ACK NPD組件檢測到GPU異常時，產生異常檢測報告，由 ACK NVIDIA Device Plugin 組件根據“異常檢測報告”及使用者配置的“觸發 GPU 自動隔離的檢測項”決定是否隔離GPU，ACK NVIDIA Device Plugin組件預設未配置任何觸發隔離的檢測項，即預設不會觸發GPU自動隔離，使用者可通過配置觸發隔離的檢測項，定義在檢測到哪些異常後自動隔離異常GPU。
為相容舊版隔離機制，ACK NPD組件新版本仍會保留產生舊格式GPU隔離檔案的行為，但新版 ACK NVIDIA Device Plugin組件已不再讀取該檔案，相關隔離行為完全由其自身的配置決定。
影響範圍
新版機制僅適用於 Kubernetes 1.32 及以上版本 的 ACK 叢集。
對於 Kubernetes 1.32 以下版本的叢集，仍按照舊版機制執行 GPU 自動隔離。
不同組件版本組合下，GPU 自動隔離行為如下：
ACK NPD 版本 | ACK NVIDIA Device Plugin 版本 | GPU自動隔離行為 |
ACK NPD版本 < 1.2.24 | N/A | 不具備 GPU 異常檢測能力。 |
ACK NPD版本 ≥ 1.2.24 | ACK NVIDIA Device Plugin 版本 < 0.7.0 | 按舊版機制執行隔離行為。 |
1.2.24 ≤ ACK NPD版本 ＜1.2.35 | ACK NVIDIA Device Plugin 版本 ≥ 0.7.0 | GPU自動隔離功能不生效，其他功能正常。 由於低版本 ACK NPD 不輸出異常檢測報告，新版 ACK NVIDIA Device Plugin 無法擷取異常 GPU 資訊，因此不會執行自動隔離。 |
ACK NPD版本 ≥ 1.2.35 | ACK NVIDIA Device Plugin 版本 ≥ 0.7.0 | 按新版機制執行隔離行為。 |
解決方案
如果您希望使用新版“可配置自動隔離”能力，建議您提前完成以下操作：
升級組件版本。
請確保ACK NPD組件版本 ≥ 1.2.35 且 ACK NVIDIA Device Plugin組件版本 ≥ 0.7.0。在組件灰階發布過程中，若在組件管理頁面中未出現新版本，可提交工單申請加白。建議在業務低峰期執行升級操作。
組件升級請參考：
ACK NPD升級：升級ack-node-problem-detector組件。
ACK NVIDIA Device Plugin升級：升級NVIDIA Device Plugin組件。
配置自動隔離觸發項。
根據您的業務需求配置觸發自動隔離的檢查項，具體操作請關注GPU異常檢測與自動隔離文檔更新。
（推薦）配置 GPU 異常警示。
建議您同時配置 GPU 異常警示，以便在異常上報後及時處理，避免異常 GPU 長時間未修複而影響業務運行。更多內容，請參見GPU或AI訓練情境可觀測最佳實務。
請您結合業務實際情況，在升級組件前評估本次變更帶來的影響，並完成相應調整，避免因隔離機制變化導致業務運行不符合預期。