如果您想要在GPU雲端服務器上進行GPU加速計算任務（例如科學計算或大規模並行計算等），則需要安裝CUDA開發運行環境。CUDA提供了一整套工具和庫，可以協助您進行GPU加速的程式開發，以充分發揮NVIDIA GPU的計算潛力，提高計算效能和加速運行效率。本文為您介紹如何手動安裝CUDA。
背景資訊
CUDA（Compute Unified Device Architecture，統一計算裝置架構）是由NVIDIA推出的通用並行計算架構，該架構利用GPU（圖形處理器）的處理能力可以解決複雜的計算問題。其包含了CUDA指令集架構（ISA）以及GPU內部的並行計算引擎。目前，CUDA除了可以使用C語言開發外還支援FORTRAN和C++語言，使用該類語言編寫的程式可以在支援CUDA架構的處理器上運行，並且能夠獲得超高的效能。另外，CUDA支援Java、Python等各類語言的介面。
前提條件
已建立GPU執行個體，具體操作，請參見建立GPU執行個體。
確保GPU執行個體的驅動版本與待安裝的CUDA版本相匹配。更多資訊，請參見驅動版本與CUDA版本的對應表。
操作步驟
CUDA支援Windows和Linux兩種主流系統。本文以CUDA 12.1.1版本為例，為您介紹在Linux和Windows作業系統GPU執行個體上安裝CUDA的具體操作。
Linux作業系統
擷取CUDA安裝包。
進入CUDA Toolkit Archive頁面。
選擇驅動對應的CUDA版本。
下圖以CUDA Toolkit 12.1.1為例。
擷取CUDA安裝包下載地址。
選擇需要的作業系統、架構或版本等參數項。
參數項
取值樣本
Operating System
Linux
Architecture
X86_64
Distribution
Ubuntu
Version
20.04
Installer Type
runfile（local）
擷取CUDA安裝包下載地址。
安裝CUDA包。
選擇任一方式遠程登入GPU執行個體。
串連方式
操作指引
Workbench
VNC
使用
wget命令，並粘貼步驟1擷取的下載地址，然後執行命令下載CUDA安裝包。wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run重要下載CUDA安裝包大概需要5分鐘~10分鐘，請您耐心等待。
依次執行以下命令，安裝CUDA軟體包。
說明對於GPU計算型執行個體，您可以單獨手動安裝Tesla驅動，也可以在安裝CUDA時同步安裝CUDA內內建的驅動。
對於GPU虛擬化型執行個體，安裝CUDA時無法同步安裝GRID驅動，您需要自行手動安裝GRID驅動。具體操作，請參見安裝GRID驅動。
互動式安裝方式
sudo chmod +x cuda_12.1.1_530.30.02_linux.runsudo ./cuda_12.1.1_530.30.02_linux.run根據提示輸入accept後，請依據實際情況選擇是否安裝CUDA包中內建的驅動：
如果您的執行個體為GPU計算型執行個體，並且該執行個體已安裝了驅動，請按照下圖操作（使用Enter鍵）取消Driver選項，然後選擇Install繼續安裝。
重要如果未取消Driver選項，則會安裝CUDA包中內建的驅動來覆蓋執行個體已安裝的驅動。
如果您的執行個體為GPU計算型執行個體，並且您需要使用CUDA包中內建的驅動，則需要先確認CUDA包內的驅動與該執行個體的GPU型號是否相容，更多資訊，請參見下載Tesla驅動（Linux）。確認CUDA包內的驅動與GPU型號相容時，請保持預設選項（即已選中Driver選項）並選擇Install繼續安裝。
如果您的執行個體為GPU虛擬化型執行個體，該執行個體需要安裝GRID驅動。建議您先確認是否已安裝GRID驅動，具體操作，請參見安裝GRID驅動。安裝完GRID驅動後，再重新安裝CUDA並按照下圖操作（使用Enter鍵）取消Driver選項，然後選擇Install繼續安裝。
靜默安裝方式
sudo chmod +x cuda_12.1.1_530.30.02_linux.runsudo ./cuda_12.1.1_530.30.02_linux.run --toolkit --samples --silent重要採用靜默安裝方式，不會自動安裝CUDA包內建的驅動，您需要手動單獨安裝GPU執行個體所需的驅動。
（可選）執行以下命令，重啟GPU執行個體。
reboot依次執行以下命令，配置CUDA環境變數。
echo 'export PATH=/usr/local/cuda/bin:$PATH' | sudo tee /etc/profile.d/cuda.shsource /etc/profile
檢查CUDA是否成功安裝。
執行
nvcc -V命令，檢查CUDA安裝版本是否正確。
依次執行以下命令，測試CUDA Samples，驗證CUDA是否安裝成功。
cd /usr/local/cuda-12.1/extras/demo_suite./deviceQuery如果返回結果顯示
Result=PASS，則表示CUDA安裝成功。
Windows作業系統
登入Windows作業系統GPU計算型執行個體。
選擇以下任一方式遠端連線GPU執行個體。
串連方式
操作指引
Workbench
VNC
選擇待安裝的CUDA版本。
進入CUDA Toolkit Archive頁面。
選擇驅動對應的CUDA版本。
您需要先確認CUDA包內的驅動與執行個體的GPU型號是否相容，更多資訊，請參見下載Tesla驅動（Windows）。下圖以CUDA Toolkit 12.1.1為例。
選擇需要的作業系統、架構或版本等參數項。
參數項
取值樣本
Operating System
Windows
Architecture
X86_64
Version
Server 2022
Installer Type
exe（local）
單擊Download下載對應的CUDA軟體包。
安裝CUDA包。
開啟已下載的CUDA所在的檔案夾，雙擊安裝檔案並開始安裝，按照介面上的提示來安裝程式。
如果出現NVIDIA安裝程式已完成對話方塊，則表示CUDA安裝成功。