Saat membuat RDS Custom AI node, sistem secara otomatis menginstal NVIDIA Tesla driver, CUDA, dan cuDNN. Jika versi default komponen-komponen ini tidak lagi memenuhi kebutuhan Anda, Anda dapat menghapus versi yang ada dan menginstal versi yang diinginkan.
Prasyarat
Uninstall Tesla driver, CUDA, dan cuDNN
Topik ini menggunakan contoh instalasi Tesla driver 575.57.08, CUDA 12.9.0, dan cuDNN 9.10.2 pada Alibaba Cloud Linux 3. Prosedurnya adalah sebagai berikut:
Jalankan perintah berikut dan ikuti petunjuk antarmuka untuk menghapus Tesla driver.
/usr/bin/nvidia-uninstallHapus CUDA.
Metode 1: Hapus manual paket CUDA dan file konfigurasi terkait
Hapus manual paket CUDA dan konfigurasinya.
# Uninstall paket CUDA sudo dnf remove 'cuda*' # Hapus konfigurasi repositori sudo rm /etc/yum.repos.d/cuda*.repo # Bersihkan cache sudo dnf clean allJalankan perintah
nvcc --versionuntuk memastikan apakah CUDA telah dihapus.Ketika muncul prompt
command not found, maka CUDA berhasil dihapus.
Metode 2: Uninstall menggunakan file uninstall_cuda
CatatanVersi CUDA yang berbeda mungkin memiliki perintah uninstall yang berbeda. Jika file
cuda-uninstallertidak ditemukan, periksa apakah ada file dengan awalanuninstall_cudadi direktori/usr/local/cuda/bin/.Jika ada, ganti
cuda-uninstallerdalam perintah dengan nama file tersebut.Jika tidak ada, lakukan uninstall menggunakan Metode 1.
/usr/local/cuda/bin/cuda-uninstaller rm -rf /usr/local/cuda-12.9Ketika
Successfullymuncul di output, maka uninstall berhasil.Hapus cuDNN.
Jalankan perintah berikut untuk memeriksa nama paket cuDNN yang terinstal.
rpm -qa | grep cudnnHasil berikut akan dikembalikan:
cudnn9-cuda-12-9.10.2.21-1.x86_64 libcudnn9-cuda-12-9.10.2.21-1.x86_64 libcudnn9-static-cuda-12-9.10.2.21-1.x86_64 ...Jalankan perintah
dnf removeuntuk menghapus setiap paket target.sudo dnf remove cudnn9-cuda-12-9.10.2.21-1.x86_64 sudo dnf remove libcudnn9-cuda-12-9.10.2.21-1.x86_64 sudo dnf remove libcudnn9-static-cuda-12-9.10.2.21-1.x86_64Jalankan perintah berikut untuk membersihkan dependensi yang tersisa.
sudo dnf autoremoveVerifikasi hasil uninstall.
rpm -qa | grep cudnnJika output kosong, maka uninstall berhasil. Jika tidak, lanjutkan menjalankan
dnf removeuntuk menghapus paket yang tersisa.
Instal Tesla driver
Langkah 1: Unduh NVIDIA Tesla driver
Kunjungi halaman unduhan driver NVIDIA.
CatatanUntuk informasi lebih lanjut tentang pemasangan dan konfigurasi driver NVIDIA, lihat Panduan Cepat Pemasangan Driver NVIDIA.
Tetapkan kriteria pencarian yang sesuai berdasarkan tipe instans RDS Custom untuk menemukan dan memilih driver yang cocok.
Temukan driver yang ingin Anda unduh dan klik View di sebelah driver yang sesuai.
Pada halaman produk driver yang ingin Anda unduh, klik kanan Download dan salin alamat tautan.
Jalankan perintah berikut untuk mengunduh paket instalasi driver.
URL unduhan driver dalam perintah contoh adalah tautan unduhan driver yang Anda peroleh di Langkah 4.
wget https://us.download.nvidia.com/tesla/575.57.08/NVIDIA-Linux-x86_64-575.57.08.run
Langkah 2: Instal NVIDIA Tesla driver
Alibaba Cloud Linux/CentOS
Jalankan perintah berikut untuk memeriksa apakah paket kernel-devel dan kernel-headers telah diinstal pada instans GPU-accelerated.
sudo rpm -qa | grep $(uname -r)Jika output perintah mencakup informasi versi tentang paket kernel-devel dan kernel-headers, maka paket tersebut telah diinstal. Contoh output perintah:
kernel-3.10.0-1062.18.1.el7.x86_64 kernel-devel-3.10.0-1062.18.1.el7.x86_64 kernel-headers-3.10.0-1062.18.1.el7.x86_64Jika Anda tidak dapat menemukan kernel-devel-* dan kernel-headers-* di output perintah, Anda perlu mengunduh dan menginstal paket kernel-devel dan kernel-headers yang sesuai dengan versi kernel Anda.
PentingJika versi kernel-devel berbeda dari versi kernel, kesalahan kompilasi akan terjadi saat Anda menginstal RPM Package Manager (RPM) untuk driver Anda. Oleh karena itu, periksa nomor versi kernel-* di output perintah sebelum Anda mengunduh versi kernel-devel yang sesuai. Dalam output perintah sebelumnya, versi kernel adalah 3.10.0-1062.18.1.el7.x86_64.
Berikan izin pada paket instalasi untuk driver Tesla Anda dan instal driver tersebut.
Dalam contoh ini, digunakan driver Tesla Linux 64-bit. Kami merekomendasikan Anda menggunakan paket instalasi .run untuk driver Tesla Anda, seperti paket NVIDIA-Linux-x86_64-xxxx.run. Jalankan perintah berikut untuk memberikan izin eksekusi pada paket instalasi dan menginstal driver Tesla.
CatatanJika Anda menggunakan driver Tesla dalam format lain seperti .deb atau .rpm, lihat Panduan Instalasi CUDA NVIDIA untuk Linux untuk metode instalasi spesifik.
# Berikan izin sudo chmod +x NVIDIA-Linux-x86_64-xxxx.run # Instal sudo sh NVIDIA-Linux-x86_64-xxxx.runJalankan perintah berikut untuk memeriksa apakah driver Tesla telah diinstal:
nvidia-smiKetika informasi detail driver Tesla muncul di output, instalasi berhasil.

(Opsional) Aktifkan Persistence-M menggunakan NVIDIA Persistence Daemon.
Setelah driver Tesla diinstal, Persistence-M dinonaktifkan (
off) secara default. Driver Tesla lebih stabil ketika Persistence-M diaktifkan. Untuk memastikan kelangsungan bisnis, kami merekomendasikan Anda mengaktifkan Persistence-M menggunakan NVIDIA Persistence Daemon. Untuk informasi lebih lanjut, lihat Persistence Daemon.CatatanPersistence-M adalah istilah untuk properti driver yang dapat diatur oleh pengguna yang menjaga GPU dalam keadaan diinisialisasi.
Mengaktifkan Persistence-M menggunakan
nvidia-smi -pm 1dapat menyebabkan masalah seperti pengaturan menjadi tidak valid setelah instans di-restart. Untuk informasi lebih lanjut, lihat Mode Persistensi menjadi tidak valid setelah instans GPU-accelerated di-restart, dan status ECC atau pengaturan fitur MIG juga gagal. Kami merekomendasikan Anda mengaktifkan Persistence-M menggunakan NVIDIA Persistence Daemon.
Jalankan perintah berikut untuk menjalankan NVIDIA Persistence Daemon:
sudo nvidia-persistenced --user username # username adalah nama pengguna Anda.Jalankan perintah berikut untuk melihat status Persistence-M:
nvidia-smiJika output perintah berikut ditampilkan, Persistence-M diaktifkan (
on).
(Opsional) Aktifkan Persistence-M setelah sistem di-restart.
Jika sistem di-restart, Persistence-M akan dinonaktifkan (
on). Anda dapat melakukan operasi berikut untuk mengaktifkan kembali Persistence-M.Dengan menginstal paket instalasi driver Tesla, skrip instalasi yang disediakan oleh NVIDIA (seperti skrip sampel dan skrip installer) diinstal ke jalur
/usr/share/doc/NVIDIA_GLX-1.0/samples/nvidia-persistenced-init.tar.bz2.Jalankan perintah berikut untuk mengekstrak dan menginstal skrip instalasi yang disediakan oleh NVIDIA:
cd /usr/share/doc/NVIDIA_GLX-1.0/samples/ sudo tar xf nvidia-persistenced-init.tar.bz2 cd nvidia-persistenced-init sudo sh install.shJalankan perintah berikut untuk memeriksa apakah NVIDIA Persistence Daemon berjalan sesuai harapan:
sudo systemctl status nvidia-persistencedJika output perintah berikut ditampilkan, NVIDIA Persistence Daemon berjalan sesuai harapan.
CatatanAnda dapat menyesuaikan skrip instalasi NVIDIA Persistence Daemon berdasarkan sistem operasi Anda untuk memastikan bahwa NVIDIA Persistence Daemon bekerja sesuai harapan.
Jalankan perintah berikut untuk memastikan bahwa Persistence-M diaktifkan (
on) kembali.nvidia-smi(Opsional) Jalankan perintah berikut untuk menonaktifkan NVIDIA Persistence Daemon.
Anda dapat menonaktifkan NVIDIA Persistence Daemon sesuai kebutuhan.
sudo systemctl stop nvidia-persistenced sudo systemctl disable nvidia-persistenced
Ubuntu dan lainnya
Berikan izin pada paket instalasi untuk driver Tesla Anda dan instal driver tersebut.
Dalam contoh ini, digunakan driver Tesla Linux 64-bit. Kami merekomendasikan Anda menggunakan paket instalasi .run untuk driver Tesla Anda, seperti paket NVIDIA-Linux-x86_64-xxxx.run. Jalankan perintah berikut untuk memberikan izin eksekusi pada paket instalasi dan menginstal driver Tesla.
CatatanJika Anda menggunakan driver Tesla dalam format lain seperti .deb atau .rpm, lihat Panduan Instalasi CUDA NVIDIA untuk Linux untuk metode instalasi spesifik.
# Berikan izin sudo chmod +x NVIDIA-Linux-x86_64-xxxx.run # Instal sudo sh NVIDIA-Linux-x86_64-xxxx.runJalankan perintah berikut untuk memeriksa apakah driver Tesla telah diinstal:
nvidia-smiKetika informasi detail driver Tesla muncul di output, instalasi berhasil.

(Opsional) Aktifkan Persistence-M menggunakan NVIDIA Persistence Daemon.
Setelah driver Tesla diinstal, Persistence-M dinonaktifkan (
off) secara default. Driver Tesla lebih stabil ketika Persistence-M diaktifkan. Untuk memastikan kelangsungan bisnis, kami merekomendasikan Anda mengaktifkan Persistence-M menggunakan NVIDIA Persistence Daemon. Untuk informasi lebih lanjut, lihat Persistence Daemon.CatatanPersistence-M adalah istilah untuk properti driver yang dapat diatur oleh pengguna yang menjaga GPU dalam keadaan diinisialisasi.
Mengaktifkan Persistence-M menggunakan
nvidia-smi -pm 1dapat menyebabkan masalah seperti pengaturan menjadi tidak valid setelah instans di-restart. Untuk informasi lebih lanjut, lihat Mode Persistensi menjadi tidak valid setelah instans GPU-accelerated di-restart, dan status ECC atau pengaturan fitur MIG juga gagal. Kami merekomendasikan Anda mengaktifkan Persistence-M menggunakan NVIDIA Persistence Daemon.
Jalankan perintah berikut untuk menjalankan NVIDIA Persistence Daemon:
sudo nvidia-persistenced --user username # username adalah nama pengguna Anda.Jalankan perintah berikut untuk melihat status Persistence-M:
nvidia-smiJika output perintah berikut ditampilkan, Persistence-M diaktifkan (
on).
(Opsional) Aktifkan Persistence-M setelah sistem di-restart.
Jika sistem di-restart, Persistence-M akan dinonaktifkan (
on). Anda dapat melakukan operasi berikut untuk mengaktifkan kembali Persistence-M.Dengan menginstal paket instalasi driver Tesla, skrip instalasi yang disediakan oleh NVIDIA (seperti skrip sampel dan skrip installer) diinstal ke jalur
/usr/share/doc/NVIDIA_GLX-1.0/samples/nvidia-persistenced-init.tar.bz2.Jalankan perintah berikut untuk mengekstrak dan menginstal skrip instalasi yang disediakan oleh NVIDIA:
cd /usr/share/doc/NVIDIA_GLX-1.0/samples/ sudo tar xf nvidia-persistenced-init.tar.bz2 cd nvidia-persistenced-init sudo sh install.shJalankan perintah berikut untuk memeriksa apakah NVIDIA Persistence Daemon berjalan sesuai harapan:
sudo systemctl status nvidia-persistencedJika output perintah berikut ditampilkan, NVIDIA Persistence Daemon berjalan sesuai harapan.
CatatanAnda dapat menyesuaikan skrip instalasi NVIDIA Persistence Daemon berdasarkan sistem operasi Anda untuk memastikan bahwa NVIDIA Persistence Daemon bekerja sesuai harapan.
Jalankan perintah berikut untuk memastikan bahwa Persistence-M diaktifkan (
on) kembali.nvidia-smi(Opsional) Jalankan perintah berikut untuk menonaktifkan NVIDIA Persistence Daemon.
Anda dapat menonaktifkan NVIDIA Persistence Daemon sesuai kebutuhan.
sudo systemctl stop nvidia-persistenced sudo systemctl disable nvidia-persistenced
Instal CUDA
Peroleh paket instalasi CUDA.
Pergi ke halaman Arsip Toolkit CUDA.
Klik versi CUDA yang sesuai dengan driver Anda.
Di Operating System, pilih parameter sistem operasi, arsitektur, atau versi sesuai kebutuhan untuk mendapatkan URL unduhan dan perintah instalasi untuk paket instalasi CUDA yang sesuai.
CatatanTopik ini menggunakan CUDA 12.9.0 dan sistem operasi Linux RHEL 8 (Alibaba Cloud Linux 3 kompatibel dengan RHEL 8) sebagai contoh.
Instal CUDA.
Jalankan perintah berikut secara berurutan untuk menginstal CUDA.
wget https://developer.download.nvidia.com/compute/cuda/12.9.0/local_installers/cuda-repo-rhel8-12-9-local-12.9.0_575.51.03-1.x86_64.rpm sudo rpm -i cuda-repo-rhel8-12-9-local-12.9.0_575.51.03-1.x86_64.rpm sudo dnf clean all sudo dnf -y install cuda-toolkit-12-9Jalankan perintah berikut secara berurutan untuk mengonfigurasi variabel lingkungan CUDA:
echo 'export PATH=/usr/local/cuda/bin:$PATH' | sudo tee /etc/profile.d/cuda.sh source /etc/profile
Periksa apakah CUDA telah diinstal pada instans.
Jalankan perintah
nvcc -Vuntuk memeriksa apakah versi instalasi CUDA benar.Hasil berikut akan dikembalikan:
nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2025 NVIDIA Corporation Built on Wed_Apr__9_19:24:57_PDT_2025 Cuda compilation tools, release 12.9, V12.9.41 Build cuda_12.9.r12.9/compiler.35813241_0
Instal cuDNN
Peroleh paket instalasi cuDNN.
Pergi ke halaman CUDA Deep Neural Network (cuDNN) | NVIDIA Developer.
Klik Download cuDNN Library.
Di Operating System, pilih parameter sistem operasi, arsitektur, atau versi sesuai kebutuhan untuk mendapatkan URL unduhan dan perintah instalasi untuk paket instalasi cuDNN yang sesuai.
Versi terbaru cuDNN diunduh secara default. Anda juga dapat mengklik Archive of Previous Releases untuk memilih dan mengunduh versi yang Anda butuhkan.
CatatanTopik ini menggunakan cuDNN 9.10.2 dan sistem operasi Linux RHEL 8 (Alibaba Cloud Linux 3 kompatibel dengan RHEL 8) sebagai contoh.
Instal cuDNN.
Jalankan perintah berikut secara berurutan untuk menginstal cuDNN.
wget https://developer.download.nvidia.com/compute/cudnn/9.10.2/local_installers/cudnn-local-repo-rhel8-9.10.2-1.0-1.x86_64.rpm sudo rpm -i cudnn-local-repo-rhel8-9.10.2-1.0-1.x86_64.rpm sudo dnf clean all sudo dnf -y install cudnn-cuda-12
(Opsional) Jika sistem menginstal
cudnn.h,libcudnn.so*, dancudnn_version.hdi direktori /usr/include/ secara default, jalankan perintah berikut untuk menautkan file-file ini ke direktori yang sesuai di bawah /usr/local/cuda/.Jalankan perintah berikut untuk menautkan libcudnn.so* dan file pustaka cuDNN lainnya ke
/usr/local/cuda/lib64/.sudo ln -s /usr/lib64/libcudnn.so.9.10.2 /usr/local/cuda/lib64/libcudnn.so.9.10.2 sudo ln -s /usr/local/cuda/lib64/libcudnn.so.9.10.2 /usr/local/cuda/lib64/libcudnn.so.9 sudo ln -s /usr/local/cuda/lib64/libcudnn.so.9 /usr/local/cuda/lib64/libcudnn.soJalankan
ls -l /usr/local/cuda/lib64/libcudnn.so*untuk memverifikasi hasil tautan.Jalankan perintah berikut untuk menautkan
cudnn.hdancudnn_version.hke/usr/local/cuda/include.sudo ln -s /usr/include/cudnn.h /usr/local/cuda/include/cudnn.h sudo ln -s /usr/include/cudnn_version.h /usr/local/cuda/include/cudnn_version.hJalankan
ls -l /usr/local/cuda/include/cudnn*untuk memverifikasi hasil tautan.
Periksa apakah cuDNN berhasil diinstal.
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2Hasil berikut akan dikembalikan:
#define CUDNN_MAJOR 9 #define CUDNN_MINOR 10 #define CUDNN_PATCHLEVEL 2 --