Elastic GPU Service:GPU インスタンス (Linux) への Tesla ドライバーの手動インストール

(オプション) NVIDIA Persistence Daemon を使用して Persistence Mode を有効にします。

Tesla ドライバーがインストールされると、デフォルトで Persistence Mode は無効 (off) になっています。Persistence Mode を有効にすると、Tesla ドライバーはより安定して動作します。サービスの安定性を確保するために、NVIDIA Persistence Daemon を使用して Persistence Mode を有効にすることをお勧めします。詳細については、「Persistence Daemon」をご参照ください。

1. 次のコマンドを実行して、NVIDIA Persistence Daemon を起動します。

   sudo nvidia-persistenced --user username 
   # username をお使いのユーザー名に置き換えます。

2. 次のコマンドを実行して、Persistence Mode のステータスを確認します。

   nvidia-smi

   返されたメッセージは、Persistence-M が有効 (on) な状態であることを示しています。

   [ecs-usexxx2q9sgg1tZ ~]$ sudo nvidia-persistenced --user ecs-user
   [ecs-usexxx2q9sgg1tZ ~]$ nvidia-smi
   Tue Sep 10 14:02:16 2024
   +-------------------------------+----------------------+----------------------+
   | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.4     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA A10          On   | 00000000:00:07.0 Off |                    0 |
   |  0%   33C    P8     8W / 150W |      0MiB / 22731MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+

(オプション) システムの再起動時に Persistence Mode を有効にするように設定します。

システムが再起動した場合、永続モードの有効な (on) 状態は失われます。永続モードを再度有効にするには、以下の操作を実行できます。

Tesla ドライバーのインストールパッケージにより、サンプルスクリプトやインストーラースクリプトなどの NVIDIA のインストールスクリプトが /usr/share/doc/NVIDIA_GLX-1.0/samples/nvidia-persistenced-init.tar.bz2 にインストールされます。

1. 次のコマンドを実行して、NVIDIA スクリプトを解凍してインストールします。

   cd  /usr/share/doc/NVIDIA_GLX-1.0/samples/
   sudo tar xf nvidia-persistenced-init.tar.bz2
   cd  nvidia-persistenced-init
   sudo sh install.sh

2. 次のコマンドを実行して、NVIDIA Persistence Daemon が実行されているかどうかを確認します。

   sudo systemctl status nvidia-persistenced

   次のような出力が表示された場合、NVIDIA Persistence Daemon は実行されています。

   [ecs-user@xxx nvidia-persistenced-init]$ sudo systemctl status nvidia-persistenced
   ● nvidia-persistenced.service - NVIDIA Persistence Daemon
      Loaded: loaded (/usr/lib/systemd/system/nvidia-persistenced.service; enabled; vendor preset: disabled)
      Active: active (running) since Tue 2024-09-10 14:13:20 CST; 40s ago
     Process: 13882 ExecStart=/usr/bin/nvidia-persistenced --user nvidia-persistenced (code=exited, status=0/SUCCESS)
    Main PID: 13883 (nvidia-persiste)
       Tasks: 1 (limit: 383833)
      Memory: 196.0K
      CGroup: /system.slice/nvidia-persistenced.service
              └─13883 /usr/bin/nvidia-persistenced --user nvidia-persistenced
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Starting NVIDIA Persistence Daemon...
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ nvidia-persistenced[13883]: Started (13883)
   Sep 10 14:13:20 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Started NVIDIA Persistence Daemon.

   説明

   お使いのオペレーティングシステムに合わせて NVIDIA Persistence Daemon のインストールスクリプトを調整し、正しく動作するようにできます。

3. 次のコマンドを実行して、永続化モードが on に設定されていることを確認します。

   nvidia-smi

4. (オプション) 次のコマンドを実行して、NVIDIA Persistence Daemon を停止します。

   NVIDIA Persistence Daemon が不要になった場合は、無効にできます。

   sudo systemctl stop nvidia-persistenced
   sudo systemctl disable nvidia-persistenced

(オプション) NVIDIA Persistence Daemon を使用して Persistence Mode を有効にします。

Tesla ドライバーがインストールされると、デフォルトで Persistence Mode は無効 (off) になっています。Persistence Mode を有効にすると、Tesla ドライバーはより安定して動作します。サービスの安定性を確保するために、NVIDIA Persistence Daemon を使用して Persistence Mode を有効にすることをお勧めします。詳細については、「Persistence Daemon」をご参照ください。

1. 次のコマンドを実行して、NVIDIA Persistence Daemon を起動します。

   sudo nvidia-persistenced --user username 
   # username をお使いのユーザー名に置き換えます。

2. 次のコマンドを実行して、Persistence Mode のステータスを確認します。

   nvidia-smi

   返されたメッセージは、Persistence-M が有効 (on) な状態であることを示しています。

   [ecs-usexxx2q9sgg1tZ ~]$ sudo nvidia-persistenced --user ecs-user
   [ecs-usexxx2q9sgg1tZ ~]$ nvidia-smi
   Tue Sep 10 14:02:16 2024
   +-------------------------------+----------------------+----------------------+
   | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.4     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA A10          On   | 00000000:00:07.0 Off |                    0 |
   |  0%   33C    P8     8W / 150W |      0MiB / 22731MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+

(オプション) システムの再起動時に Persistence Mode を有効にするように設定します。

システムが再起動した場合、永続モードの有効な (on) 状態は失われます。永続モードを再度有効にするには、以下の操作を実行できます。

Tesla ドライバーのインストールパッケージにより、サンプルスクリプトやインストーラースクリプトなどの NVIDIA のインストールスクリプトが /usr/share/doc/NVIDIA_GLX-1.0/samples/nvidia-persistenced-init.tar.bz2 にインストールされます。

1. 次のコマンドを実行して、NVIDIA スクリプトを解凍してインストールします。

   cd  /usr/share/doc/NVIDIA_GLX-1.0/samples/
   sudo tar xf nvidia-persistenced-init.tar.bz2
   cd  nvidia-persistenced-init
   sudo sh install.sh

2. 次のコマンドを実行して、NVIDIA Persistence Daemon が実行されているかどうかを確認します。

   sudo systemctl status nvidia-persistenced

   次のような出力が表示された場合、NVIDIA Persistence Daemon は実行されています。

   [ecs-user@xxx nvidia-persistenced-init]$ sudo systemctl status nvidia-persistenced
   ● nvidia-persistenced.service - NVIDIA Persistence Daemon
      Loaded: loaded (/usr/lib/systemd/system/nvidia-persistenced.service; enabled; vendor preset: disabled)
      Active: active (running) since Tue 2024-09-10 14:13:20 CST; 40s ago
     Process: 13882 ExecStart=/usr/bin/nvidia-persistenced --user nvidia-persistenced (code=exited, status=0/SUCCESS)
    Main PID: 13883 (nvidia-persiste)
       Tasks: 1 (limit: 383833)
      Memory: 196.0K
      CGroup: /system.slice/nvidia-persistenced.service
              └─13883 /usr/bin/nvidia-persistenced --user nvidia-persistenced
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Starting NVIDIA Persistence Daemon...
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ nvidia-persistenced[13883]: Started (13883)
   Sep 10 14:13:20 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Started NVIDIA Persistence Daemon.

   説明

   お使いのオペレーティングシステムに合わせて NVIDIA Persistence Daemon のインストールスクリプトを調整し、正しく動作するようにできます。

3. 次のコマンドを実行して、永続化モードが on に設定されていることを確認します。

   nvidia-smi

4. (オプション) 次のコマンドを実行して、NVIDIA Persistence Daemon を停止します。

   NVIDIA Persistence Daemon が不要になった場合は、無効にできます。

   sudo systemctl stop nvidia-persistenced
   sudo systemctl disable nvidia-persistenced

(該当する場合のみ必須) インスタンスが ebmgn8v、ebmgn7、または ebmgn7e インスタンスファミリーに属している場合は、ドライバーバージョンに一致する nvidia-fabricmanager サービスをインストールします。

1. nvidia-fabricmanager サービスをインストールします。

   nvidia-fabricmanager サービスは、ソースコードまたはインストールパッケージからインストールできます。次のコマンド例は、Ubuntu 16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、または Ubuntu 24.04 オペレーティングシステム用です。コマンド内の driver_version を、手順1：NVIDIA Tesla ドライバーのダウンロードでダウンロードしたドライバーのバージョンに置き換えてください。

   重要

   • Ubuntu 22.04 では、nvidia-fabricmanager サービスには 515.48.07 より後のバージョンの Tesla ドライバーが必要です。Ubuntu 22.04 の次の例では、ドライバーバージョン 535.154.05 を使用しています。

   • Ubuntu 24.04 では、nvidia-fabricmanager サービスには 550.90.07 より後のバージョンの Tesla ドライバーが必要です。Ubuntu 24.04 の次の例では、ドライバーバージョン 570.133.20 を使用しています。

   • [ソースコード]

     Ubuntu 16.04、Ubuntu 18.04、または Ubuntu 20.04

     driver_version=460.91.03
     driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
     distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
     sudo wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-$distribution.pin
     sudo mv cuda-$distribution.pin /etc/apt/preferences.d/cuda-repository-pin-600
     sudo wget -qO - https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/3bf863cc.pub | sudo apt-key add -
     sudo echo "deb https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | tee /etc/apt/sources.list.d/cuda.list
     sudo apt-get update
     sudo apt-get -y install nvidia-fabricmanager-${driver_version_main}=${driver_version}-*

     Ubuntu 22.04

     driver_version=535.154.05
     driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
     distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
     sudo wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-$distribution.pin
     sudo mv cuda-$distribution.pin /etc/apt/preferences.d/cuda-repository-pin-600
     sudo wget -qO - https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/3bf863cc.pub | sudo apt-key add -
     sudo echo "deb https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | tee /etc/apt/sources.list.d/cuda.list
     sudo apt-get update
     sudo apt-get -y install nvidia-fabricmanager-${driver_version_main}=${driver_version}-*

     Ubuntu 24.04

     driver_version=570.133.20
     driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
     distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
     sudo wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-$distribution.pin
     sudo mv cuda-$distribution.pin /etc/apt/preferences.d/cuda-repository-pin-600
     sudo wget -qO - https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/3bf863cc.pub | sudo apt-key add -
     sudo echo "deb https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | tee /etc/apt/sources.list.d/cuda.list
     sudo apt-get update
     sudo apt-get -y install nvidia-fabricmanager-${driver_version_main}=${driver_version}-*

   • [インストールパッケージ]

     • Ubuntu 16.04

       driver_version=460.91.03
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 18.04

       driver_version=460.91.03
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 20.04

       driver_version=460.91.03
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 22.04

       driver_version=535.154.05 
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 24.04

       driver_version=570.133.20 
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

2. 次のコマンドを実行して、nvidia-fabricmanager サービスを開始します。

   sudo systemctl enable nvidia-fabricmanager
   sudo systemctl start nvidia-fabricmanager

3. 次のコマンドを実行して、nvidia-fabricmanager サービスのステータスを確認します。

   systemctl status nvidia-fabricmanager

   次のような出力が表示されたら、nvidia-fabricmanager サービスは実行中です。

   nvidia-fabricmanager.service - NVIDIA fabric manager service
      Loaded: loaded (/lib/systemd/system/nvidia-fabricmanager.service; enabled; vendor preset: enabled)
      Active: active (running) since Mon 2021-09-13 19:14:45 CST; 1 weeks 1 days ago
     Process: 1928 ExecStart=/usr/bin/nv-fabricmanager -c /usr/share/nvidia/nvswitch/fabricmanager.cfg (code=exited, status=0/SUCCESS)
    Main PID: 2140 (nv-fabricmanage)
       Tasks: 18 (limit: 19660)
      CGroup: /system.slice/nvidia-fabricmanager.service
              └─2140 /usr/bin/nv-fabricmanager -c /usr/share/nvidia/nvswitch/fabricmanager.cfg
   Sep 13 19:14:26 xxx systemd[1]: Starting NVIDIA fabric manager service...
   Sep 13 19:14:45 xxx nv-fabricmanager[2140]: Successfully configured all the available GPUs and NVSwitches.
   Sep 13 19:14:45 xxx systemd[1]: Started NVIDIA fabric manager service.

   説明

   GPU が正しく動作するためには、nvidia-fabricmanager パッケージのバージョンが Tesla ドライバーのバージョンと一致している必要があります。Ubuntu で、インストールパッケージを使用して nvidia-fabricmanager サービスをインストールした場合、apt-daily サービスが nvidia-fabricmanager パッケージを自動的に更新する可能性があります。これにより、Tesla ドライバーとのバージョン不一致が発生し、nvidia-fabricmanager サービスが起動しなくなり、GPU が使用できなくなることがあります。この問題を解決するには、「nvidia-fabricmanager のバージョンが Tesla ドライバーのバージョンと異なるため、GPU が期待どおりに動作しない」をご参照ください。