Elastic GPU Service:GPU インスタンス (Linux) への Tesla ドライバーの手動インストール

(オプション) NVIDIA Persistence Daemon を使用して永続モードを有効にします。

Tesla ドライバーをインストールした後、デフォルトで永続モードは無効 (off) になっています。永続モードが有効になっていると、Tesla ドライバーの動作がより安定します。サービスの安定性を確保するために、NVIDIA Persistence Daemon を使用して永続モードを有効にすることを推奨します。詳細については、「Persistence Daemon」をご参照ください。

1. 次のコマンドを実行して、NVIDIA Persistence Daemon を開始します。

   sudo nvidia-persistenced --user username 
   # username をお使いのユーザー名に置き換えます。

2. 次のコマンドを実行して、永続モードのステータスを確認します。

   nvidia-smi

   返されたメッセージには、Persistence-M が有効 (on) 状態であることが示されています。

   [ecs-usexxx2q9sgg1tZ ~]$ sudo nvidia-persistenced --user ecs-user
   [ecs-usexxx2q9sgg1tZ ~]$ nvidia-smi
   Tue Sep 10 14:02:16 2024
   +-------------------------------+----------------------+----------------------+
   | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.4     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA A10          On   | 00000000:00:07.0 Off |                    0 |
   |  0%   33C    P8     8W / 150W |      0MiB / 22731MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+

(オプション) システムの再起動時に永続モードが有効になるように設定します。

システムが再起動すると、永続モードの有効 (on) 状態は失われます。次の操作を実行して、永続モードを再度有効にできます。

Tesla ドライバーをインストールすると、サンプルスクリプトやインストーラースクリプトなどの NVIDIA のインストールスクリプトが /usr/share/doc/NVIDIA_GLX-1.0/samples/nvidia-persistenced-init.tar.bz2 にインストールされます。

1. 次のコマンドを実行して、NVIDIA スクリプトを解凍してインストールします。

   cd  /usr/share/doc/NVIDIA_GLX-1.0/samples/
   sudo tar xf nvidia-persistenced-init.tar.bz2
   cd  nvidia-persistenced-init
   sudo sh install.sh

2. 次のコマンドを実行して、NVIDIA Persistence Daemon が実行されているかどうかを確認します。

   sudo systemctl status nvidia-persistenced

   次のような出力が表示された場合、NVIDIA Persistence Daemon は実行中です。

   [ecs-user@xxx nvidia-persistenced-init]$ sudo systemctl status nvidia-persistenced
   ● nvidia-persistenced.service - NVIDIA Persistence Daemon
      Loaded: loaded (/usr/lib/systemd/system/nvidia-persistenced.service; enabled; vendor preset: disabled)
      Active: active (running) since Tue 2024-09-10 14:13:20 CST; 40s ago
     Process: 13882 ExecStart=/usr/bin/nvidia-persistenced --user nvidia-persistenced (code=exited, status=0/SUCCESS)
    Main PID: 13883 (nvidia-persiste)
       Tasks: 1 (limit: 383833)
      Memory: 196.0K
      CGroup: /system.slice/nvidia-persistenced.service
              └─13883 /usr/bin/nvidia-persistenced --user nvidia-persistenced
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Starting NVIDIA Persistence Daemon...
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ nvidia-persistenced[13883]: Started (13883)
   Sep 10 14:13:20 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Started NVIDIA Persistence Daemon.

   説明

   オペレーティングシステムに合わせて NVIDIA Persistence Daemon インストールスクリプトを調整し、正常な動作を確保してください。

3. 次のコマンドを実行して、永続モードが on に設定されていることを確認します。

   nvidia-smi

4. (オプション) 次のコマンドを実行して、NVIDIA Persistence Daemon を停止します。

   NVIDIA Persistence Daemon が不要になった場合は、無効にできます。

   sudo systemctl stop nvidia-persistenced
   sudo systemctl disable nvidia-persistenced

(オプション) NVIDIA Persistence Daemon を使用して永続モードを有効にします。

Tesla ドライバーをインストールした後、デフォルトで永続モードは無効 (off) になっています。永続モードが有効になっていると、Tesla ドライバーの動作がより安定します。サービスの安定性を確保するために、NVIDIA Persistence Daemon を使用して永続モードを有効にすることを推奨します。詳細については、「Persistence Daemon」をご参照ください。

1. 次のコマンドを実行して、NVIDIA Persistence Daemon を開始します。

   sudo nvidia-persistenced --user username 
   # username をお使いのユーザー名に置き換えます。

2. 次のコマンドを実行して、永続モードのステータスを確認します。

   nvidia-smi

   返されたメッセージには、Persistence-M が有効 (on) 状態であることが示されています。

   [ecs-usexxx2q9sgg1tZ ~]$ sudo nvidia-persistenced --user ecs-user
   [ecs-usexxx2q9sgg1tZ ~]$ nvidia-smi
   Tue Sep 10 14:02:16 2024
   +-------------------------------+----------------------+----------------------+
   | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.4     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA A10          On   | 00000000:00:07.0 Off |                    0 |
   |  0%   33C    P8     8W / 150W |      0MiB / 22731MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+

(オプション) システムの再起動時に永続モードが有効になるように設定します。

システムが再起動すると、永続モードの有効 (on) 状態は失われます。次の操作を実行して、永続モードを再度有効にできます。

Tesla ドライバーをインストールすると、サンプルスクリプトやインストーラースクリプトなどの NVIDIA のインストールスクリプトが /usr/share/doc/NVIDIA_GLX-1.0/samples/nvidia-persistenced-init.tar.bz2 にインストールされます。

1. 次のコマンドを実行して、NVIDIA スクリプトを解凍してインストールします。

   cd  /usr/share/doc/NVIDIA_GLX-1.0/samples/
   sudo tar xf nvidia-persistenced-init.tar.bz2
   cd  nvidia-persistenced-init
   sudo sh install.sh

2. 次のコマンドを実行して、NVIDIA Persistence Daemon が実行されているかどうかを確認します。

   sudo systemctl status nvidia-persistenced

   次のような出力が表示された場合、NVIDIA Persistence Daemon は実行中です。

   [ecs-user@xxx nvidia-persistenced-init]$ sudo systemctl status nvidia-persistenced
   ● nvidia-persistenced.service - NVIDIA Persistence Daemon
      Loaded: loaded (/usr/lib/systemd/system/nvidia-persistenced.service; enabled; vendor preset: disabled)
      Active: active (running) since Tue 2024-09-10 14:13:20 CST; 40s ago
     Process: 13882 ExecStart=/usr/bin/nvidia-persistenced --user nvidia-persistenced (code=exited, status=0/SUCCESS)
    Main PID: 13883 (nvidia-persiste)
       Tasks: 1 (limit: 383833)
      Memory: 196.0K
      CGroup: /system.slice/nvidia-persistenced.service
              └─13883 /usr/bin/nvidia-persistenced --user nvidia-persistenced
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Starting NVIDIA Persistence Daemon...
   Sep 10 14:13:19 iZbp13orbqqx6m2q9sgg1tZ nvidia-persistenced[13883]: Started (13883)
   Sep 10 14:13:20 iZbp13orbqqx6m2q9sgg1tZ systemd[1]: Started NVIDIA Persistence Daemon.

   説明

   オペレーティングシステムに合わせて NVIDIA Persistence Daemon インストールスクリプトを調整し、正常な動作を確保してください。

3. 次のコマンドを実行して、永続モードが on に設定されていることを確認します。

   nvidia-smi

4. (オプション) 次のコマンドを実行して、NVIDIA Persistence Daemon を停止します。

   NVIDIA Persistence Daemon が不要になった場合は、無効にできます。

   sudo systemctl stop nvidia-persistenced
   sudo systemctl disable nvidia-persistenced

(条件付き必須) インスタンスが ebmgn8v、ebmgn7、または ebmgn7e インスタンスファミリーに属している場合は、ドライバーバージョンに一致する nvidia-fabricmanager サービスをインストールします。

1. nvidia-fabricmanager サービスをインストールします。

   nvidia-fabricmanager サービスは、ソースコードまたはインストールパッケージからインストールできます。次のコマンド例は、Ubuntu 16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04、または Ubuntu 24.04 オペレーティングシステムの場合のものです。コマンド内の driver_version は、「ステップ 1： NVIDIA Tesla ドライバーのダウンロード」でダウンロードしたドライバーのバージョン番号に置き換えてください。

   重要

   • Ubuntu 22.04 では、nvidia-fabricmanager サービスには 515.48.07 より後のバージョンの Tesla ドライバーが必要です。Ubuntu 22.04 の次の例では、ドライバーバージョン 535.154.05 を使用します。

   • Ubuntu 24.04 では、nvidia-fabricmanager サービスには 550.90.07 より後のバージョンの Tesla ドライバーが必要です。Ubuntu 24.04 の次の例では、ドライバーバージョン 570.133.20 を使用します。

   • [ソースコード]

     Ubuntu 16.04、Ubuntu 18.04、または Ubuntu 20.04

     driver_version=460.91.03
     driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
     distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
     sudo wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-$distribution.pin
     sudo mv cuda-$distribution.pin /etc/apt/preferences.d/cuda-repository-pin-600
     sudo wget -qO - https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/3bf863cc.pub | sudo apt-key add -
     sudo echo "deb https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | tee /etc/apt/sources.list.d/cuda.list
     sudo apt-get update
     sudo apt-get -y install nvidia-fabricmanager-${driver_version_main}=${driver_version}-*

     Ubuntu 22.04

     driver_version=535.154.05
     driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
     distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
     sudo wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-$distribution.pin
     sudo mv cuda-$distribution.pin /etc/apt/preferences.d/cuda-repository-pin-600
     sudo wget -qO - https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/3bf863cc.pub | sudo apt-key add -
     sudo echo "deb https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | tee /etc/apt/sources.list.d/cuda.list
     sudo apt-get update
     sudo apt-get -y install nvidia-fabricmanager-${driver_version_main}=${driver_version}-*

     Ubuntu 24.04

     driver_version=570.133.20
     driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
     distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
     sudo wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-$distribution.pin
     sudo mv cuda-$distribution.pin /etc/apt/preferences.d/cuda-repository-pin-600
     sudo wget -qO - https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/3bf863cc.pub | sudo apt-key add -
     sudo echo "deb https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | tee /etc/apt/sources.list.d/cuda.list
     sudo apt-get update
     sudo apt-get -y install nvidia-fabricmanager-${driver_version_main}=${driver_version}-*

   • [インストールパッケージ]

     • Ubuntu 16.04

       driver_version=460.91.03
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 18.04

       driver_version=460.91.03
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 20.04

       driver_version=460.91.03
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 22.04

       driver_version=535.154.05 
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

     • Ubuntu 24.04

       driver_version=570.133.20 
       driver_version_main=$(echo $driver_version | awk -F '.' '{print $1}')
       sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb
       sudo dpkg -i nvidia-fabricmanager-${driver_version_main}_${driver_version}-1_amd64.deb

2. 次のコマンドを実行して、nvidia-fabricmanager サービスを開始します。

   sudo systemctl enable nvidia-fabricmanager
   sudo systemctl start nvidia-fabricmanager

3. 次のコマンドを実行して、nvidia-fabricmanager サービスのステータスを確認します。

   systemctl status nvidia-fabricmanager

   次のような出力が表示された場合、nvidia-fabricmanager サービスは実行中です。

   nvidia-fabricmanager.service - NVIDIA fabric manager service
      Loaded: loaded (/lib/systemd/system/nvidia-fabricmanager.service; enabled; vendor preset: enabled)
      Active: active (running) since Mon 2021-09-13 19:14:45 CST; 1 weeks 1 days ago
     Process: 1928 ExecStart=/usr/bin/nv-fabricmanager -c /usr/share/nvidia/nvswitch/fabricmanager.cfg (code=exited, status=0/SUCCESS)
    Main PID: 2140 (nv-fabricmanage)
       Tasks: 18 (limit: 19660)
      CGroup: /system.slice/nvidia-fabricmanager.service
              └─2140 /usr/bin/nv-fabricmanager -c /usr/share/nvidia/nvswitch/fabricmanager.cfg
   Sep 13 19:14:26 xxx systemd[1]: Starting NVIDIA fabric manager service...
   Sep 13 19:14:45 xxx nv-fabricmanager[2140]: Successfully configured all the available GPUs and NVSwitches.
   Sep 13 19:14:45 xxx systemd[1]: Started NVIDIA fabric manager service.

   説明

   GPU が正しく動作するには、nvidia-fabricmanager パッケージのバージョンが Tesla ドライバーのバージョンと一致している必要があります。Ubuntu では、インストールパッケージを使用して nvidia-fabricmanager サービスをインストールすると、apt-daily サービスが nvidia-fabricmanager パッケージを自動的に更新する場合があります。これにより、Tesla ドライバーとのバージョン不一致が発生し、nvidia-fabricmanager サービスが開始できなくなり、GPU が使用できなくなることがあります。この問題を解決するには、「nvidia-fabricmanager のバージョンが Tesla ドライバーのバージョンと異なるために GPU が期待どおりに動作しない」をご参照ください。