Elastic GPU Service:FAQ for GPU-accelerated instances

Les instances accélérées par GPU prennent-elles en charge les émulateurs Android ?

Les émulateurs Android peuvent être installés uniquement sur certaines instances accélérées par GPU.

Les émulateurs Android sont pris en charge uniquement sur les familles d'instances Bare Metal ECS optimisées pour le calcul avec GPU suivantes : ebmgn7e , ebmgn7i, ebmgn7, ebmgn6ia, ebmgn6e, ebmgn6v, ebmgn6i .

La configuration d'une instance accélérée par GPU peut-elle être modifiée ?

Certaines instances accélérées par GPU permettent de modifier leur configuration.

Les types d'instances pris en charge sont répertoriés dans Restrictions et vérifications relatives au changement de type d'instance.

Une famille d'instances ECS standard peut-elle être mise à niveau ou convertie en une famille d'instances accélérées par GPU ?

Non. Il est impossible de convertir une famille d'instances ECS standard en une famille d'instances accélérées par GPU.

Les types d'instances pris en charge sont répertoriés dans Restrictions et vérifications relatives au changement de type d'instance.

Comment transférer des données entre une instance accélérée par GPU et une instance ECS standard ?

Aucun paramètre spécial n'est requis pour le transfert de données.

Les instances accélérées par GPU se comportent comme des instances ECS standard. Les instances appartenant au même groupe de sécurité communiquent par défaut via le réseau interne. Aucune configuration spécifique n'est nécessaire.

Quelle est la différence entre un GPU et un CPU ?

Le tableau suivant compare les GPU et les CPU.

Après l'achat d'une instance accélérée par GPU, pourquoi la commande nvidia-smi ne détecte-t-elle pas la carte GPU ?

Comment afficher les détails d'une carte GPU ?

La méthode varie selon le système d'exploitation :

• Sous Linux, exécutez la commande nvidia-smi pour afficher les détails de la carte GPU.

• Sous Windows, consultez les détails de la carte GPU dans Device Manager > Display Adapters.

Un échec d'initialisation du GPU (tel que RmInitAdapter failed!) se produit lors de l'utilisation d'un GPU sous Linux

• Symptômes : Le périphérique GPU passe hors ligne et le système ne parvient pas à reconnaître la carte GPU. Par exemple, sous Linux, une erreur d'échec d'initialisation du GPU se produit. Après avoir exécuté la commande sh nvidia-bug-report.sh, le message d'erreur RmInitAdapter failed apparaît dans le journal généré, comme illustré dans l'exemple suivant :

  NVRM: _kgspBootGspRm: unexpected WPR2 already up, cannot proceed with booting GSP
  NVRM: _kgspBootGspRm: (the GPU is likely in a bad state and may need to be reset)
  NVRM: crashcatWayfinderGetReportQueue_V1: insufficiently-sized L1 wayfinder scratch location 0
  NVRM: RmInitAdapter: Cannot initialize GSP firmware RM
  NVRM: GPU 0000:00:09.0: RmInitAdapter failed! (0x62:0x40:2015)
  NVRM: GPU 0000:00:09.0: rm_init_adapter failed, device minor number 0

• Cause : Le composant GPU System Processor (GSP) peut se trouver dans un état anormal. Cela entraîne la déconnexion du périphérique et empêche le système de détecter la carte GPU.

• Solution : Redémarrez l'instance depuis la console. Cette action effectue une réinitialisation complète du GPU et résout généralement le problème. Si le problème persiste, consultez la section Perte de périphérique GPU due aux erreurs XID 119/XID 120 lors de l'utilisation d'un GPU pour poursuivre le dépannage. Nous vous recommandons de désactiver la fonctionnalité GSP.

Pourquoi une instance disposant de 48 Go de mémoire GPU affiche-t-elle environ 3 Go de moins dans nvidia-smi ?

L'ECC (Error-Correcting Code) est activé et utilise environ 2 à 3 Go de mémoire GPU sur une instance de 48 Go. Exécutez nvidia-smi pour vérifier l'état de l'ECC (OFF = désactivé, ON = activé).

Comment désactiver la fonctionnalité ECC pour libérer de la mémoire GPU ?

1. Ligne de commande : Arrêtez tous les processus utilisant le GPU. Exécutez nvidia-smi -e 0 pour désactiver l'ECC. Ensuite, exécutez nvidia-smi -r pour réinitialiser le GPU.

2. Script de démarrage : Ajoutez nvidia-smi -e 0 et nvidia-smi -r à la première ligne du script de démarrage /etc/rc.local. Sur certains systèmes, le chemin est /etc/rc.d/rc.local. Ensuite, redémarrez l'instance.

Que faire si une erreur indiquant qu'un GPU est utilisé par un autre client survient lors de la désactivation de l'ECC ?

Cette erreur indique qu'un composant ou un processus utilise toujours le GPU. Assurez-vous qu'aucun processus GPU n'est en cours d'exécution sur la machine. Si vous ne pouvez pas les arrêter manuellement, créez une sauvegarde instantanée (snapshot). Ajoutez ensuite les commandes nvidia-smi -e 0 et nvidia-smi -r au script de démarrage /etc/rc.local. Sur certains systèmes, le chemin est /etc/rc.d/rc.local. Redémarrez l'instance pour appliquer les modifications.

Quel pilote dois-je installer pour une instance accélérée par vGPU ?

Les instances accélérées par vGPU nécessitent un pilote GRID.

Pour les scénarios de calcul généraliste ou d'accélération graphique, vous pouvez charger le pilote GRID lors de la création de l'instance ou l'installer ultérieurement avec Cloud Assistant :

• Chargez le pilote GRID lors de la création de l'instance. Charger un pilote GRID à partir d'une image avec pilote préinstallé.

• Installez le pilote GRID avec Cloud Assistant après la création :

  • Installer un pilote GRID sur une instance accélérée par vGPU (Linux)

  • Installer un pilote GRID sur une instance Windows optimisée pour le calcul avec GPU ou accélérée par vGPU

Puis-je mettre à niveau CUDA vers la version 12.4 ou le pilote NVIDIA vers la version 550 ou ultérieure sur une instance accélérée par vGPU ?

Non.

Les instances accélérées par vGPU utilisent le pilote GRID fourni par la plateforme, dont la version est figée. Vous ne pouvez pas installer de pilotes provenant du site web de NVIDIA. Pour mettre à niveau CUDA ou le pilote, utilisez plutôt une instance de série gn ou ebm.

Quel pilote dois-je installer pour utiliser des outils tels qu'OpenGL et Direct3D pour l'accélération graphique sur une instance optimisée pour le calcul avec GPU ?

Installez le pilote en fonction de votre système d'exploitation :

• Les instances Linux optimisées pour le calcul avec GPU nécessitent un pilote Tesla :

  • Installer ou charger automatiquement un pilote Tesla lors de la création d'une instance accélérée par GPU

  • Installer manuellement un pilote Tesla sur une instance optimisée pour le calcul avec GPU (Linux)

• Les instances Windows optimisées pour le calcul avec GPU nécessitent un pilote GRID :

  • Charger un pilote GRID à partir d'une image avec pilote préinstallé

  • Installer un pilote GRID sur une instance Windows optimisée pour le calcul avec GPU ou accélérée par vGPU

Pourquoi la version de CUDA affichée après l'installation diffère-t-elle de celle sélectionnée lors de la création de l'instance accélérée par GPU ?

La commande nvidia-smi affiche la version de CUDA la plus élevée prise en charge par votre instance accélérée par GPU, et non la version que vous avez sélectionnée lors de la création de l'instance.

Après avoir installé un pilote GRID sur une instance Windows accélérée par GPU, que faire si un écran noir apparaît lors de l'utilisation d'une connexion VNC depuis la console ?

• Cause : Le pilote GRID prend le contrôle de la sortie d'affichage. VNC ne peut plus effectuer le rendu à partir du graphique intégré, ce qui provoque un écran noir. Il s'agit d'un comportement attendu.

• Solution : Connectez-vous à l'instance accélérée par GPU à l'aide de Workbench. Pour plus d'informations, consultez la section Se connecter à une instance Windows à l'aide de Workbench.

Comment obtenir une licence GRID ?

La méthode dépend de votre système d'exploitation :

• Sous Windows, utilisez une image avec pilote préinstallé ou installez le pilote manuellement.

  • Charger un pilote GRID à partir d'une image avec pilote préinstallé

  • Installer un pilote GRID sur une instance Windows optimisée pour le calcul avec GPU ou accélérée par vGPU

• Sous Linux, utilisez une image avec pilote préinstallé ou Cloud Assistant.

  • Charger un pilote GRID à partir d'une image avec pilote préinstallé

  • Installer un pilote GRID sur une instance accélérée par vGPU (Linux)

Comment mettre à niveau un pilote GPU (Tesla ou GRID) ?

Vous ne pouvez pas mettre à niveau directement un pilote GPU. Désinstallez l'ancienne version, redémarrez, puis installez la nouvelle version. Mettre à niveau un pilote Tesla ou GRID.

Un plantage du système et une erreur kernel NULL pointer dereference se produisent après l'installation du pilote NVIDIA version 570.124.xx (Linux) ou 572,61 (Windows)

• Symptômes : Sur certains types d'instances, le système signale une erreur kernel NULL pointer dereference soit pendant l'installation du pilote NVIDIA version 570.124.xx (Linux) ou 572,61 (Windows), soit lors de l'exécution de la commande nvidia-smi après l'installation. Le journal suivant illustre l'erreur :

  Journal des erreurs

  [  305.164082] BUG: kernel NULL pointer dereference, address: 00000000000000c4
  [  305.164303] #PF: supervisor read access in kernel mode
  [  305.164447] #PF: error_code(0x0000) - not-present page
  [  305.164626] PGD 0 P4D 0
  [  305.164724] Oops: 0000 [#1] SMP NOPTI
  [  305.164852] CPU: 29 PID: 23659 Comm: nv_open_q Kdump: loaded Tainted: G           OE     5.10.134-19.1.al8.x86_64 #1
  [  305.165241] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 2.0.0 04/23/2024
  [  305.165450] RIP: 0010:pci_read_config_dword+0x5/0x40
  [  305.165630] Code: 44 89 c6 e9 5d fc ff ff b8 ff ff ff ff 66 89 02 b8 86 00 00 00 c3 cc cc cc cc 66 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 <83> bf c4 00 00 00 03 48 89 d1 74 12 44 8b 47 38 48 8b 7f 10 89 f2
  [  305.166323] RSP: 0018:ffffbc6ac0f1b9f0 EFLAGS: 00010293
  [  305.166469] RAX: 0000000000000000 RBX: ffff9e9ba33e0020 RCX: 0000000000000002
  [  305.166724] RDX: ffffbc6ac0f1ba0c RSI: 0000000000000000 RDI: 0000000000000000
  [  305.166977] RBP: ffffbc6ac0f1ba10 R08: 0000000000000000 R09: 0000000000000000
  [  305.167243] R10: 00000000000922f8 R11: ffffffffac163048 R12: 0000000000000000
  [  305.167506] R13: 0000000000000001 R14: 0000000000000004 R15: 0000000000000000
  [  305.167766] FS:  0000000000000000(0000) GS:ffff9ef785480000(0000) knlGS:0000000000000000
  [  305.168060] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
  [  305.168270] CR2: 00000000000000c4 CR3: 0000004130a12003 CR4: 0000000002770ee0
  [  305.168531] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
  [  305.168793] DR3: 0000000000000000 DR6: 00000000fffe07f0 DR7: 0000000000000400
  [  305.169052] PKRU: 55555554
  [  305.169157] Call Trace:
  [  305.169252]  ? __die+0x20/0x70
  [  305.169372]  ? no_context+0x5f/0x260
  [  305.169504]  ? exc_page_fault+0x68/0x130
  [  305.169651]  ? asm_exc_page_fault+0x1e/0x30
  [  305.169815]  ? pci_read_config_dword+0x5/0x40
  [  305.170080]  os_pci_read_dword+0x12/0x30 [nvidia]
  [  305.170357]  ? osPciReadDword+0x15/0x20 [nvidia]
  [  305.170637]  gpuReadPcieConfigCycle_GB202+0x66/0xd0 [nvidia]
  [  305.170962]  kbifSavePcieConfigRegistersFn1_GB202+0x65/0xc0 [nvidia]
  [  305.171297]  kbifSavePcieConfigRegisters_GH100+0xd2/0x1e0 [nvidia]
  [  305.171619]  kbifStateLoad_IMPL+0xa1/0xe0 [nvidia]
  [  305.171893]  gpuStateLoad_IMPL+0x267/0xd60 [nvidia]
  [  305.172129]  ? _rmGpuLocksAcquire.constprop.0+0x352/0xbf0 [nvidia]
  [  305.172375]  ? portSyncSpinlockAcquire+0x1d/0x50 [nvidia]
  [  305.172585]  ? _tlsThreadEntryGet+0x82/0x90 [nvidia]
  [  305.172780]  ? tlsEntryGet+0x31/0x80 [nvidia]
  [  305.172979]  gpumgrStateLoadGpu+0x5b/0x70 [nvidia]
  [  305.173209]  RmInitAdapter+0xf08/0x1c00 [nvidia]
  [  305.173433]  ? os_get_current_tick+0x28/0x70 [nvidia]
  [  305.173671]  rm_init_adapter+0xad/0xc0 [nvidia]
  [  305.173845]  nv_start_device+0x2a9/0x6f0 [nvidia]
  [  305.174328]  ? nv_open_device+0x9b/0x220 [nvidia]
  [  305.174791]  ? nvidia_open_deferred+0x3c/0x100 [nvidia]
  [  305.175248]  ? nvidia_modeset_resume+0x20/0x20 [nvidia]
  [  305.175705]  ? _main_loop+0x9e/0x160 [nvidia]
  [  305.176128]  ? nvidia_modeset_resume+0x20/0x20 [nvidia]
  [  305.176527]  ? kthread+0x118/0x140
  [  305.176869]  ? __kthread_bind_mask+0x60/0x60
  [  305.177230]  ? ret_from_fork+0x1f/0x30
  [  305.177575] Modules linked in: nvidia_drm(OE) nvidia_modeset(OE) nvidia(OE) ecc rfkill intel_rapl_msr intel_rapl_common intel_uncore_frequency_common isst_if_common skx_edac_common nfit intel_powerclamp crct10dif_pclmul crc32_pclmul ghash_clmulni_intel rapl snd_intel8x0 snd_ac97_codec ac97_bus snd_pcm erdma snd_timer ib_uverbs snd soundcore ib_core virtio_balloon pcspkr i2c_piix4 sunrpc vfat fat cirrus drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops drm nvme libcrc32c virtio_net crc32c_intel net_failover nvme_core serio_raw i2c_core failover virtio_console t10_pi floppy [last unloaded: ecc]
  [  305.180787] CR2: 00000000000000c4
  [  305.181132] ---[ end trace 85d65b7e0a10dcf8 ]---
  [  305.181512] RIP: 0010:pci_read_config_dword+0x5/0x40
  [  305.181903] Code: 44 89 c6 e9 5d fc ff ff b8 ff ff ff ff 66 89 02 b8 86 00 00 00 c3 cc cc cc cc 66 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 <83> bf c4 00 00 00 03 48 89 d1 74 12 44 8b 47 38 48 8b 7f 10 89 f2
  [  305.183045] RSP: 0018:ffffbc6ac0f1b9f0 EFLAGS: 00010293
  [  305.183463] RAX: 0000000000000000 RBX: ffff9e9ba33e0020 RCX: 0000000000000002
  [  305.183955] RDX: ffffbc6ac0f1ba0c RSI: 0000000000000000 RDI: 0000000000000000
  [  305.184443] RBP: ffffbc6ac0f1ba10 R08: 0000000000000000 R09: 0000000000000000
  [  305.184931] R10: 00000000000922f8 R11: ffffffffac163048 R12: 0000000000000000
  [  305.185415] R13: 0000000000000001 R14: 0000000000000004 R15: 0000000000000000
  [  305.185913] FS:  0000000000000000(0000) GS:ffff9ef785480000(0000) knlGS:0000000000000000
  [  305.186426] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
  [  305.186870] CR2: 00000000000000c4 CR3: 0000004130a12003 CR4: 0000000002770ee0
  [  305.187363] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
  [  305.187866] DR3: 0000000000000000 DR6: 00000000fffe07f0 DR7: 0000000000000400
  [  305.188361] PKRU: 55555554
  [  305.188719] Kernel panic - not syncing: Fatal exception
  [  305.190378] Kernel Offset: 0x29000000 from 0xffffffff81000000 (relocation range: 0xffffffff80000000-0xffffffffbfffffff)

• Solution : Évitez d'utiliser la version de pilote 570.124.xx (Linux) ou 572,61 (Windows). Nous vous recommandons d'utiliser la version 570.133.20 (Linux) ou 572.83 (Windows) ou une version ultérieure.

La commande nvidia-smi renvoie une erreur « No devices were found » si vous sélectionnez NVIDIA Proprietary comme type de module noyau lors de l'installation du pilote

• Symptômes : Sur certains types d'instances, si vous sélectionnez NVIDIA Proprietary comme type de module noyau lors de l'installation du pilote, la commande nvidia-smi renvoie une erreur No devices were found après l'installation.

  L'autre type de module noyau disponible sur cet écran est MIT/GPL.

• Cause : Tous les modèles de GPU ne sont pas compatibles avec le pilote NVIDIA Proprietary.

• Configuration recommandée du type de module noyau :

  • Pour les GPU d'architecture Blackwell : Vous devez utiliser le pilote open source (sélectionnez MIT/GPL).

  • Pour les GPU d'architecture Turing, Ampere, Ada Lovelace et Hopper : Nous vous recommandons d'utiliser le pilote open source (sélectionnez MIT/GPL).

  • Pour les GPU d'architecture Maxwell, Pascal et Volta : Vous ne pouvez sélectionner que NVIDIA Proprietary.

Comment consulter l'utilisation des ressources (vCPU, trafic réseau, bande passante et disque) d'une instance accélérée par GPU ?

Vous pouvez utiliser l'une des méthodes suivantes pour consulter les données de surveillance, telles que l'utilisation du vCPU, la mémoire, la charge moyenne du système, la bande passante interne, la bande passante publique, les connexions réseau, l'utilisation et les lectures du disque, l'utilisation du GPU, l'utilisation de la mémoire GPU et la consommation électrique du GPU.

• Console du produit

  • Console ECS : Fournit l'utilisation du vCPU, le trafic réseau, les E/S disque et les métriques GPU. Afficher les informations de surveillance dans la console ECS.

  • Console CloudMonitor : Fournit une surveillance détaillée de l'infrastructure, du système d'exploitation, du GPU, du réseau, des processus et du disque. Pour plus d'informations, consultez la section Surveillance des hôtes.

• Centre Dépenses et Coûts

  Sur la page View Usage Details, filtrez par Time Period, Commodity Name, Billable Item, Billable Item et Time Unit. Cliquez sur Export CSV pour exporter les données d'utilisation. Détails de facturation.

  Par exemple, pour consulter l'utilisation du trafic d'une instance ECS, sélectionnez ECS - Pay-As-You-Go pour Product name, Outbound traffic pour Billable item, Public traffic pour Metering specification (le nom de la spécification est ECS_FLOW) et Hour pour Metering granularity.

  Remarque

  Les détails d'utilisation montrent la consommation brute des ressources, qui diffère de l'utilisation facturable figurant dans les détails de facturation. Ces résultats sont fournis à titre indicatif uniquement et ne peuvent pas servir à la réconciliation.

Comment installer le service cGPU ?

Installez le service cGPU via le runtime Docker dans ACK. Cette méthode est recommandée tant pour les utilisateurs professionnels que pour les particuliers ayant complété la vérification d'identité. Gérer le composant de planification GPU partagée.

La commande nvidia-smi -r reste bloquée après l'installation du service cGPU

• Symptômes : Lorsque le service cGPU est chargé (vérifiez avec lsmod | grep cgpu), la commande nvidia-smi -r reste bloquée lors de la réinitialisation du GPU. Une erreur apparaît également dans le journal dmesg.

  [527717.881425] NVRM: Attempting to remove device 0000:08:00.0 with non-zero usage count!

• Cause : Le composant cGPU utilise toujours le périphérique GPU. Cela bloque l'opération de réinitialisation matérielle.

• Solution :

  1. Désinstaller cGPU : Désinstallez le composant cGPU. Après la désinstallation, la commande nvidia-smi -r reprend son exécution et renvoie un résultat.

  2. Redémarrer l'instance : Si le problème persiste après la désinstallation, redémarrez l'instance depuis la console. L'exécution de la commande de redémarrage à l'intérieur de l'instance n'est pas efficace.

  Important

  Ne réinitialisez pas le GPU en exécutant des commandes telles que nvidia-smi -r, en détachant le périphérique ou en réinstallant le pilote lorsque le service cGPU est chargé. Désinstallez toujours le service cGPU au préalable pour éviter les échecs.