すべてのプロダクト
Search

このプロダクト

    Container Service for Kubernetes:GPU の異常検出と自動隔離

    ドキュメントセンター

    Container Service for Kubernetes:GPU の異常検出と自動隔離

    最終更新日:Dec 05, 2025

    このトピックでは、ACK GPU 異常検出コンポーネントのインストール、設定、および使用方法について説明します。このコンポーネントは、ACK 環境における GPU リソースの健全性を監視し、クラスターの信頼性と効率を向上させるのに役立ちます。

    前提条件

    • ack-node-problem-detector (NPD) バージョン 1.2.24 以降がインストールされていること。

    • ack-nvidia-device-plugin 0.17.0 以降を NPD 1.2.24 以降と併用する場合、NPD は異常を検出すると自動的に GPU カードを隔離します。NPD が GPU の回復を検出すると、自動的に隔離を解除します。

      ack-nvidia-device-plugin コンポーネントの表示とアップグレードについては、「NVIDIA Device Plugin のバージョン表示」をご参照ください。

    ack-node-problem-detector (NPD) は、クラスターノード上の異常イベントを監視するコンポーネントです。ACK によって作成された NPD は、オープンソースの node-problem-detector プロジェクトを強化したものです。GPU シナリオにおける異常検出を向上させるための幅広いチェック項目が含まれています。異常が検出されると、コンポーネントは異常の種類に基づいて Kubernetes イベントまたは Kubernetes Node Condition を生成します。

    注意事項

    • NVIDIA XID と SXID は、GPU ドライバーによって、NVRM イベントメカニズムを介して /var/log/messages または /var/log/syslog に書き込まれます。NPD は、各 XID と SXID が処理されたかどうかを記録します。XID または SXID が検出された後にノードを再起動すると、NPD はその XID または SXID に対して Event または Node Condition を生成しません。これは、根本的な問題が解決されていない場合でも発生します (たとえば、XID 79 は GPU デバイスを交換する必要があることを示します)。NPD は、再起動後に XID が解決されたと見なします。

    • NPD は、ノード上の /var/log/messages ファイルまたは /var/log/syslog ファイルをチェックして NVIDIA XID と SXID を検出します。dmesg ログが別のファイルにリダイレクトされた場合、NPD は NVIDIA XID と SXID を検出できません。

    • ノード上の GPU に異常が発生すると、ACK は障害のある GPU を自動的に隔離します。これにより、新しいジョブが障害のあるデバイスにスケジュールされるのを防ぎます。自動隔離は GPU を正常な状態に復元するものではありません。特定の異常の種類に基づいて、手動でノードを再起動するか、ハードウェアメンテナンスを実行する必要があります。自動隔離を有効にすると、予期しない動作が発生する可能性があります。例えば、1 つのカードに障害が発生した場合、8 カード構成のジョブのスケジュールに失敗する可能性があります。以下の方法で GPU の自動隔離を無効にできます：

    • NPD 1.2.29 以降、NPD の GPU 異常検出プラグインは、ack-accel-health-monitor という名前の DaemonSet として個別にデプロイされます。

    • 場合によっては、ノード上の GPU 異常により、そのノード上で GPU コンテナーが作成できなくなることがあります。GPU 異常検出コンテナーが影響を受け、起動に失敗する可能性があります。これにより、検出が正しく実行されなくなります。

    • NPD GPU 検出プラグイン Pod は、GPU デバイスとコンポーネントのステータスをチェックする必要があります。これには、privileged=true などの高い権限が必要です。詳細については、以下の表をご参照ください。

      クラスターの RBAC 権限

      コンテナーの権限

      Node: get

      Node/Status: update

      Events: create

      privileged: true

      ホストの /dev/kmsg の読み取り専用マウント

      ホストの /usr/lib の読み取り専用マウント

      ホストの /etc の読み取り専用マウント

      ホストの /usr/lib64 の読み取り専用マウント

      ホストの /proc の読み取り専用マウント

    チェック項目と修復の推奨事項

    修復の推奨事項がなしの場合、ハードウェアの操作は不要です。代わりに、アプリケーションの設定を確認してください。

    チェック項目名

    Node Condition の生成

    イベントの生成

    説明

    デフォルトで GPU カードを隔離

    修復の推奨事項

    NvidiaXID13Error

    いいえ

    はい

    • Type: Warning

    • Reason: NvidiaXID13Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 13 error has occurred.

    • Graphics Engine Exception.

    • これは通常、範囲外の配列インデックスまたは命令エラーです。ハードウェアの問題であることは稀です。

    いいえ

    なし

    NvidiaXID31Error

    いいえ

    はい

    • Type: Warning

    • Reason: NvidiaXID31Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 31 error has occurred.

    • GPU memory page fault.

    • これは通常、アプリケーションによる不正なアドレスアクセスです。ドライバーやハードウェアの問題であることは稀です。

    いいえ

    なし

    NvidiaXID43Error

    いいえ

    はい

    • Type: Warning

    • Reason: NvidiaXID43Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 43 error has occurred.

    • GPU stopped processing.

    • このイベントは、アプリケーションがソフトウェア起因の例外に遭遇し、終了する必要がある場合に記録されます。GPU はまだ正常です。

    • ほとんどの場合、これはドライバーの問題ではなく、アプリケーションのエラーを示します。

    いいえ

    なし

    NvidiaXID45Error

    いいえ

    はい

    • Type: Warning

    • Reason: NvidiaXID45Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 45 error has occurred.

    • 以前のエラーによる予防的クリーンアップ。これは、複数の CUDA アプリケーションを実行していて DBE にヒットした場合に最も発生しやすいです。

    • このイベントは、アプリケーションが中止され、カーネルドライバーが GPU 上で実行されている GPU アプリケーションを終了したときに記録されます。

    • Control-C、GPU リセット、および sigkill はすべて、このイベントをトリガーする可能性のあるアプリケーションの中止の例です。

    • 多くの場合、これはエラーではなく、ユーザーまたはシステムによる操作を示します。

    いいえ

    なし

    NvidiaXID48Error

    はい

    • Type: NvidiaXID48Error

    • Reason: NodeHasNvidiaXID48Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 48 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID48Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 48 error has occurred.

    • Double-bit ECC error (DBE).

    • このイベントは、GPU が修正不可能なエラーが発生したことを検出したときに記録されます。これはアプリケーションにも報告されます。このエラーをクリアするには、GPU リセットまたはノードの再起動が必要です。

    はい

    ノードを再起動します。

    NvidiaXID63Error

    いいえ

    はい

    • Type: Warning

    • Reason: NvidiaXID63Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 63 error has occurred.

    • ECC page retirement or row remapping recording event.

    • アプリケーションが GPU メモリのハードウェアエラーに遭遇すると、NVIDIA の自己修正メカニズムが障害のあるメモリ領域をリタイアまたはリマップします。リタイアメントとリマッピングの情報は、永続的にするために infoROM に記録する必要があります。

    • Volta アーキテクチャ：ECC ページリタイアメントイベントを infoROM に正常に記録します。

    • Ampere アーキテクチャ：行のリマッピングイベントを infoROM に正常に記録します。

    いいえ

    なし

    NvidiaXID64Error

    いいえ

    はい

    • Type: Warning

    • Reason: NvidiaXID64Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 64 error has occurred.

    • ECC page retirement or row remapper recording failure.

    • トリガーシナリオは XID 63 に似ています。XID 63 は、リタイアメントとリマッピング情報が infoROM に正常に記録されたことを示します。XID 64 は、記録操作が失敗したことを示します。

    いいえ

    なし

    NvidiaXID74Error

    はい

    • Type: NvidiaXID74Error

    • Reason: NodeHasNvidiaXID74Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 74 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID74Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 74 error has occurred.

    • 致命的な NVLINK エラー。

    • NVLink ハードウェアエラーによって生成される XID。このイベントは、GPU の重大なハードウェア障害を示します。GPU はメンテナンスのためにオフラインにする必要があります。

    はい

    ハードウェアメンテナンス。

    NvidiaXID79Error

    はい

    • Type: NvidiaXID79Error

    • Reason: NodeHasNvidiaXID79Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 79 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID79Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 79 error has occurred.

    • GPU がバスから脱落しました。

    • GPU ハードウェアは、カードがバスから脱落し、アクセスできなくなったことを検出しました。このイベントは、GPU の重大なハードウェア障害を示します。GPU はメンテナンスのためにオフラインにする必要があります。

    はい

    ハードウェアメンテナンス。

    NvidiaXID94Error

    いいえ

    はい

    • Type: Warning

    • Reason: NvidiaXID94Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 94 error has occurred.

    • Contained ECC error.

    • アプリケーションが修正不可能な GPU メモリ ECC エラーに遭遇すると、NVIDIA のエラー封じ込めメカニズムは、エラーを問題を引き起こしたアプリケーション内に封じ込めようとします。これにより、エラーが GPU 上の他のアプリケーションに影響を与えるのを防ぎます。封じ込めメカニズムがエラーを正常に封じ込めた場合、XID 94 イベントが生成されます。これは、修正不可能な ECC エラーに遭遇したアプリケーションにのみ影響します。

    いいえ

    なし

    NvidiaXID95Error

    はい

    • Type: NvidiaXID95Error

    • Reason: NodeHasNvidiaXID95Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 95 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID95Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 95 error has occurred.

    • Uncontained ECC error.

    • XID 95 は、封じ込めが失敗したことを示します。これは、GPU 上で実行されているすべてのアプリケーションが影響を受けることを意味します。アプリケーションを再起動する前に、影響を受けた GPU をリセットする必要があります。

    はい

    ノードを再起動します。

    NvidiaXID119Error

    はい

    • Type: NvidiaXID119Error

    • Reason: NodeHasNvidiaXID119Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 119 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID119Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 119 error has occurred.

    • GSP RPC タイムアウト。

    • GSP コアが RPC メッセージに応答するのを待っている間にタイムアウトが発生しました。

    はい

    ノードを再起動します。

    NvidiaXID120Error

    はい

    • Type: NvidiaXID120Error

    • Reason: NodeHasNvidiaXID120Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 120 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID120Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 120 error has occurred.

    • GSP エラー。

    • GPU の GSP コアで実行されているコードでエラーが発生しました。

    はい

    ノードを再起動します。

    NvidiaXID140Error

    はい

    • Type: NvidiaXID140Error

    • Reason: NodeHasNvidiaXID140Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 140 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID140Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 140 error has occurred.

    • 回復不能な ECC エラー。

    • このイベントは、GPU ドライバーが GPU メモリ内で修正不可能なエラーを検出した場合に発生する可能性があります。これらのエラーは、ドライバーが動的ページリタイアメントまたは行のリマッピングのためにページをマークする能力に影響を与えます。GPU リセットが必要です。

    はい

    ノードを再起動します。

    NvidiaEccModeNotEnabled

    はい

    • Type: NvidiaEccModeNotEnabled

    • Reason: EccModeNotEnabled

    • Message: GpuIds=xxx;EccModeCurrent=xxx;EccModePending=xxx;MSG=The ECC mode of the GPU is not enabled.

    はい (問題が解決されるまで継続的にイベントを生成します)

    • Type: Warning

    • Reason: NvidiaEccModeNotEnabled

    • Message: GpuIds=xxx;EccModeCurrent=xxx;EccModePending=xxx;MSG=The ECC mode of the GPU is not enabled.

    ノードで ECC モードが有効になっていません。

    いいえ

    ECC モードを有効にしてノードを再起動します。

    NvidiaPendingRetiredPages

    はい

    • Type: NvidiaPendingRetiredPages

    • Reason: NodeHasNvidiaPendingRetiredPages

    • Message: GpuIds=xxx;VolatileTotalUncorrected=xxx;AggregateTotalUncorrected=xxx;MSG=There are retired pages in a pending state on the GPU.

    はい (問題が解決されるまで継続的にイベントを生成します)

    • Type: Warning

    • Reason: NvidiaPendingRetiredPages

    • Message: GpuIds=xxx;VolatileTotalUncorrected=xxx;AggregateTotalUncorrected=xxx;MSG=There are retired pages in a pending state on the GPU.

    • GPU には保留状態のリタイアページがあります。

    • これらのリタイアページを有効にするには、GPU のリセットが必要です。

    はい

    ノードを再起動します。

    NvidiaRemappingRowsFailed

    はい

    • Type: NvidiaRemappedRowsFailed

    • Reason: GPUMemoryRemappingRowsFailed

    • Message: GpuIds=xxx;RemappedDueToUncorrectableErrors=xxx;MSG=The GPU has encountered an error with row remapping.

    はい (問題が解決されるまで継続的にイベントを生成します)

    • Type: Warning

    • Reason: NvidiaRemappedRowsFailed

    • Message: GpuIds=xxx;RemappedDueToUncorrectableErrors=xxx;MSG=The GPU has encountered an error with row remapping.

    GPU に行のリマッピング失敗があります。

    はい

    ハードウェアメンテナンス。

    NvidiaRemappingRowsRequireReset

    はい

    • Type: NvidiaRemappingRowsRequireReset

    • Reason: UncontainedEccError

    • Message: GpuIds=xxx;MSG=Row remapping requires a GPU reset.

    はい (問題が解決されるまで継続的にイベントを生成します)

    • Type: Warning

    • Reason: NvidiaRemappingRowsRequireReset

    • Message: GpuIds=xxx;MSG=Row remapping requires a GPU reset.

    GPU は、回復するために GPU リセットが必要な、修正不可能で封じ込められていないエラーに遭遇しました。操作を復元するために、できるだけ早く GPU をリセットする必要があります。

    はい

    ノードを再起動します。

    NvidiaDeviceLost

    はい

    • Type: NvidiaDeviceLost

    • Reason: NodeHasNvidiaDeviceLost

    • Message: GpuIds=xxx;MSG=The GPU has fallen off the bus or has otherwise become inaccessible.

    はい (問題が解決されるまで継続的にイベントを生成します)

    • Type: Warning

    • Reason: NvidiaDeviceLost

    • Message: GpuIds=xxx;MSG=The GPU has fallen off the bus or has otherwise become inaccessible.

    • The GPU has fallen off the bus or has otherwise become inaccessible.

    • GPU がバスから脱落したか、その他の理由でアクセスできなくなりました。

    はい

    ハードウェアメンテナンス。

    NvidiaInfoRomCorrupted

    はい

    • Type: NvidiaInfoRomCorrupted

    • Reason: NodeHasNvidiaInfoRomCorrupted

    • Message: GpuIds=xxx;MSG=The GPU infoROM is corrupted.

    はい (問題が解決されるまで継続的にイベントを生成します)

    • Type: Warning

    • Reason: NvidiaInfoRomCorrupted

    • Message: GpuIds=xxx;MSG=The GPU infoROM is corrupted.

    • The infoROM is corrupted.

    • infoROM が破損しています。

    はい

    ハードウェアメンテナンス。

    NvidiaPowerCableErr

    はい

    • Type: NvidiaPowerCableErr

    • Reason: NodeHasNvidiaPowerCableErr

    • Message: GpuIds=xxx;MSG=A device's external power cables are not properly attached.

    はい (問題が解決されるまで継続的にイベントを生成します)

    • Type: Warning

    • Reason: NvidiaPowerCableErr

    • Message: GpuIds=xxx;MSG=A device's external power cables are not properly attached.

    • デバイスの外部電源ケーブルが正しく接続されていません。

    • 外部電源ケーブルがデバイスに正しく接続されていません。

    はい

    ハードウェアメンテナンス。

    NvidiaXID44Error

    はい

    • Type: NvidiaXID44Error

    • Reason: NodeHasNvidiaXID44Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 44 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID44Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 44 error has occurred.

    • Graphics Engine fault during context switch

    • これは通常、GPU で修正不可能なエラーが発生したことを意味し、エラーはユーザーアプリケーションにも報告されます。このエラーをクリアするには、GPU リセットまたはノードの再起動が必要です。

    はい

    ノードを再起動します。

    NvidiaXID61Error

    はい

    • Type: NvidiaXID61Error

    • Reason: NodeHasNvidiaXID61Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 61 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID61Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 61 error has occurred.

    • Internal micro-controller breakpoint/warning (newer drivers)

    • これは通常、GPU で修正不可能なエラーが発生したことを意味し、エラーはユーザーアプリケーションにも報告されます。このエラーをクリアするには、GPU リセットまたはノードの再起動が必要です。

    はい

    ノードを再起動します。

    NvidiaXID62Error

    はい

    • Type: NvidiaXID62Error

    • Reason: NodeHasNvidiaXID62Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 62 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID62Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 62 error has occurred.

    • Internal micro-controller halt (newer drivers)

    • これらの異常は、GPU で修正不可能なエラーが発生したことを意味し、エラーはユーザーアプリケーションにも報告されます。このエラーをクリアするには、GPU リセットまたはノードの再起動が必要です。

    はい

    ノードを再起動します。

    NvidiaXID69Error

    はい

    • Type: NvidiaXID69Error

    • Reason: NodeHasNvidiaXID69Error

    • Message: TS=xxx;GpuIds=xxx;MSG=An NVIDIA XID 69 error has occurred.

    はい

    • Type: Warning

    • Reason: NvidiaXID69Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID 69 error has occurred.

    • Graphics Engine class error

    • これらの異常は、GPU で修正不可能なエラーが発生したことを意味し、エラーはユーザーアプリケーションにも報告されます。このエラーをクリアするには、GPU リセットまたはノードの再起動が必要です。

    はい

    ノードを再起動します。

    NvidiaXID[code]Error

    いいえ

    はい (3 つのイベントのみ生成)

    • Type: Warning

    • Reason: NvidiaXID[code]Error

    • Message: GpuIds=xxx;TS=xxx;Xid=xxx;MSG=An NVIDIA XID [code] error has occurred.

    この表に記載されていないその他の XID。

    いいえ

    チケットを起票してください。

    NvidiaSXID[code]Error

    いいえ

    はい (3 つのイベントのみ生成)

    • Type: Warning

    • Reason: NvidiaSXID[code]Error

    • Message: TS=xxx;NVSwitchIds=xxx;MSG=An NVIDIA SXID [code] error has occurred.

    • SXID エラーは 3 つのカテゴリに分類できます：

      • 修正可能：エラーは修正されました。システムの動作はこの種のエラーの影響を受けません。追加の回復は不要です。

      • 致命的：エラーはデバイスにとって致命的です。システムの動作に影響があります。このエラーから回復する唯一の方法は、デバイスをリセットするか、システムを再起動することです。

      • 非致命的：エラーはデバイスにとって致命的ではありません。システムの動作に影響があります。デバイスのリセットやシステムの再起動は必要ない場合があります。

    いいえ

    なし

    その他の関連イベント

    専用 GPU シナリオでは、NPD は異常チェック項目に基づいて、デフォルトで GPU カードを自動的に隔離します。 GPU が隔離されると、新しい GPU アプリケーション Pod は割り当てられません。 Kubernetes ノードで報告される nvidia.com/gpu リソースの数を確認することで、隔離の効果をチェックできます。 GPU カードが回復すると、ACK は自動的に隔離を解除します。

    トリガー

    イベント内容

    説明

    GPU カードの隔離

    はい

    • Type: Warning

    • Reason: NvidiaDeviceIsolated

    • Message: GpuIds=xxx;MSG=nvidia device has been isolated due to detected issues.

    検出された異常により、GPU カードが隔離されました。

    GPU カードの隔離解除

    はい

    • Type: Normal

    • Reason: NvidiaDeviceRecovered

    • Message: GpuIds=xxx;MSG=nvidia device has recovered from the fault.

    GPU カードは異常から回復し、隔離が解除されました。

    よくある質問

    NPD で異常な GPU カードの自動隔離を無効にする方法

    重要

    NPD で GPU 隔離機能を無効にする以下の方法は一時的な解決策です。この設定は NPD をアップグレードすると失われます。アップグレード後は、これらの手順に従って設定を再適用する必要があります。

    背景情報

    ノード上の GPU に異常が発生すると、ACK は NPD を通じて障害のある GPU を自動的に隔離します。これにより、ジョブが障害のある GPU にスケジュールされるのを防ぎます。ただし、自動隔離は自動修復を実行しません。手動でノードを再起動または修復する必要があります。迅速な対応を確実にするために、GPU 異常アラートを設定することを推奨します。

    • GPU が隔離された後、ノード上の残りの GPU がジョブの要件に満たない場合 (例えば、7 カードしか利用できないのに 8 カードのジョブが必要な場合)、ジョブのスケジュールは失敗します。これにより、GPU リソースがアイドル状態になる可能性があります。

    • GPU ステータスが正常に戻ると、GPU デバイスの隔離は自動的に解除されます。

    • 障害のある GPU がリソースを報告し続け、隔離されないように自動隔離を無効にするには、以下のソリューションをご参照ください。

    ソリューション

    1. NPD の自動 GPU 隔離機能を無効にします。

      コンポーネントバージョン 1.2.24 以降、1.2.28 未満の場合

      1. NPD コンポーネントの YAML ファイルを編集します。

        kubectl edit ds -n kube-system ack-node-problem-detector-daemonset

      2. EnabledIsolateGPU 構成を false に変更します。

        変更前：

         --EnabledIsolateGPU=true

        変更後：

        --EnabledIsolateGPU=false

      コンポーネントバージョン 1.2.28 以降の場合

      1. NPD コンポーネントの YAML ファイルを編集します。

        kubectl edit ds ack-accel-health-monitor -n kube-system

      2. GenerateNvidiaGpuIsolationFile 構成を false に変更します。

        変更前：

        --GenerateNvidiaGpuIsolationFile=true

        変更後：

        --GenerateNvidiaGpuIsolationFile=false

    2. 既存の GPU 隔離を解除します。

      既存の GPU 隔離を削除するには、XID エラーが発生したノードにログインし、/etc/nvidia-device-plugin/unhealthyDevices.json ファイルを削除します。これにより、ノードの GPU 隔離が無効化されます。GPU が再度隔離されるのを防ぐには、前のセクションの手順に従って自動隔離機能を無効にしてください。