ACK は、ack-node-problem-detector (ACK NPD) コンポーネントを使用して GPU のヘルスを監視します。GPU ノードで XID エラーや SXID エラーなどの例外が発生すると、ACK NPD は障害が発生した GPU を自動的に検出し、ACK NVIDIA デバイスプラグインと連携して当該 GPU をフェンシングします。このプロセスにより、正常な GPU をワークロードに利用できる状態に保ち、ビジネスへの影響を最小限に抑え、クラスターの信頼性と効率を向上させます。
ack-node-problem-detector (ACK NPD) は、オープンソースの node-problem-detector プロジェクトを ACK が改良・拡張した、クラスターノードの異常を監視するためのモニタリングコンポーネントです。GPU 固有の異常向けの豊富なチェックを提供し、GPU ワークロードの障害検出を強化します。コンポーネントが異常を検出すると、異常のタイプに基づいて Kubernetes イベントと Node Condition を生成します。
使用上の注意
障害のある GPU カードが隔離され、ノード上の残りの GPU がタスクの要件を満たせない場合、タスクがスケジュールされなくなる可能性があります。たとえば、8 枚の GPU カードを必要とするタスクは、7 枚しか利用できない場合は実行できません。これにより、GPU リソースがアイドル状態になる可能性があります。自動 GPU 隔離は自動修復とは異なり、ノードインスタンスは引き続き課金されます。ノードの修復は別途必要です。タイムリーな修復を確実にするために、GPU例外アラートの設定を推奨します。GPU ステータスが正常に戻ると、隔離は自動的に解除されます。
また、ビジネス要件に基づいて自動 GPU 隔離を有効または無効にすることもできます。NVIDIA Device Plugin コンポーネントの特定バージョンは、障害のある GPU カードの自動隔離をサポートしていますが、この機能を無効にする手順は異なります。詳細な手順については、「NVIDIA Device Plugin のネイティブ GPU 隔離機能を無効にする方法」をご参照ください。
NVIDIA の XID および SXID は、NVRM イベントメカニズムを介して、GPU ドライバーによって
/var/log/messagesまたは/var/log/syslogに書き込まれます。ACK NPD は、各 XID および SXID が処理されたかどうかを追跡します。XID または SXID が検出された後にノードが再起動されると、ACK NPD は問題が解決されたとみなし、Event や Node Condition を生成しません。これは、根本的な問題が修正されていない場合でも発生します。たとえば、XID 79 エラーを解決するには GPU デバイスの交換が必要ですが、ACK NPD はノードの再起動後もそのエラーを解決済みとしてマークします。ACK NPD は、ノード上の
/var/log/messagesまたは/var/log/syslogファイルをチェックして、NVIDIA XID または NVIDIA SXID を検出します。dmesg ログが別のファイルにリダイレクトされている場合、ACK NPD は NVIDIA XID および SXID を検出できません。ACK NPD バージョン 1.2.29 以降、ACK NPD の GPU 障害検出プラグインは、ack-accel-health-monitor という名前の個別の DaemonSet としてデプロイされます。
場合によっては、ノード上の GPU 障害が、新しい GPU コンテナの作成を妨げることがあります。これにより、GPU 障害検出コンテナ自体が起動に失敗し、検出プロセスが正しく実行されなくなる可能性があります。
ACK NPD GPU 検出プラグイン Pod は、GPU デバイスと GPU コンポーネントのステータスを検出するために、
privileged=trueなどの特権を必要とします。詳細については、以下の表をご参照ください。クラスターRBAC権限
コンテナ権限
Node: get
Node/Status: update
Events: create
privileged: trueホストの
/dev/kmsgの読み取り専用マウントホストの
/usr/libの読み取り専用マウントホストの
/etcディレクトリの読み取り専用マウントホストの
/usr/lib64の読み取り専用マウントホストの
/procの読み取り専用マウント
GPU 自動隔離
ACK Node Problem Detector (ACK NPD) コンポーネントのバージョン 1.2.35 および ACK NVIDIA Device Plugin コンポーネントのバージョン 0.7.0 以降、GPU 自動隔離メカニズムは デフォルトトリガー から 設定ベースのトリガー に変更されました。詳細については、「[Product Change] Announcement on Changes to the Automatic GPU Isolation Feature」をご参照ください。
レガシーメカニズム (デフォルトトリガー)
ACK NPD コンポーネントが GPU 障害を検出すると、GPU 隔離ファイルを生成します。次に、ACK NVIDIA Device Plugin コンポーネントがこのファイルに記載されたすべての GPU デバイスを隔離します。デフォルトでは、特定の障害を検出するとシステムが GPU を自動的に隔離します。GPU 隔離ファイルを生成するかどうかを設定することで、この機能を有効または無効にできます。
新しいメカニズム (設定ベースのトリガー)
ACK NPD コンポーネントが GPU 障害を検出すると、障害検出レポートを生成します。ACK NVIDIA Device Plugin コンポーネントは、このレポートと、隔離トリガーとして設定した NPD チェック項目 に基づいて、GPU を隔離するかどうかを判断します。デフォルトでは、ACK NVIDIA Device Plugin コンポーネントにトリガーとなるチェック項目が設定されていないため、GPU 自動隔離はデフォルトで無効 になっています。これらのチェック項目を設定することで、自動隔離をトリガーする障害を指定できます。
各メカニズムの適用範囲については、「GPU 自動隔離の動作」をご参照ください。
互換性を維持するため、新しいバージョンの ACK NPD は従来形式の GPU 隔離ファイルも引き続き生成します。ただし、新しいバージョンの ACK NVIDIA Device Plugin はこのファイルを読み取りません。隔離の動作は、同プラグイン自身の構成によって完全に決定されます。
GPU 自動隔離の動作
この新しいメカニズムは、Kubernetes バージョン 1.32 以降を実行している ACK クラスターにのみ適用されます。
Kubernetes バージョン 1.32 未満のクラスターでは、引き続き既存の隔離メカニズムが使用されます。
GPU 自動隔離機能の動作は、アドオンのバージョンの組み合わせによって異なります。
ACK NPD バージョン | ACK NVIDIA Device Plugin バージョン | GPU 自動隔離の動作 | 対応 |
ACK NPD バージョン < 1.2.24 | 該当なし | GPU 異常検出はサポートされていません。 | 該当なし |
ACK NPD バージョン ≥ 1.2.24 | ACK NVIDIA Device Plugin バージョン < 0.7.0 | 隔離はレガシーメカニズムに従います。 | レガシー手順に従ってください。 |
1.2.24 ≤ ACK NPD バージョン < 1.2.35 | ACK NVIDIA Device Plugin バージョン ≥ 0.7.0 | GPU 自動隔離は 無効 ですが、その他の機能は正常に動作します。 以前の ACK NPD バージョンでは異常検出レポートが生成されません。そのため、新しい ACK NVIDIA Device Plugin は故障した GPU を識別できず、自動隔離は実行されません。 | 該当なし 新しいメカニズムを使用するには、ACK NPD を最新バージョンにアップグレードしてください。 |
ACK NPD バージョン ≥ 1.2.35 このバージョンはカナリアリリース中です。許可リストに追加するには、チケットを送信してください。 | ACK NVIDIA Device Plugin バージョン ≥ 0.7.0 このバージョンはカナリアリリース中です。許可リストに追加するには、チケットを送信してください。 | 隔離は新しいメカニズムに従います。 | 新しい手順に従ってください。 |
ACK NPD および ACK NVIDIA Device Plugin コンポーネントの確認とアップグレードの手順については、ACK NPD バージョンの確認またはアップグレードおよびACK NVIDIA Device Plugin バージョンの確認またはアップグレードを参照してください。
GPU 自動隔離の有効化または無効化
GPU 自動隔離を無効にした場合、または機能が動作していない場合でも、影響を受けるのは GPU の自動隔離のみです。ACK NPD が GPU 例外を検出すると、ACK NPD チェック項目に基づいて Node Condition、Kubernetes イベント、およびアラームをトリガーしますが、故障した GPU を自動的に隔離することはありません。
新しい方法
有効にすると、故障した GPU が設定済みのACK NPD チェック項目をトリガーした際に、自動的に隔離されます。自動隔離は自動修復とは異なります。GPU が隔離されたノードインスタンスは引き続き課金されます。ノードの修復は引き続き必要です。迅速な対応のため、GPU 例外アラームを設定することを推奨します。チェック項目が選択されていない場合、自動隔離はトリガーされません。
ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。
[クラスター] ページで、管理するクラスターの名前をクリックします。 左側のウィンドウで、 を選択します。
コンポーネント管理ページで、ack-nvidia-device-plugin コンポーネントを検索し、そのカードにある 設定 をクリックします。
表示されるダイアログボックスで、GPU 自動隔離を有効化または無効化します。
有効化： [GPU 自動隔離を有効にする] チェックボックスをオンにし、[GPU 自動隔離をトリガーする NPD チェック項目] を選択します。
無効化： [GPU 自動隔離を有効にする] チェックボックスをオフにするか、チェック項目を未選択のままにします。
従来の方法
GPU 例外が検出されると、ack-node-problem-detector コンポーネントはデフォルトの隔離ポリシーに基づいて NVIDIA GPU 隔離ファイルを生成します。その後、ack-nvidia-device-plugin コンポーネントは、ファイルの内容に基づいて故障した GPU を自動的に隔離します。これにより、新しいワークロードが故障した GPU にスケジュールされないようになり、ノード上の他の正常な GPU は引き続きワークロードを処理できます。ただし、自動隔離 は 自動修復 を実行しません。GPU が隔離されたノードインスタンスは引き続き課金されます。ノードの再起動または修復は引き続き手動で行う必要があります。迅速な対応のため、GPU 例外アラームを設定することを推奨します。
ack-node-problem-detector v1.2.30 以降では、コンポーネント管理画面の
generateNvidiaGpuIsolationFile設定を使用して、故障した GPU の自動隔離を制御します。コンポーネントをアップグレードした後、GPU 自動隔離の動作を参照して、新しいコンポーネントバージョンで GPU 自動隔離を有効化または無効化する方法を確認してください。
有効化： 従来のメカニズムでは、GPU 自動隔離はデフォルトで有効になっています。
generateNvidiaGpuIsolationFile(v1.2.30 以降) またはEnabledIsolateGPU(v1.2.24 から v1.2.29) をtrueに設定することで再度有効にできます。無効化：
[クラスター] ページで、管理するクラスターの名前をクリックします。 左側のナビゲーションウィンドウで、 を選択します。
ログとモニタリング タブで、[ack-node-problem-detector] コンポーネントを見つけ、コンポーネントのバージョンに応じて次の手順に従います。
v1.2.24 から v1.2.29： 最新バージョンに アップグレード します。
v1.2.30 以降： 設定 をクリックします。
コンポーネントのアップグレードまたは設定ページで、
generateNvidiaGpuIsolationFileパラメータをfalseに設定し、OK をクリックします。説明以前にバージョン 1.2.24 から 1.2.29 で
ack-node-problem-detector-daemonsetを変更し、EnabledIsolateGPUパラメータをfalseに設定して GPU 自動隔離を無効にしていた場合、この設定は ACK NPD コンポーネントをアップグレードする際に自動的に保持されます。GPU 自動隔離を再度有効にする場合は、generateNvidiaGpuIsolationFileをtrueに設定してください。
既存の GPU 隔離を解除するには、XID エラーが発生したノードにログインし、
/etc/nvidia-device-plugin/unhealthyDevices.jsonファイルを削除してください。GPU が再度隔離されないようにするには、前述の手順に従って機能を無効にしてください。
検出と修復
GPU 例外が検出された場合は、Nvidia Xid Errors で解決策を確認してください。また、対応するクラウド製品 (ECS や Lingjun など) のコンソールで関連する O&M イベントを確認するか、自己診断ツールでハードウェア例外のトラブルシューティングを行うこともできます。
次の表の「障害 GPU の自動隔離」は、レガシーメカニズム における デフォルト の隔離動作です。新しいメカニズムでは、カスタム設定 に基づいて GPU を隔離します。詳細については、「自動 GPU 隔離メカニズム」をご参照ください。
その他の関連イベント
専用 GPU シナリオでは、レガシーメカニズムは障害のある GPU を自動的に隔離しますが、新しいメカニズムではコンポーネント管理でトリガーを設定する必要があります。隔離後、新しい GPU アプリケーション Pod は GPU カードにスケジュールされません。隔離を検証するには、Kubernetes ノードが報告する nvidia.com/gpu リソースの数を確認します。GPU カードが回復すると、ACK は自動的に隔離を解除します。
トリガー理由 | イベント内容 | 説明 |
GPU 隔離 | はい
| システムは問題を検出した後、GPU カードを隔離します。 |
GPU の隔離解除 | はい
| GPU カードが回復すると、ACK はその隔離を解除します。 |