Inspections and Diagnostics のノード診断機能を使用して、GPU アクセラレーションノードの問題をトラブルシューティングします。 - Container Service for Kubernetes

ACK Pro マネージドクラスター内の GPU ノードの問題を、nvidia-smi 状態コードおよび XID エラーリファレンスを用いて診断します。

前提条件

ACK Pro マネージドクラスターが作成されています。
クラスターは 実行中 状態です。[ACK コンソール] にログインして、クラスターリスト ページでクラスターのステータスを確認してください。

ノード診断の実行

GPU アクセラレーションノードを選択し、ノード診断を実行して、レポートを活用して問題を特定・解決します。

ACK コンソールACK コンソールにログインします。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。
Clusters ページで、対象クラスターの名前をクリックします。左側のナビゲーションウィンドウで、Inspections and Diagnostics > Diagnostics の順に選択します。
Diagnostics ページで、Node diagnosis をクリックします。Node diagnosis ページの左上隅にある Diagnosis をクリックします。
Select Node パネルで、Node Name を選択し、注意事項を読み、I know and agree を選択してから、Create diagnosis をクリックします。
診断の進行状況はページ上で追跡できます。診断が完了すると、結果と診断項目の一覧が表示されます。これらの結果を確認して、問題を特定・解決してください。

診断対象ノードが GPU アクセラレーションノードの場合、診断完了後に診断レポートに GPU 関連メトリックが表示されます。このレポートを「nvidia-smi 状態コードによるトラブルシューティング」および「XID エラーによるトラブルシューティング」と併用して問題を解決してください。

nvidia-smi 状態コードによるトラブルシューティング

nvidia-smi は NVIDIA GPU のパフォーマンスおよび健全性をモニターします。診断レポート内で NVIDIASMIStatusCode の結果を確認してください。以下の表に、各状態コードと推奨される操作を示します。

Nvidia-smi 状態コード	説明	操作
0	コマンドが成功しました。nvidia-smi は正常に動作しています。	該当なし。
3	ターゲットデバイスで操作を利用できません。ノードが nvidia-smi をサポートしていないか、ドライバーの問題が発生している可能性があります。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認してください。
6	GPU デバイスのクエリに失敗しました。ドライバーの問題を示しています。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認してください。
8	GPU デバイスの電源ケーブルが正しく接続されていません。ハードウェアの問題を示しています。	チケットを起票するして、ECS テクニカルサポートに連絡してください。
9	NVIDIA ドライバーがロードされていません。ドライバーの問題を示しています。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認してください。
10	NVIDIA カーネルが割り込みの問題を検出しました。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認するか、XID 診断結果を確認してください。
12	NVML 共有ライブラリが見つからないか、ロードできませんでした。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認するか、XID 診断結果を確認してください。
13	ローカル NVML バージョンがドライバーバージョンと一致していません。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認するか、XID 診断結果を確認してください。
14	infoROM が破損しています。ハードウェアの問題を示しています。	チケットを起票するして、ECS テクニカルサポートにお問い合わせください。
15	GPU がバスから外れました。ハードウェアの問題を示しています。	チケットを起票するして、ECS テクニカルサポートに連絡してください。
255	不明なドライバーエラーです。ドライバーの問題を示しています。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認するか、XID 診断結果を確認してください。
-1	nvidia-smi コマンドがタイムアウトしました。	`/var/log/nvidia-installer.log` でドライバーログを確認し、`dmesg \| grep -i nv` を実行してカーネルエラーを確認するか、XID 診断結果を確認してください。

XID エラーによるトラブルシューティング

XID メッセージは、NVIDIA ドライバーによって OS カーネルログに記録される GPU エラーレポートです。GPU ハードウェア、NVIDIA ソフトウェア、またはご利用のアプリケーションに関連するエラーの種類、場所、コードを特定します。

診断レポートで、XID exceptions on GPU-accelerated node 項目を確認してください。空欄の場合は XID エラーが存在しません。それ以外の場合は、以下の表を用いてトラブルシューティングを行うか、チケットを送信してください。

セルフトラブルシューティング

以下のいずれかの XID エラーが発生した場合は、次の手順を試して問題を解決してください。

ワークロードを再送信し、XID エラーが解消するかどうかを確認します。
エラーが継続する場合は、コードおよびログを確認して、ご利用のコードが原因かどうかを判断します。
コードが原因でない場合は、チケットを送信して、テクニカルサポートを依頼してください。

XID	説明
13	Graphics Engine Exception。通常は配列の範囲外アクセスや不正な命令が原因です。ハードウェアの問題となることは稀です。
31	GPU メモリページフォールト。通常はアプリケーションからの不正なメモリアクセスが原因です。ドライバーまたはハードウェアの問題となることは稀です。
43	GPU の処理が停止しました。通常はアプリケーションエラーであり、ハードウェアの問題ではありません。
45	以前のエラーによりプリエンプティブクリーンアップが実行されました。複数の CUDA アプリケーションを実行中に Double Bit ECC Error (DBE) が発生した場合に多く見られます。GPU アプリケーションが手動停止、ハードウェアの問題、またはリソース制限により終了したことを示しています。具体的な原因を特定するには、さらなるログ分析が必要です。
68	NVDEC0 Exception。通常はハードウェアまたはドライバーの問題です。

チケットベースのトラブルシューティング

以下の XID エラーについては、GPU ノードの完全な診断出力を添えて、テクニカルサポートにチケットを送信してください。

XID	説明
32	無効または破損したプッシュバッファーストリーム。PCIe バス上の DMA コントローラーによって報告されます。通常はアプリケーションではなく PCI 品質の問題が原因です。
38	ドライバーファームウェアエラーであり、ハードウェアの問題ではありません。
48	Double Bit ECC Error (DBE)。GPU が訂正不能エラーを検出した際に報告され、ご利用のアプリケーションにも報告されます。通常は GPU のリセットまたはノードの再起動が必要です。
61	内部マイクロコントローラーブレークポイント／警告。GPU 内部エンジンが停止し、ワークロードに影響を与えています。
62	内部マイクロコントローラーハルト。XID 61 と同様です。
63	ECC ページリタイアメントまたは行リマッピング記録イベント。GPU メモリハードウェアエラーが発生した際、NVIDIA の自己修正メカニズムにより不良メモリ領域がリタイアまたはリマップされ、infoROM に記録されます。 Volta：ECC ページリタイアメントイベントが infoROM に正常に記録されました。 Ampere：行リマッピングイベントが infoROM に正常に記録されました。
64	ECC ページリタイアメントまたは行リマッパー記録失敗。XID 63 と同様ですが、infoROM への記録に失敗しました。
74	NVLINK エラー。重大な NVLink ハードウェア障害を示しています。GPU はメンテナンスのためにオフラインにする必要があります。
79	GPU がバスから外れ、検出できなくなりました。重大なハードウェア障害です。GPU はメンテナンスのためにオフラインにする必要があります。
92	シングルビット ECC エラー率が高い。ハードウェアまたはドライバーの障害を示しています。
94	包含された ECC エラー。NVIDIA のエラー包含メカニズムにより、訂正不能 ECC エラーが影響を受けたアプリケーションに隔離され、ノード上の他のアプリケーションへの影響を防ぎました。
95	封じ込められていない ECC エラーです。XID 94 と同様ですが、封じ込めに失敗しました。GPU 上のすべてのアプリケーションが影響を受けます。

Container Service for Kubernetes:ノード診断による GPU アクセラレーションノードの問題のトラブルシューティング