Container Service for Kubernetes:ノード自動修復の有効化

1. 障害診断および検出

ACK は Node Problem Detector (NPD) コンポーネントを使用してノードの異常をチェックします。ノードのヘルスステータスが変化し、特定の期間異常な状態が継続した場合、ACK はそのノードを障害ありと判定します。

2. 障害通知

障害が検出されると、ACK はノードの condition および Kubernetes イベントを生成します。イベントセンターでアラートを設定することで、通知を受け取ることができます。

3. （排他的 GPU シナリオ）障害隔離

GPU 障害が検出された後、ACK は障害のある GPU カードを隔離します。

GPU 障害検出および自動隔離の詳細については、「GPU 障害検出および自動隔離」をご参照ください。

4. システムおよび Kubernetes コンポーネント障害に対する自動修復の実行

ACK は、ノードの condition などの情報をもとに、修復タスクを開始するかどうかを判断します。kubectl describe node コマンドを実行することで、condition フィールド内のノードステータスを確認できます。

ACK がシステムまたは Kubernetes コンポーネントの障害を検出し、指定された しきい値（障害検出後にノード自動修復をトリガーするまで待機する時間）を超えて障害が継続している場合、自動的に修復タスクを開始します。ノード自動修復の完全なプロセスは以下のとおりです。

1. ACK は、障害のあるシステムおよび Kubernetes コンポーネントを修復します。たとえば、kubelet やコンテナランタイムを再起動することがあります。

2. システムおよびノードコンポーネントの自動修復のみを有効にする (ノードの再起動を許可) を選択しており、かつ初期の修復アクションが効果的でない場合、ACK は以下のステップを実行します。

   1. ACK は、障害のあるノードを自動的にスケジュール不可（unschedulable）に設定します。

   2. ACK は、再起動が必要な障害ノードをドレイン（drain）します。ドレイン操作は 30 分でタイムアウトします。

      ACK がノードをドレインする際には、設定された Pod Disruption Budget (PDB) を尊重しながら、利用可能なノードへ Pod を退避（evict）します。高可用性を確保するため、ワークロードは複数のレプリカで異なるノードにデプロイし、重要なサービスに対して PDB を設定して、同時に中断可能な Pod 数を制御することを推奨します。

      ドレイン操作が失敗した場合でも、ACK は以降のステップを継続します。

   3. ACK はノードを再起動します。

   4. ノードのステータスが正常に戻った後、ACK はノードを再度スケジュール可能（schedulable）にします。

      自動修復プロセス開始前にすでにノードがスケジュール不可に設定されていた場合、タスク完了後もスケジュール不可のまま維持されます。

ノードの condition

説明

リスクレベル

しきい値

修復アクション

KubeletNotReady(KubeletHung)

kubelet が予期せず停止し、ノードが NotReady 状態になります。

高

180s

1. kubelet を再起動します。

2. システムおよびノードコンポーネントの自動修復のみを有効にする (ノードの再起動を許可) を選択している場合、ECS インスタンスが再起動されます。

KubeletNotReady(PLEG)

PLEG のヘルスチェックが失敗し、ノードが NotReady 状態になります。

中

180s

1. containerd または Docker を再起動します。

2. kubelet を再起動します。

3. システムおよびノードコンポーネントの自動修復のみを有効にする (ノードの再起動を許可) を選択している場合、ECS インスタンスが再起動されます。

KubeletNotReady(SandboxError)

PodSandbox が見つからず、kubelet が正しく起動できません。

高

180s

1. 対応するサンドボックスコンテナを削除します。

2. kubelet を再起動します。

RuntimeOffline

containerd または Docker が動作を停止し、ノードが利用できなくなります。

高

90s

1. containerd または Docker を再起動します。

2. システムおよびノードコンポーネントの自動修復のみを有効にする (ノードの再起動を許可) を選択している場合、ECS インスタンスが再起動されます。

NTPProblem

時刻同期サービス（ntpd または chronyd）が異常です。

高

10s

ntpd または chronyd を再起動します。

SystemdOffline

systemd の状態が異常で、コンテナの起動または停止ができません。

高

90s

システムおよびノードコンポーネントの自動修復のみを有効にする (ノードの再起動を許可) を選択している場合、ECS インスタンスが再起動されます。

ReadonlyFilesystem

ノードのファイルシステムが読み取り専用になりました。

高

90s

システムおよびノードコンポーネントの自動修復のみを有効にする (ノードの再起動を許可) を選択している場合、ECS インスタンスが再起動されます。