Container Service for Kubernetes:Aktifkan perbaikan otomatis node

1. Diagnosis dan deteksi kegagalan

Add-on ack-node-problem-detector (NPD) memeriksa adanya pengecualian pada node. Jika suatu node tetap tidak sehat selama periode tertentu, ACK mengidentifikasinya sebagai rusak.

2. Notifikasi kegagalan

ACK menghasilkan Node Condition dan Kubernetes Event. Konfigurasikan alert di Pusat Insiden untuk menerima notifikasi.

3. (Untuk skenario GPU eksklusif) Isolasi kegagalan

Setelah pengecualian GPU terdeteksi, ACK mengisolasi kartu GPU yang rusak.

Lihat Deteksi pengecualian GPU dan isolasi otomatis.

4. Perbaikan otomatis untuk pengecualian sistem dan komponen Kubernetes

ACK menentukan apakah akan memulai tugas perbaikan berdasarkan condition node dan informasi lainnya. Jalankan kubectl describe node untuk memeriksa bidang condition.

Ketika pengecualian sistem atau komponen Kubernetes berlangsung melebihi ambang batas yang dikonfigurasi, ACK menjalankan tugas perbaikan:

1. ACK memperbaiki sistem dan komponen Kubernetes yang rusak, misalnya dengan melakukan restart kubelet atau runtime kontainer.

2. Jika Anda memilih opsi Enable self-healing for system and node components only (node reboots allowed), ACK melakukan langkah-langkah tambahan berikut jika perbaikan awal gagal:

   1. ACK secara otomatis mengatur node yang rusak menjadi unschedulable.

   2. ACK melakukan drain pada node tersebut. Timeout drain adalah 10 menit atau nilai maksimum TerminationGracePeriodSeconds dari semua Pod yang dievakuasi, mana yang lebih lama, hingga maksimal 30 menit.

      ACK mengevakuasi Pod ke node lain sesuai dengan Pod Disruption Budget (PDB). Untuk ketersediaan tinggi, gunakan penerapan multi-replika, distribusikan beban kerja di beberapa node, dan konfigurasikan PDB untuk layanan kritis.

      Jika proses drain gagal, ACK tetap melanjutkan perbaikan.

   3. ACK melakukan restart node.

   4. Setelah node pulih, ACK mengembalikannya ke status schedulable.

      Node yang sudah dalam status unschedulable sebelum perbaikan otomatis tetap unschedulable setelah perbaikan selesai.

Node Condition

Description

Risk level

Threshold

Repair action

KubeletNotReady(KubeletHung)

Kubelet tidak merespons, menyebabkan node menjadi NotReady.

High

180s

1. Restart kubelet.

2. Jika opsi Enable self-healing for system and node components only (node reboots allowed) diaktifkan, restart instance ECS.

KubeletNotReady(PLEG)

Pemeriksaan kesehatan Pod Lifecycle Event Generator (PLEG) gagal, menyebabkan node melaporkan status NotReady.

Medium

180s

1. Restart containerd atau Docker.

2. Restart kubelet.

3. Jika opsi Enable self-healing for system and node components only (node reboots allowed) diaktifkan, restart instance ECS.

KubeletNotReady(SandboxError)

PodSandbox tidak ditemukan, sehingga kubelet tidak dapat dimulai dengan benar.

High

180s

1. Hapus kontainer sandbox yang bersangkutan.

2. Restart kubelet.

RuntimeOffline

Runtime kontainer (containerd atau Docker) telah berhenti, sehingga node tidak tersedia.

High

90s

1. Restart containerd atau Docker.

2. Jika opsi Enable self-healing for system and node components only (node reboots allowed) diaktifkan, restart instance ECS.

NTPProblem

Layanan sinkronisasi waktu (ntpd atau chronyd) tidak berfungsi dengan benar.

High

10s

Restart ntpd atau chronyd.

SystemdOffline

Status systemd abnormal mencegah pembuatan atau penghapusan kontainer.

High

90s

Jika opsi Enable self-healing for system and node components only (node reboots allowed) diaktifkan, restart instance ECS.

ReadonlyFilesystem

Sistem file node menjadi read-only.

High

90s

Jika opsi Enable self-healing for system and node components only (node reboots allowed) diaktifkan, restart instance ECS.