Identifikasi dan selesaikan masalah node melalui pemeriksaan diagnostik dan analisis akar penyebab berbantuan AI.
Saat diagnostik node dijalankan, ACK mengumpulkan versi sistem, status workload/Docker/kubelet, serta log error sistem utama dari setiap node.
Diagnostik node terdiri dari dua komponen:
Item diagnostik: mendiagnosis node, komponen node, komponen kluster, Elastic Compute Service (ECS) controller manager, dan node yang dipercepat GPU.
Akar penyebab: menemukan akar penyebab dan memberikan saran perbaikan dengan mengumpulkan data kluster dan node, mengidentifikasi anomali, serta melakukan analisis mendalam.
Cara kerja
Diagnostik node dibangun di atas sistem diagnosis kesalahan berbasis pengalaman ahli dan model diagnosis kesalahan AI yang dilatih menggunakan volume data besar. Sistem ini menggabungkan mode diagnosis berbasis pengalaman ahli dan berbantuan AI untuk menemukan akar penyebab secara mendalam.
Hasil diagnostik melewati empat tahap:
Anomaly identification: Mengumpulkan sinyal dasar — status node, status pod, dan aliran event kluster — serta mengidentifikasi anomali.
Data collection: Mengumpulkan data kontekstual berdasarkan anomali yang teridentifikasi, termasuk informasi node Kubernetes, detail instans ECS, dan status proses Docker/kubelet.
Diagnostic item check: Memeriksa apakah metrik utama berada dalam rentang normal. Item dikelompokkan berdasarkan kategori, masing-masing disertai deskripsi.
Root cause analysis: Untuk beberapa masalah, secara otomatis menentukan akar penyebab berdasarkan data yang dikumpulkan dan hasil pemeriksaan.
Hasil diagnostik
Hasil terbagi menjadi dua jenis:
Root cause analysis results: mencakup anomali yang terdeteksi, akar penyebab yang diidentifikasi, dan saran perbaikan.
Diagnostic item check results: mencakup hasil pemeriksaan per item. Hasil ini dapat mengungkap penyebab yang mungkin terlewat oleh analisis akar penyebab.
Item diagnostik bervariasi tergantung konfigurasi kluster dan mencerminkan konfigurasi aktual kluster Anda.
Kasus penggunaan
Diagnostik node dan diagnostik berbantuan AI mencakup skenario berikut.
Kategori | Skenario |
Diagnostik node | Node NotReady — jaringan belum siap, PID (Process ID) tidak mencukupi, memori tidak mencukupi, disk space tidak mencukupi, runtime exception, atau tidak ada heartbeat yang terdeteksi |
Inode tidak mencukupi | |
PID tidak mencukupi | |
Waktu node salah | |
Sistem file node read-only | |
Deadlock pada kernel node | |
Diagnostik berbantuan AI | Status node abnormal |
Status instans ECS abnormal | |
Error kubelet pada node | |
Runtime exception pada node | |
Disk space tidak mencukupi | |
Utilisasi CPU tinggi pada node |
Item diagnostik
Kategori | Yang diperiksa |
Status node, status jaringan, log kernel, proses inti, dan ketersediaan layanan | |
Status komponen node utama, termasuk komponen jaringan dan penyimpanan | |
Ketersediaan API Service, ketersediaan DNS, dan status gateway NAT | |
Status instans ECS, koneksi jaringan, kesehatan sistem operasi, dan I/O disk | |
Status modul NVIDIA dan konfigurasi container runtime pada node yang dipercepat GPU |
Node
Jika masalah tetap berlanjut setelah menerapkan perbaikan yang disarankan, kumpulkan log node dan submit a ticket.
Item diagnostik | Yang dideteksi | Perbaikan |
Kesalahan konektivitas ke server API Kubernetes | Apakah node dapat mengakses server API kluster. | Periksa konfigurasi kluster. Lihat Troubleshoot ACK clusters. |
AUFS mount hang | Apakah terjadi AUFS mount hang pada node. | |
Error BufferIOError | Apakah error BufferIOError terdapat dalam kernel node. | |
Kebocoran cgroup | Apakah terjadi kebocoran cgroup. | Kebocoran cgroup dapat mengganggu pengumpulan data pemantauan dan menyebabkan kegagalan startup kontainer. Masuk ke node dan hapus direktori cgroup yang terpengaruh. |
Status proses chronyd abnormal | Apakah proses chronyd berjalan normal. Proses chronyd yang abnormal dapat memengaruhi sinkronisasi jam sistem. | Jalankan |
Penarikan gambar oleh containerd | Apakah runtime containerd dapat menarik gambar sesuai harapan. | Periksa konfigurasi jaringan node dan pengaturan gambar. |
Status containerd | Apakah runtime containerd sedang berjalan. | |
Ketersediaan pod CoreDNS | Apakah node dapat mengakses alamat IP pod CoreDNS. | Periksa apakah node dapat mengakses alamat IP pod CoreDNS. Lihat What do I do if the DNS query load is not balanced among CoreDNS pods?. |
Status gambar | Apakah gambar utuh. | |
Status overlay2 gambar | Apakah sistem file overlay2 dalam gambar rusak. | |
Waktu sistem | Apakah jam sistem akurat. | Tidak ada. |
Startup kontainer Docker | Apakah kontainer Docker gagal memulai. | |
Penarikan gambar Docker | Apakah node dapat menarik gambar Docker sesuai harapan. | Periksa konfigurasi jaringan node dan pengaturan gambar. |
Status Docker | Apakah runtime Docker sedang berjalan. | |
Waktu startup Docker | Waktu startup Dockerd. | Tidak ada. |
Error hang Docker | Apakah terjadi error hang Docker pada node. | Jalankan |
Eksistensi instans ECS | Apakah instans ECS dasar ada. | Periksa status instans ECS. Lihat FAQ about nodes and node pools. |
Status instans ECS | Apakah instans ECS dalam kondisi sehat. | Periksa status instans ECS. Lihat FAQ about nodes and node pools. |
Error Ext4FsError | Apakah error Ext4FsError terdapat dalam kernel node. | |
Sistem file node read-only | Apakah sistem file node menjadi read-only. Hal ini biasanya menunjukkan kegagalan disk dan memblokir semua operasi tulis, sehingga memengaruhi workload. | Jalankan |
Waktu hardware | Apakah jam hardware dan jam sistem tersinkronisasi. Perbedaan lebih dari 2 menit dapat menyebabkan error komponen. | Jalankan |
DNS node | Apakah nama domain dapat diselesaikan pada node. | Lihat DNS troubleshooting. |
Error kernel oops | Apakah error oops terdapat dalam kernel node. | |
Versi kernel | Apakah versi kernel sudah usang. Kernel yang usang mungkin memiliki masalah stabilitas yang telah diketahui. | Perbarui kernel node. Lihat FAQ about nodes and node pools. |
Ketersediaan DNS kluster | Apakah node dapat mengakses IP cluster kube-dns Service untuk menggunakan layanan DNS kluster. | Periksa status dan log pod CoreDNS. Lihat DNS troubleshooting. |
Status Kubelet | Apakah kubelet berjalan normal. | Periksa log kubelet. Lihat Troubleshoot ACK clusters. |
Waktu startup Kubelet | Waktu startup kubelet. | Tidak ada. |
Utilisasi CPU | Apakah utilisasi CPU node terlalu tinggi. | Tidak ada. |
Utilisasi memori | Apakah utilisasi memori node terlalu tinggi. | Tidak ada. |
Fragmentasi memori | Apakah terjadi fragmentasi memori pada node. | Masuk ke node dan jalankan |
Memori swap | Apakah memori swap diaktifkan. | Masuk ke node dan nonaktifkan memori swap. |
Pemuatan driver perangkat jaringan | Apakah driver VirtIO pada perangkat jaringan dimuat dengan benar. | |
Utilisasi CPU node terlalu tinggi | Apakah utilisasi CPU tinggi selama seminggu terakhir. Jika banyak pod dijadwalkan ke node dengan utilisasi CPU tinggi secara konsisten, resource contention dapat menyebabkan gangguan layanan. | Tetapkan request dan limit resource secara tepat untuk menghindari overload node. |
Eksistensi IP pribadi node | Apakah node memiliki alamat IP pribadi yang ditetapkan. | Hapus node dari kluster dan tambahkan kembali. Jangan lepas instans ECS saat menghapusnya. Lihat Remove a node dan Add existing ECS instances. |
Utilisasi memori node terlalu tinggi | Apakah utilisasi memori tinggi selama seminggu terakhir. Utilisasi memori tinggi yang dikombinasikan dengan penjadwalan pod berat dapat menyebabkan error out-of-memory (OOM) dan gangguan layanan. | Tetapkan request dan limit resource secara tepat untuk menghindari overload node. |
Status node | Apakah node berada dalam status Ready. | Mulai ulang node. Lihat FAQ tentang node dan kelompok node. |
Kemampuan penjadwalan node | Apakah node ditandai sebagai unschedulable. | Periksa konfigurasi penjadwalan node. Lihat Node draining and scheduling status. |
Error OOM | Apakah terjadi error out-of-memory (OOM) pada node. | |
Pemeriksaan runtime | Apakah container runtime node sesuai dengan runtime yang dikonfigurasi kluster. | Lihat Dapatkah saya mengubah runtime kontainer kluster dari containerd ke Docker?. |
Versi OS usang | Apakah versi OS node memiliki bug atau masalah stabilitas yang diketahui. Versi OS usang dapat menyebabkan runtime Docker dan containerd mengalami malfungsi. | Perbarui versi OS. |
Akses Internet | Apakah node dapat mengakses internet. | Periksa apakah SNAT diaktifkan untuk kluster. Lihat Enable an existing ACK cluster to access the internet. |
Error RCUStallError | Apakah error RCUStallError terdapat dalam kernel node. | |
Versi OS | Versi OS yang digunakan oleh node. Versi OS usang dapat mencegah kluster beroperasi secara normal. | Tidak ada. |
Kebocoran proses runc | Apakah terjadi kebocoran proses runc. Kebocoran proses runc dapat menyebabkan node secara berkala memasuki status NotReady. | Identifikasi proses runc yang bocor dan hentikan secara manual. |
Error SoftLockupError | Apakah error SoftLockupError terdapat dalam kernel node. | |
Hang systemd | Apakah terjadi hang systemd. | Masuk ke node dan jalankan |
Versi systemd usang | Apakah versi systemd memiliki bug yang diketahui. Versi usang dapat menyebabkan Docker dan containerd mengalami malfungsi. | Perbarui versi systemd. Lihat systemd. |
Proses hang | Apakah terdapat proses hang pada node. | |
Error unregister_netdevice | Apakah error unregister_netdevice terdapat dalam kernel node. |
NodeComponent
Item diagnostik | Yang dideteksi | Perbaikan |
Status komponen CNI | Apakah plugin Container Network Interface (CNI) berjalan sesuai harapan. | Periksa status komponen jaringan kluster. Lihat FAQ about network management. |
Status komponen CSI | Apakah plugin Container Storage Interface (CSI) berjalan sesuai harapan. | Periksa status komponen penyimpanan kluster. Lihat FAQ about CSI. |
ClusterComponent
Item diagnostik | Yang dideteksi | Perbaikan |
Versi aliyun-acr-credential-helper | Apakah versi komponen aliyun-acr-credential-helper sudah usang. | Perbarui aliyun-acr-credential-helper. Lihat Use the aliyun-acr-credential-helper component to pull images without using a secret. |
Ketersediaan API Service | Apakah API Service kluster tersedia. | Jalankan |
Blok CIDR pod yang tersedia tidak mencukupi | Apakah tersisa kurang dari lima blok CIDR pod di kluster Flannel. Setiap node menggunakan satu blok, sehingga jika habis, node baru tidak dapat berfungsi dengan baik. | |
Endpoint CoreDNS | Jumlah endpoint CoreDNS aktif. | Periksa status dan log pod CoreDNS. Lihat DNS troubleshooting. |
Alamat IP cluster CoreDNS | Apakah layanan DNS kluster memiliki ClusterIP yang ditetapkan. Tanpa itu, DNS kluster gagal dan workload terpengaruh. | Periksa status dan log pod CoreDNS. Lihat DNS troubleshooting. |
Status gateway NAT | Apakah gateway NAT kluster berfungsi normal. | Masuk ke NAT Gateway console dan periksa apakah gateway terkunci karena pembayaran tertunda. |
Laju drop koneksi bersamaan yang terlalu tinggi pada gateway NAT | Apakah gateway NAT menjatuhkan laju koneksi bersamaan yang abnormal tinggi. | Upgrade gateway NAT. Lihat FAQ about upgrading standard Internet NAT gateways to enhanced Internet NAT gateways. |
ECSControllerManager
Item diagnostik | Yang dideteksi | Perbaikan |
Pembayaran tertunda terkait komponen instans ECS | Apakah disk atau bandwidth jaringan instans dibatasi karena pembayaran tertunda. | Isi ulang akun Anda untuk memulihkan akses. |
Pembayaran tertunda terkait instans ECS | Apakah instans ECS bayar sesuai penggunaan telah ditangguhkan karena pembayaran tertunda. | Isi ulang akun Anda, lalu restart instans. |
Status NIC instans ECS | Apakah kartu antarmuka jaringan (NIC) instans berfungsi normal. | Restart instans. |
Status startup instans ECS | Apakah instans dapat di-boot secara normal. | Jika boot gagal, buat instans baru. |
Status sistem manajemen backend instans ECS | Apakah sistem manajemen backend instans beroperasi normal. | Restart instans. |
Status CPU instans ECS | Apakah terjadi resource contention CPU atau kegagalan binding CPU pada lapisan dasar instans. | Resource contention CPU dapat mencegah instans memperoleh resource CPU. Restart instans. |
Split lock pada CPU instans ECS | Apakah terjadi split lock pada CPU instans ECS. | Split lock terjadi pada CPU instans ECS. |
Status mitigasi DDoS untuk instans ECS | Apakah alamat IP publik instans sedang mengalami serangan DDoS. | Beli layanan anti-DDoS. Lihat Comparison of Alibaba Cloud Anti-DDoS solutions. |
Kemampuan baca/tulis disk cloud terbatas | Apakah throughput baca/tulis disk cloud sedang dikendalikan aliran. | Kurangi frekuensi baca/tulis disk atau upgrade ke tipe disk cloud berkinerja lebih tinggi. Untuk informasi lebih lanjut tentang metrik kinerja baca/tulis disk cloud, lihat Block storage performance. |
Pemuatan disk instans ECS | Apakah disk cloud dapat disambungkan saat instans dimulai. | Hentikan instans dan mulai lagi. |
Kedaluwarsa instans ECS | Apakah instans langganan telah kedaluwarsa. | Perpanjang instans. Lihat Renew a subscription instance. |
Sistem operasi pada Instance ECS mengalami crash | Apakah terjadi crash OS dalam 48 jam terakhir. | Tinjau log sistem untuk mengidentifikasi penyebabnya. Lihat View system logs and screenshots. |
Status host instans ECS | Apakah server fisik yang menampung instans mengalami kegagalan. | Kegagalan host dapat menurunkan kinerja instans. Restart instans. |
Pemuatan gambar instans ECS | Apakah instans dapat memuat gambarnya selama inisialisasi. | Restart instans. |
Hang I/O pada disk instans ECS | Apakah terjadi hang I/O pada disk sistem. | Periksa metrik disk. Lihat Melihat data pemantauan disk cloud. Untuk Alibaba Cloud Linux 2, lihat Mendeteksi Hang I/O pada sistem file dan lapisan Blok. |
Batas atas bandwidth instans ECS | Apakah total bandwidth instans telah mencapai maksimum untuk tipe instansnya. | Upgrade ke tipe instans dengan bandwidth lebih tinggi. Lihat Overview of instance configuration changes. |
Batas atas bandwidth burst instans ECS | Apakah bandwidth burst instans telah melebihi maksimum yang diizinkan untuk tipe instansnya. | Upgrade ke tipe instans dengan bandwidth lebih tinggi. Lihat Overview of instance configuration changes. |
Pemuatan NIC instans ECS | Apakah NIC dapat dimuat pada instans. | Jika NIC gagal dimuat, instans kehilangan konektivitas jaringan. Restart instans. |
Pembentukan sesi NIC pada instans ECS | Apakah sesi dapat dibentuk ke NIC. | Jika NIC tidak dapat membentuk sesi atau telah mencapai batas sesinya, konektivitas atau throughput jaringan terpengaruh. Restart instans. |
Operasi kunci pada instans ECS | Apakah operasi terbaru pada instans — seperti memulai, menghentikan, atau meningkatkan — berhasil diselesaikan. | Ulangi operasi yang gagal. |
Kehilangan paket pada NIC instans ECS | Apakah terjadi kehilangan paket inbound atau outbound pada NIC. | Restart instans. |
Penurunan kinerja instans ECS | Apakah kinerja instans sementara menurun karena masalah perangkat lunak atau keras. | Lihat event historis atau log sistem instans untuk mengidentifikasi penyebabnya. Lihat View historical system events. |
Kinerja instans ECS terganggu | Apakah kinerja instans berkurang. | Instans ECS hanya dapat memberikan kinerja dasar karena kredit CPU yang tersedia tidak mencukupi. |
Pengubahan ukuran disk instans ECS | Apakah disk telah diubah ukurannya tetapi OS belum memperluas sistem file. | OS gagal mengubah ukuran sistem file setelah disk diubah ukurannya, sehingga ruang tambahan tidak tersedia. Ubah ukuran disk lagi. |
Aplikasi resource instans ECS | Apakah resource CPU dan memori fisik yang cukup tersedia untuk instans. | Resource fisik yang tidak mencukupi mencegah instans dimulai. Tunggu beberapa menit dan coba mulai instans lagi. Jika masalah berlanjut, buat instans di wilayah atau zona berbeda. |
Status OS instans ECS | Apakah terjadi kernel panic, error OOM, atau kegagalan internal pada OS instans. | Kegagalan tersebut sering disebabkan oleh pengaturan instans atau program pengguna yang salah konfigurasi. Restart instans. |
Status virtualisasi instans ECS | Apakah terdapat pengecualian pada lapisan virtualisasi yang mendasari? | Anomali tersebut dapat menyebabkan instans berhenti merespons atau ditangguhkan secara tak terduga. Restart instans. |
GPUNode
Item diagnostik | Yang dideteksi | Perbaikan |
Container runtime | Apakah container runtime pada node yang dipercepat GPU valid. ACK hanya mendukung Docker dan containerd untuk node yang dipercepat GPU. | Periksa status runtime Docker atau containerd pada node. |
Versi NVIDIA-Container-Runtime | Apakah versi NVIDIA-Container-Runtime kompatibel dengan kluster. |
|
Status modul cGPU | Apakah modul cGPU berjalan sesuai harapan pada node dengan pembagian GPU diaktifkan. |
|
Konfigurasi container runtime | Apakah container runtime pada node yang dipercepat GPU dikonfigurasi dengan benar. Salah konfigurasi mencegah kontainer GPU berjalan. | Periksa apakah bidang |
Status NVIDIA-Container-Runtime | Apakah NVIDIA-Container-Runtime berjalan sesuai harapan. | Kumpulkan data diagnostik dan ajukan Tiket. Lihat Kumpulkan Data Diagnostik dari Node yang Diakselerasi GPU. |
Status modul NVIDIA | Apakah modul kernel NVIDIA berjalan sesuai harapan pada node yang dipercepat GPU. Modul NVIDIA yang gagal mencegah semua workload GPU berjalan. |
|