Tanı kontrolleri ve yapay zeka destekli kök neden analizi ile düğüm sorunlarını belirleyin ve çözün.
Düğüm tanılama çalıştırıldığında ACK; her düğümden sistem sürümü, iş yükü/Docker/kubelet durumu ve ana sistem günlük hatalarını toplar.
Düğüm tanılama iki bileşenden oluşur:
Tanı öğeleri: Düğümleri, düğüm bileşenlerini, küme bileşenlerini, Elastic Compute Service (ECS) denetleyici yöneticisini ve GPU hızlandırmalı düğümleri tanılar.
Kök nedenler: Küme ve düğüm verilerini toplayarak, anormallikleri belirleyerek ve derinlemesine analiz yaparak kök nedenleri bulur ve düzeltme önerileri sunar.
Nasıl çalışır
Düğüm tanılama, uzman deneyimine dayalı bir arıza teşhis sistemi ve büyük veri kümeleri üzerinde eğitilmiş bir yapay zeka arıza teşhis modeli üzerine kuruludur. Kök nedenleri derinlemesine belirlemek için uzman deneyimi ve yapay zeka destekli teşhis modlarını birleştirir.
Tanı sonuçları dört aşamadan geçer:

Anomaly identification: Temel sinyalleri (düğüm durumu, pod durumu ve küme olay akışları) toplar ve anormallikleri belirler.
Data collection: Belirlenen anormalliklere göre bağlama özgü verileri toplar; buna Kubernetes düğüm bilgileri, ECS örnek ayrıntıları ve Docker/kubelet işlem durumları dahildir.
Diagnostic item check: Ana ölçümlerin normal aralıkta olup olmadığını kontrol eder. Öğeler kategoriye göre gruplandırılır ve her biri için bir açıklama sunulur.
Root cause analysis: Bazı sorunlar için toplanan verilere ve kontrol sonuçlarına dayanarak kök nedeni otomatik olarak belirler.
Tanı sonuçları
Sonuçlar iki türe ayrılır:
Root cause analysis results: Tespit edilen anormallikleri, belirlenen kök nedeni ve düzeltme önerilerini içerir.
Diagnostic item check results: Her bir öğe için kontrol sonuçlarını içerir. Bu sonuçlar, kök neden analizinin kaçırabileceği nedenleri ortaya çıkarabilir.
Tanı öğeleri küme yapılandırmasına göre değişir ve gerçek küme kurulumunuzu yansıtır.
Kullanım senaryoları
Düğüm tanılama ve yapay zeka destekli tanılama aşağıdaki senaryoları kapsar.
Kategori | Senaryo |
Düğüm tanılama | Düğüm NotReady — ağ hazır değil, yeterli işlem kimliği (PID) yok, yeterli bellek yok, yeterli disk alanı yok, çalışma zamanı istisnaları veya heart beat algılanamadı |
Yetersiz inode | |
Yetersiz PID | |
Hatalı düğüm saati | |
Salt okunur düğüm dosya sistemi | |
Düğüm çekirdeğinde kilitlenmeler | |
Yapay zeka destekli tanılama | Anormal düğüm durumu |
Anormal ECS örneği durumu | |
Düğümlerde kubelet hataları | |
Düğümlerde çalışma zamanı istisnaları | |
Yetersiz disk alanı | |
Düğümlerde yüksek CPU kullanımı |
Tanı öğeleri
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Düğüm
Önerilen düzeltmeyi uyguladıktan sonra sorun devam ederse düğüm günlüklerini toplayın ve destek talebi oluşturun.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
NodeComponent
|
|
|
|
|
|
|
|
|
|
|
|
ClusterComponent
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
NAT Gateway konsolu üzerinden oturum açın ve ağ geçidinin geciken ödemeler nedeniyle kilitlenip kilitlenmediğini kontrol edin. |
|
|
|
|
ECSControllerManager
Tanı öğesi | Ne tespit eder | Düzeltme |
ECS örneği bileşenleriyle ilgili geciken ödemeler | Geciken ödemeler nedeniyle örneğin diskinin veya ağ bant genişliğinin kısıtlanıp kısıtlanmadığı. | Erişimi geri yüklemek için hesabınıza bakiye yükleyin. |
ECS örneğiyle ilgili geciken ödemeler | Kullandıkça öde ECS örneğinin geciken ödemeler nedeniyle askıya alınıp alınmadığı. | Hesabınıza bakiye yükleyin, ardından örneği yeniden başlatın. |
ECS örneği NIC durumu | Örneğin ağ arayüz kartının (NIC) normal çalışıp çalışmadığı. | Örneği yeniden başlatın. |
ECS örneği başlatma durumu | Örneğin normal şekilde önyüklenebilip önyüklenemediği. | Önyükleme başarısız olursa yeni bir örnek oluşturun. |
ECS örneği arka uç yönetim sistemi durumu | Örneğin arka uç yönetim sisteminin normal çalışıp çalışmadığı. | Örneği yeniden başlatın. |
ECS örneği CPU'larının durumu | Örneğin alt yapısında CPU çekişmesi veya CPU bağlama hatalarının olup olmadığı. | CPU çekişmesi örneğin CPU kaynaklarını elde etmesini engelleyebilir. Örneği yeniden başlatın. |
ECS örneği CPU'larında bölünmüş kilitler | ECS örneğinin CPU'larında bölünmüş kilitlerin olup olmadığı. | ECS örneğinin CPU'larında bölünmüş kilitler oluşuyor. |
ECS örneği DDoS koruma durumu | Örneğin genel IP adresinin DDoS saldırısına maruz kalıp kalmadığı. | Anti-DDoS hizmeti satın alın. Bkz. Alibaba Cloud Anti-DDoS çözümlerinin karşılaştırılması. |
Bulut diskin sınırlı okuma/yazma yetenekleri | Bulut diski okuma/yazma aktarım hızının kısıtlanıp kısıtlanmadığı. | Disk okuma/yazma sıklığını azaltın veya daha yüksek performanslı bir bulut diski türüne yükseltin. Bulut disklerinin okuma/yazma performans ölçümleri hakkında daha fazla bilgi için bkz. Blok depolama performansı. |
ECS örneği diskinin yüklenmesi | Örnek başlatıldığında bulut diskinin takılıp takılamadığı. | Örneği durdurun ve tekrar başlatın. |
ECS örneği sona erme | Abonelik örneğinin süresinin dolup dolmadığı. | Örneği yenileyin. Bkz. Abonelik örneğini yenileme. |
ECS örneği işletim sistemi çöküşleri | Son 48 saat içinde işletim sistemi çöküşlerinin olup olmadığı. | Nedeni belirlemek için sistem günlüklerini inceleyin. Bkz. Sistem günlüklerini ve ekran görüntülerini görüntüleme. |
ECS örneği ana bilgisayar durumu | Örneği barındıran fiziksel sunucuda arıza olup olmadığı. | Ana bilgisayar arızaları örnek performansını düşürebilir. Örneği yeniden başlatın. |
ECS örneği görüntüsünün yüklenmesi | Örneğin başlatma sırasında görüntüsünü yükleyip yükleyemediği. | Örneği yeniden başlatın. |
ECS örneği diskinde G/Ç askıda kalma | Sistem diskimde G/Ç askıda kalmalarının olup olmadığı. | Disk ölçümlerini kontrol edin. Bkz. Bulut diskin izleme verilerini görüntüleme. Alibaba Cloud Linux 2 için bkz. Dosya sistemlerinin ve blok katmanlarının G/Ç askıda kalmalarını algılama. |
ECS örneği bant genişliği üst sınırı | Örneğin toplam bant genişliğinin örnek türü için maksimum değere ulaşıp ulaşmadığı. | Daha yüksek bant genişliğine sahip bir örnek türüne yükseltin. Bkz. Örnek yapılandırma değişikliklerine genel bakış. |
ECS örneği patlama bant genişliği üst sınırı | Örneğin patlama bant genişliğinin örnek türü için izin verilen maksimum değeri aşıp aşmadığı. | Daha yüksek bant genişliğine sahip bir örnek türüne yükseltin. Bkz. Örnek yapılandırma değişikliklerine genel bakış. |
ECS örneği NIC'inin yüklenmesi | NIC'in örnekte yüklenebilip yüklenemediği. | NIC yüklenemezse örnek ağ bağlantısını kaybeder. Örneği yeniden başlatın. |
ECS örneğinde NIC oturum oluşturma | NIC'e oturum oluşturulup oluşturulamayacağı. | NIC oturum oluşturamazsa veya oturum sınırına ulaşırsa ağ bağlantısı veya aktarım hızı etkilenir. Örneği yeniden başlatın. |
ECS örneğinde anahtar işlemler | Örnekteki başlatma, durdurma veya yükseltme gibi son işlemlerin başarıyla tamamlanıp tamamlanmadığı. | Başarısız olan işlemi yeniden deneyin. |
ECS örneği NIC'inde paket kaybı | NIC'te gelen veya giden paket kaybının olup olmadığı. | Örneği yeniden başlatın. |
ECS örneği performans düşüşü | Örneğin performansının yazılım veya donanım sorunları nedeniyle geçici olarak düşüp düşmediği. | Nedeni belirlemek için örneğin geçmiş olaylarını veya sistem günlüklerini görüntüleyin. Bkz. Geçmiş sistem olaylarını görüntüleme. |
Bozulmuş ECS örneği performansı | Örneğin performansının düşüp düşmediği. | Yetersiz kullanılabilir CPU kredisi nedeniyle ECS örneği yalnızca temel performansı sağlayabilir. |
ECS örneği disk yeniden boyutlandırma | Disken yeniden boyutlandırıldığı ancak işletim sisteminin dosya sistemini henüz genişletmediği. | Disk yeniden boyutlandırıldıktan sonra işletim sistemi dosya sistemini yeniden boyutlandıramadı, bu nedenle eklenen alan kullanılamıyor. Diski yeniden boyutlandırın. |
ECS örneği kaynak talebi | Örnek için yeterli fiziksel CPU ve bellek kaynağı olup olmadığı. | Yetersiz fiziksel kaynaklar örneğin başlatılmasını engeller. Birkaç dakika bekleyin ve örneği yeniden başlatmayı deneyin. Sorun devam ederse farklı bir bölgede veya alanda örnek oluşturun. |
ECS örneği işletim sistemi durumu | Örnek işletim sisteminde çekirdek panikleri, OOM hataları veya iç hataların olup olmadığı. | Bu tür hatalar genellikle yanlış yapılandırılmış örnek ayarlarından veya kullanıcı programlarından kaynaklanır. Örneği yeniden başlatın. |
ECS örneği sanallaştırma durumu | Altta yatan sanallaştırma katmanında istisna olup olmadığı. | Bu tür istisnalar örneğin yanıt vermemesine veya beklenmedik şekilde askıya alınmasına neden olabilir. Örneği yeniden başlatın. |
GPUNode
Tanı öğesi | Ne tespit eder | Düzeltme |
Konteyner çalışma zamanı | GPU hızlandırmalı düğümdeki konteyner çalışma zamanının geçerli olup olmadığı. ACK, GPU hızlandırmalı düğümler için yalnızca Docker ve containerd'yi destekler. | Düğümdeki Docker veya containerd çalışma zamanının durumunu kontrol edin. |
NVIDIA-Container-Runtime sürümü | NVIDIA-Container-Runtime sürümünün kümeyle uyumlu olup olmadığı. |
|
cGPU modül durumu | GPU paylaşımının etkin olduğu düğümlerde cGPU modülünün beklendiği gibi çalışıp çalışmadığı. |
|
Konteyner çalışma zamanı yapılandırmaları | GPU hızlandırmalı düğümdeki konteyner çalışma zamanının doğru yapılandırılıp yapılandırılmadığı. Yanlış yapılandırma GPU konteynerlerinin çalışmasını engeller. | Çalışma zamanı yapılandırma dosyasında |
NVIDIA-Container-Runtime durumu | NVIDIA-Container-Runtime'ın beklendiği gibi çalışıp çalışmadığı. | Tanı verilerini toplayın ve destek talebi oluşturun. Bkz. GPU hızlandırmalı düğümlerden tanı verileri toplama. |
NVIDIA modül durumu | GPU hızlandırmalı düğümde NVIDIA çekirdek modülünün beklendiği gibi çalışıp çalışmadığı. Başarısız bir NVIDIA modülü tüm GPU iş yüklerinin çalışmasını engeller. |
|