Realtime Compute for Apache Flink:Uyarı yapılandırmaları ve şablonları

Senaryo

Ölçüm/olay adı

Kural yapılandırması

Önem derecesi

Eylemler

İş hatası

Job run status event

= FAILED (Olay tabanlı uyarı)

P0

1. Yeniden başlatma ilkesinin yanlış yapılandırılıp yapılandırılmadığını kontrol edin. Varsayılan yapılandırmayı kullanmanızı öneririz.

2. Hatanın yeniden başlatma ilkesinden mi yoksa bir JobManager/TaskManager istisnasından mı kaynaklandığını belirleyin.

3. İşi en son savepoint'ten veya başarılı checkpoint'ten geri yükleyin.

Yük devretme sayısında ani artış

Overview / NumOfRestart

Ardışık 1 dönem boyunca ≥ 1

P0

1. Kök nedeni belirleyin.

• Hata ayrıntıları için failover, JobManager ve TaskManager günlüklerini analiz edin.

• Yoksay: Nadiren gerçekleşen, otomatik olarak kurtarılabilen makine arızaları.

• Düzelt: Kod hataları, kaynak darboğazları veya yapılandırma hataları.

2. İşi en son savepoint'ten veya başarılı checkpoint'ten geri yükleyin.

Ardışık checkpoint hataları

NumOfCheckpoints (5 dakikalık toplam)

Ardışık 1 dönem boyunca ≤ 0

P0

1. Checkpoint hatalarının kök nedenini gidermek için bakın: System checkpoints.

2. Sorunu tespit edip çözün.

• Parametre sorunları (örneğin zaman aşımı): Checkpoint ile ilgili yapılandırmaları ayarlayın.

• Kaynak ölçeklendirme (örneğin backpressure): Backpressure uygulanan operatöre kaynak eklemek için dynamic scaling kullanın.

3. Yapılandırmayı dinamik olarak güncelleyin veya işi en son başarılı checkpoint'ten geri yükleyin.

Yüksek gecikme süresi (veri girişi varken)

Overview / CurrentEmitEventTimeLag && NumOfRecordsInFromSourcePerSecond

Maksimum gecikme süresi ≥ 180.000 ms

Giriş kayıtları > 0

ardışık 3 dönem boyunca

P1

1. Gecikme süresinin nedenini belirlemek için bakın: Monitor metrics.

• Veri: Olay zamanları sırasız mı?

• Trafik: Yukarı akış trafiğinde ani bir artış veya aşağı akış sisteminde backpressure var mı?

Adım 2: Belirli nedene göre ayarlama yapın.

• Dahili: Connector WITH seçeneklerini ayarlayın veya darboğaz oluşturan operatörü ölçeklendirin.

• Harici: Harici hizmet yapılandırmalarını optimize edin; örneğin hız sınırlama ilkelerini ayarlayın veya bağlantı sayısını artırın.

Yukarı akış veri akışı kesintisi

Overview / NumOfRecordsInFromSourcePerSecond &&

SourceIdleTime

Giriş kayıtları ≤ 0 (iş mantığınıza bağlı olarak)

Maksimum boşta kalma süresi ≥ 60.000 ms

ardışık 5 dönem boyunca

P1

1. taskmanager.log dosyasını, flame graph'leri ve yukarı akış hizmet ölçümlerini kontrol ederek sorunun yukarı akışta veri olmaması, hız sınırlaması veya bir istisna mı yoksa tıkanmış bir iş parçacığı yığını mı olduğunu doğrulayın.

Adım 2: Belirli nedene göre ayarlama yapın.

• Bağlayıcı sorunları: Bağlayıcı parametrelerini (örneğin zaman aşımı, eşzamanlılık) optimize edin veya daha fazla TaskManager kaynağı ekleyin.

• Yukarı akış hizmeti sorunları: Sorunu çözmek için yukarı akış hizmeti sahibine bildirimde bulunun.

• Dahili Flink darboğazları (örneğin backpressure veya sistem donması): Darboğazın kök nedenini (aşağı akış sorunu gibi) çözün, ardından işi en son checkpoint'ten yeniden başlatın.

Veri çıkışı yok

Overview / NumOfRecordsOutToSinkPerSecond

Ardışık 5 dönem boyunca ≤ 0

P1

1. Verilerin sink operatörüne ulaşıp ulaşmadığını doğrulayın.

• İş mantığı filtrelemesi: Tüm giriş verilerinin belirli koşulları karşılamadığı için filtrelendiğini onaylamak için günlükleri veya ölçümleri kullanın.

• Geç gelen verilerin atılması: Verilerin geç geldiği için atılıp atılmadığını onaylamak üzere watermark ve pencere yapılandırmalarını kontrol edin.

2. Sink'in harici sisteme yazıp yazamadığını doğrulayın.

• Bağlantı düzeyi: Sink bağlantı havuzu tükendi mi? Ağ bağlantısı kararlı mı?

• Hedef sistem düzeyi: Aşağı akış veritabanında veya hizmetinde tablo kilitlemeleri, yetersiz disk alanı, yazma kısıtlaması veya diğer hataları kontrol edin.

3. Geçici bir geri dönüş yöntemi olarak verileri yedek bir depolama sistemine çift yazma (dual-write) uygulayın.

CPU performans darboğazı

CPU / TMCPUUsage

Ardışık 10 dönem boyunca ≥ %85

P2

1. Hotspot operatörü belirlemek için flame graph veya Flink UI kullanın.

• İş mantığı: Karmaşık hesaplamalar, JSON ayrıştırma veya verimsiz kullanıcı tanımlı işlevler (UDF).

• Veri eğriliği: Sıcak bir anahtar, tek bir görevin büyük miktarda veriyle aşırı yüklenmesine neden oluyor.

• Yetersiz kaynak: Mevcut paralellik ve TaskManager kaynakları veri trafiğiyle eşleşiyor mu? Ciddi backpressure var mı?

• Sık GC: Bellek baskısının önemli CPU tüketimine neden olan sık Full GC'lere yol açıp açmadığını kontrol etmek için günlükleri veya JVM ölçümlerini kullanın.

2. Darboğaz oluşturan operatörün paralelliğini artırın veya TaskManager'a daha fazla CPU çekirdeği tahsis edin.

Bellek performans darboğazı

TMHeapMemoryUsed

Ardışık 10 dönem boyunca ≥ %90

P2

1. Sorunu belirlemek için GC günlüklerini analiz edin.

• Bellek sızıntısı: Yığın belleğin GC'den sonra temel çizgisine dönmediğini ve temel çizginin yükselmeye devam ettiğini gözlemlemek için Flink UI veya izleme panolarını kullanın.

• Yetersiz kapasite: Yığın bellek kullanımı sürekli yüksekse sık Full GC'ler tetiklenebilir ve performans düşebilir.

• Ani OOM: Belirli bir kaydın veya veri partisinin işlenmesinin belleği anında tüketerek doğrudan OutOfMemoryError hatasına yol açıp açmadığını kontrol edin.

2. Slot başına veri hacmini azaltmak için yığın boyutunu veya paralelliği artırın.