Tüm Ürünler
Search

Bu Ürün

    Realtime Compute for Apache Flink:Ölçümler

    Belge Merkezi

    Realtime Compute for Apache Flink:Ölçümler

    Son Güncelleme:Oct 04, 2026

    Bu konu, tam yönetilen Flink için ölçümleri açıklar.

    Notlar

    CloudMonitor ve Flink konsolu arasındaki veri tutarsızlıkları

    1. Görüntülenen boyutlardaki farklılıklar: Flink konsolu, yalnızca maksimum gecikme süresini görüntülemek için PromQL sorguları kullanır. Gerçek zamanlı hesaplama senaryolarında ortalama gecikme süresi, veri eğriliği veya tek bölüm tıkanıklıkları gibi ciddi sorunları maskeleyebilir. Bu nedenle, yalnızca maksimum gecikme süresi değerli operasyonel içgörüler sağlar.

    2. Değer tutarsızlıkları: CloudMonitor, ölçümleri hesaplamak için ön toplama mekanizması kullanır. Toplama pencereleri, örnekleme zaman damgaları veya hesaplama mantığındaki farklılıklar nedeniyle CloudMonitor'daki "maksimum" değeri, Flink konsolundaki gerçek zamanlı değerden biraz farklı olabilir. Sorun giderme amacıyla Flink konsolu verilerini doğru kaynak olarak kullanın.

    Veri gecikmesi ve watermark yapılandırması

    1. Gecikme hesaplama mantığı: Mevcut izleme ölçümü Emit Delay, olay zamanına dayalı olarak aşağıdaki formül kullanılarak hesaplanır:

      Gecikme = Geçerli Sistem Zamanı - Veri kaydındaki mantıksal zaman alanı (örn. PriceData.time)

      Bu, ölçümün sistemin işleme hızını değil veri güncelliğini yansıttığı anlamına gelir. Kaynak veriler eski olduğunda veya sistem watermark'ları hizalamak için çıktıyı duraklattığında bu ölçüm yüksek olur.

    2. Öneriler

      Senaryo 1: İş mantığınız doğruluk için watermark'lara dayanır ancak kaynak veriler eskidir

      • Tipik durumlar:

        • Yukarı akış veri teslimatı doğası gereği gecikmelidir (örn. yavaş olay raporlaması).

        • Önceki bir güne ait verileri işlemek için geriye dönük doldurma çalıştırıyorsunuz.

        • İş mantığı, sırasız gelen olayları işlemek için watermark'ların kullanılmasını gerektirir; bu nedenle watermark'lar devre dışı bırakılamaz.

      • Belirti: İzleme uyarıları yüksek gecikme süresi gösterir ancak Kafka tüketici grubunda gecikme yoktur (lag ≈ 0) ve CPU yükü düşüktür.

      • Öneriler:

        1. Bu gecikme ölçümünü yok sayın: Bu durumda, verinin yaşını yansıttığı için yüksek gecikme beklenen bir durumdur. Bu durum bir sistem arızasını göstermez.

        2. Farklı bir ölçüme geçin: Bunun yerine Kafka tüketici gecikmesini (consumer lag) izleyin. Tüketici gecikmesi sürekli artmıyorsa sistemin yeterli işleme kapasitesi vardır ve müdahale gerekmez.

      Senaryo 2: Düşük gecikme süresi gerektirirsiniz ve küçük çapta sırasız gelen olaylara veya veri kaybına tolerans gösterebilirsiniz

      • Tipik durumlar:

        • Büyük ekran panoları veya gerçek zamanlı risk kontrolü gibi uygulamalar için watermark kaynaklı bekleme süreci çıktıyı yavaşlatır.

        • İş mantığı, veri kaydının içindeki zaman damgasından (olay zamanı) ziyade verinin ne zaman alındığına (işleme zamanı) daha fazla önem verir.

      • Belirti: Veri akışı gerçek zamanlıdır ancak watermark büyük bir tolerans penceresiyle (örn. 10 saniyelik gecikme payı) yapılandırıldığından çıktı 10 saniye gecikir.

      • Öneriler:

        1. Watermark'ları kaldırın veya devre dışı bırakın: Hesaplamalar için işleme zamanını kullanacak şekilde geçiş yapın veya watermark bekleme eşik değerini 0 olarak ayarlayın.

        2. Beklenen sonuç: Gecikme ölçümü önemli ölçüde azalacak ve fiili işleme zamanına yaklaşacaktır. Veriler, hizalama için beklemeden varış anında işlenir.

    Ölçüm özellikleri

    Ölçümler yalnızca bir bileşenin mevcut durumunu yansıtır ve bir sorunun kök nedenini belirlemek için yetersizdir. Kapsamlı bir teşhis için her zaman Flink UI'nın backpressure izleyicisini ve diğer araçları kullanın.

    1. Operatör backpressure'ı

    Belirti: Aşağı akış operatörleri veriyi yeterince hızlı işleyemediğinden kaynak yayım hızını azaltır.

    • Nasıl tespit edilir: Bu sorunu tespit etmek için Flink UI'nın backpressure izleyicisini kullanın.

    • Ölçüm özellikleri:

      • sourceIdleTime periyodik olarak artar.

      • currentFetchEventTimeLag ve currentEmitEventTimeLag sürekli olarak artar.

      • Aşırı durum: Bir operatör tamamen takılı kalırsa sourceIdleTime sürekli olarak artar.

    2. Kaynak performans darboğazı

    Belirti: Kaynak maksimum hızda okuma yapar ancak veri işleme taleplerini karşılayamaz.

    • Nasıl tespit edilir: İşte backpressure tespit edilmez.

    • Ölçüm özellikleri:

      • sourceIdleTime çok düşük bir değerde kalır (kaynağın tam kapasitede çalıştığını gösterir).

      • currentFetchEventTimeLag ve currentEmitEventTimeLag benzerdir ve yüksek kalır.

    3. Veri eğriliği veya boş bölümler

    Belirti: Veri dağılımı yukarı akış Kafka bölümleri arasında düzensizdir veya bazı bölümler boştur.

    • Nasıl tespit edilir: Farklı kaynak alt görevlerindeki ölçümleri karşılaştırın.

    • Ölçüm özellikleri:

      • Belirli bir kaynak alt görevinin sourceIdleTime değeri diğerlerinden önemli ölçüde yüksektir; bu, söz konusu paralel örneğin boşta olduğunu gösterir.

    4. Veri gecikmesi

    Belirti: Genel iş gecikmesi yüksektir. Darboğazın kaynağın mı yoksa harici bir sistemin mi olduğunu belirlemeniz gerekir.

    • Nasıl tespit edilir: Boşta kalma süresini, gecikme ölçümleri arasındaki farkı ve birikmiş iş boyutunu birlikte analiz edin.

    • Ölçüm özellikleri:

      • **Yüksek sourceIdleTime: Bu durum, kaynağın boşta olduğunu gösterir; bu genellikle Flink'in yavaş işlediği anlamına gelmez, bunun yerine harici sistemdeki** veri üretim hızının düşük olduğunu gösterir.

      • Gecikme farkı analizi: currentEmitEventTimeLag ile currentFetchEventTimeLag arasındaki farkı karşılaştırın. Bu fark, verinin kaynak operatöründe geçirdiği süreyi temsil eder:

        • Küçük fark (ölçüm değerleri birbirine yakın): Bu durum yetersiz getirme kapasitesini gösterir. Darboğaz genellikle ağ G/Ç bant genişliği veya yetersiz kaynak paralelliğidir.

        • Büyük fark: Bu durum yetersiz işleme kapasitesini gösterir. Darboğaz genellikle verimsiz veri ayrıştırma veya aşağı akış operatörlerinden gelen backpressure'dır.

      • **pendingRecords (bağlayıcı tarafından destekleniyorsa): Bu ölçüm doğrudan harici birikimi** yansıtır. Daha yüksek bir değer, harici sistemde daha ciddi bir veri birikimi olduğunu gösterir.

    Genel Bakış

    Ölçüm

    Açıklama

    Ayrıntılar

    Birim

    Desteklenen bağlayıcılar

    Yeniden başlatma sayısı

    Dağıtımın bir hata sonrası yeniden başlatılma sayısı.

    Dağıtımın bir hata nedeniyle yeniden başlatılma sayısı. Bu ölçüm, JobManager (JM) yük devretmesinden kaynaklanan yeniden başlatmaları hariç tutar. Dağıtımın kullanılabilirliğini ve durumunu izlemek için bu ölçümü kullanın.

    Sayı

    Yok

    Geçerli yayım olay zamanı gecikmesi

    Veri işleme gecikmesi.

    Yüksek bir değer, veri getirme veya işlemede gecikme olduğunu gösterir.

    milisaniye (ms)

    • Kafka

    • ApsaraMQ for RocketMQ

    • Simple Log Service

    • DataHub

    • Postgres Change Data Capture (CDC)

    • Hologres (Binlog Source)

    Geçerli getirme olay zamanı gecikmesi

    Yukarı akış sisteminden veri getirme gecikmesi.

    Yüksek bir değer, veri getirme gecikmesini gösterir. Ağ G/Ç'nizi ve yukarı akış sistemlerinizi kontrol edin. Bu ölçümü currentEmitEventTimeLag ile karşılaştırmak, kaynağın işleme kapasitesini analiz etmenize yardımcı olur. İkisi arasındaki fark, verinin kaynak operatöründe geçirdiği süreyi temsil eder.

    • İki gecikme değeri birbirine çok yakınsa bu durum, kaynağın harici sistemden veri çekme konusunda yetersiz kapasiteye sahip olduğunu gösterir; bu durum muhtemelen ağ G/Ç veya paralellik sınırlamalarından kaynaklanır.

    • İki gecikme değeri arasında büyük bir fark olması, dağıtımın işleme kapasitesinin yetersiz olduğunu ve verinin kaynak operatöründe biriktiğini gösterir. Dağıtım ayrıntıları sayfasında Status sekmesine gidin ve sorunlu vertex'i bulmak için BackPressure sayfasını kullanın. Ardından, yığını analiz etmek ve darboğazı belirlemek için Thread Dump sayfasına gidin.

    milisaniye (ms)

    • Kafka

    • ApsaraMQ for RocketMQ

    • Simple Log Service

    • DataHub

    • Postgres Change Data Capture (CDC)

    • Hologres (Binlog Source)

    numRecordsIn

    Tüm operatörler tarafından alınan toplam kayıt sayısı.

    Belirli bir operatör için numRecordsIn değeri uzun bir süre artmazsa bu durum yukarı akış veri akışında bir sorun olduğunu gösterebilir. Yukarı akış kaynağını ve operatörleri kontrol edin.

    Sayı

    Tüm yerleşik bağlayıcılar.

    numRecordsOut

    Yayımlanan toplam kayıt sayısı.

    Belirli bir operatör için numRecordsOut değeri uzun bir süre artmazsa bu durum, dağıtımın kod mantığında kayıtların düşmesine neden olan bir hata olduğunu gösterebilir. Kod mantığını gözden geçirin.

    Sayı

    Tüm yerleşik bağlayıcılar.

    numRecordsInOfSource

    Kaynak operatörü tarafından alınan kayıt sayısı.

    Yukarı akış kaynağından gelen veri girişini izlemek için bu ölçümü kullanın.

    Sayı

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • ApsaraMQ for RocketMQ

    • Simple Log Service

    • DataHub

    • Elasticsearch

    • Hologres

    numRecordsOutOfSink

    Sink operatörü tarafından yayımlanan toplam kayıt sayısı.

    Aşağı akış sink'e giden veri çıkışını izlemek için bu ölçümü kullanın.

    Sayı

    • Kafka

    • Simple Log Service

    • DataHub

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    numRecordsInPerSecond

    Tüm veri akışı boyunca saniyede alınan kayıt sayısı.

    Tüm veri akışının işleme hızını izlemek için bu ölçümü kullanın. Örneğin, genel işleme hızının beklenen düzeyleri karşılayıp karşılamadığını ve farklı giriş yüklerinde performansın nasıl değiştiğini gözlemlemek için numRecordsInPerSecond kullanabilirsiniz.

    kayıt/saniye

    Tüm yerleşik bağlayıcılar.

    numRecordsOutPerSecond

    Tüm veri akışı boyunca saniyede yayımlanan kayıt sayısı.

    Tüm veri akışının çıkış hızını ölçmek için bu ölçümü kullanın.

    Örneğin, genel çıkış hızının beklentilerinizi karşılayıp karşılamadığını ve farklı çıkış yüklerinde performansın nasıl değiştiğini gözlemlemek için numRecordsOutPerSecond kullanabilirsiniz.

    kayıt/saniye

    Tüm bağlayıcılar.

    numRecordsInOfSourcePerSecond (IN RPS)

    Her bir kaynak tarafından saniyede alınan kayıt sayısı.

    Her bir kaynağın kayıt oluşturma oranını ölçmek için bu ölçümü kullanın. Örneğin, birden çok kaynağa sahip bir veri akışında her bir kaynağın alım oranını anlamak ve daha iyi performans için veri akışını ayarlamak üzere bu ölçümü kullanabilirsiniz. Bu ölçüm izleme ve uyarı verme için de kullanışlıdır.

    0 değeri, yukarı akış sisteminin veri üretmeyi durdurduğunu veya tüketimin engellendiğini ve bunun da çıktıyı önlediğini gösterir. Yukarı akış kaynağının hala veri ürettiğini doğrulayın.

    kayıt/saniye

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • ApsaraMQ for RocketMQ

    • Simple Log Service

    • DataHub

    • Elasticsearch

    • Hologres

    numRecordsOutOfSinkPerSecond (OUT RPS)

    Her bir sink tarafından saniyede yayımlanan kayıt sayısı.

    Her bir sink'in çıkış oranını ölçmek için bu ölçümü kullanın. Örneğin, birden çok sink'e sahip bir veri akışında her bir sink'in çıkış hızını anlamak ve daha iyi performans için veri akışını ayarlamak üzere bu ölçümü kullanabilirsiniz.

    Bu ölçüm izleme ve uyarı verme için kullanışlıdır. 0 değeri, dağıtımın kod mantığında tüm veriyi filtreleyen olası bir hata olduğunu gösterir. Kod mantığını gözden geçirin.

    kayıt/saniye

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • Simple Log Service

    • DataHub

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    pendingRecords

    Kaynak operatörünün henüz çekmediği, harici sistemdeki kayıt sayısı.

    Bu ölçüm, kaynak operatörünün henüz çekmediği harici sistemdeki kayıt sayısını gösterir.

    Sayı

    • Kafka

    • Elasticsearch

    sourceIdleTime

    Kaynak operatörünün boşta kaldığı süre.

    Bu ölçüm, kaynağın boşta olup olmadığını gösterir. Yüksek bir değer, harici sistemdeki veri üretim hızının düşük olduğunu gösterir.

    milisaniye (ms)

    • Kafka

    • ApsaraMQ for RocketMQ

    • Postgres Change Data Capture (CDC)

    • Hologres (Binlog Source)

    busyTimePerSecond

    Bir Görevin her saniye meşgul olduğu süre.

    Bir Görev iş parçacığının veri işlemekle meşgul olduğu milisaniye cinsinden süre. Değer 0 ile 1.000 arasında değişir. Daha yüksek bir değer, Görevin daha ağır bir yük altında olduğunu gösterir. Performans darboğazlarını belirlemek, kaynak kullanımını değerlendirmek ve otomatik ayarlama rehberliği sağlamak için bu ölçümü kullanın.

    milisaniye (ms)

    Yok

    Checkpoint'ler


    Ölçüm


    Açıklama


    Ayrıntılar


    Birim


    Checkpoint sayısı


    Toplam checkpoint sayısı.


    Uyarıları yapılandırmanıza yardımcı olmak için checkpoint durumuna genel bir bakış sağlar.


    Sayı


    lastCheckpointDuration


    En son checkpoint'in süresi.


    Uzun bir süre veya zaman aşımı; büyük bir durum boyutu, geçici ağ sorunları, hizalanmamış bariyerler veya backpressure'dan kaynaklanabilir.


    milisaniye (ms)


    lastCheckpointSize


    En son checkpoint'in boyutu.


    Son yüklenen checkpoint'in boyutunu gösterir. Bir darboğaz oluştuğunda performansı analiz etmek için bu ölçümü kullanın.


    Bayt

    Durum

    Not

    Gecikme durumu ölçümleri varsayılan olarak devre dışıdır. Bu ölçümleri kullanmak için ek Flink yapılandırmalarında state.backend.latency-track.keyed-state-enabled: true ayarını yapın. Bu ölçümlerin etkinleştirilmesi dağıtımınızın çalışma zamanı performansını etkileyebilir.

    Ölçüm

    Açıklama

    Kullanım

    Birim

    Desteklenen sürüm

    State Clear Latency

    Tek bir state clear işleminin maksimum gecikme süresi.

    State clear işlemlerinin performansını izlemek için bu ölçümü kullanın.

    nanosaniye (ns)

    Ververica Runtime (VVR) 4.0.0 veya sonraki bir sürümü kullanan Realtime Compute for Apache Flink.

    ValueState Latency

    Tek bir ValueState erişim işleminin maksimum gecikme süresi.

    ValueState erişim performansını izlemek için bu ölçümü kullanın.

    nanosaniye (ns)

    AggregatingState Latency

    Tek bir AggregatingState erişim işleminin maksimum gecikme süresi.

    AggregatingState erişim performansını izlemek için bu ölçümü kullanın.

    nanosaniye (ns)

    ReducingState Latency

    Tek bir ReducingState erişim işleminin maksimum gecikme süresi.

    ReducingState erişim performansını izlemek için bu ölçümü kullanın.

    nanosaniye (ns)

    MapState Latency

    Tek bir MapState erişim işleminin maksimum gecikme süresi.

    MapState erişim performansını izlemek için bu ölçümü kullanın.

    nanosaniye (ns)

    ListState Latency

    Tek bir ListState erişim işleminin maksimum gecikme süresi.

    ListState erişim performansını izlemek için bu ölçümü kullanın.

    nanosaniye (ns)

    SortedMapState Latency

    Tek bir SortedMapState erişim işleminin maksimum gecikme süresi.

    SortedMapState erişim performansını izlemek için bu ölçümü kullanın.

    nanosaniye (ns)

    State Size

    Durum verilerinin boyutu.

    Bu ölçümü aşağıdaki amaçlarla kullanın:

    • Düğümlerdeki mevcut veya potansiyel durum darboğazlarını belirleyin.

    • Yaşam süresi (TTL) yapılandırmasının beklendiği gibi çalıştığını doğrulayın.

    Bayt

    Ververica Runtime (VVR) 4.0.12 veya sonraki bir sürümü kullanan Realtime Compute for Apache Flink.

    State File Size

    Durum veri dosyasının boyutu.

    Bu ölçümü aşağıdaki amaçlarla kullanın:

    • Durum verilerinin tükettiği yerel disk alanını izleyin ve kullanım yüksekse gerekli önlemleri alın.

    • Aşırı büyük durum verilerinin yetersiz yerel disk alanına neden olup olmadığını belirleyin.

    Bayt

    Ververica Runtime (VVR) 4.0.13 veya sonraki bir sürümü kullanan Realtime Compute for Apache Flink.

    G/Ç

    Ölçüm

    Açıklama

    Detaylar

    Birim

    Desteklenen bağlayıcılar

    numBytesIn

    Toplam giriş bayt sayısı.

    Kaynaktan gelen giriş aktarım hızını izlemek ve dağıtım trafiğini takip etmek için bu ölçümü kullanın.

    Bayt

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • ApsaraMQ for RocketMQ

    numBytesInPerSecond

    Saniye başına toplam giriş bayt sayısı.

    Kaynaktan gelen giriş hızını izlemek ve dağıtım trafiğini takip etmek için bu ölçümü kullanın.

    Bayt/s

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • ApsaraMQ for RocketMQ

    numBytesOut

    Toplam çıkış bayt sayısı.

    Sink'e giden çıkış aktarım hızını izlemek ve dağıtım trafiğini takip etmek için bu ölçümü kullanın.

    Bayt

    • Kafka

    • ApsaraMQ for RocketMQ

    • DataHub

    • ApsaraDB for HBase

    numBytesOutPerSecond

    Saniye başına toplam çıkış bayt sayısı.

    Sink'e giden çıkış hızını izlemek ve dağıtım trafiğini takip etmek için bu ölçümü kullanın.

    Bayt/s

    • Kafka

    • ApsaraMQ for RocketMQ

    • DataHub

    • ApsaraDB for HBase

    Task numRecords I/O

    Her alt görev tarafından alınan ve yayılan toplam kayıt sayısı.

    Potansiyel G/Ç darboğazlarını belirlemek için bu ölçümü kullanın.

    Kayıt

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • Simple Log Service

    • DataHub

    • Elasticsearch

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    Task numRecords I/O PerSecond

    Her alt görev tarafından saniyede alınan ve yayılan toplam kayıt sayısı.

    G/Ç darboğazlarını belirlemek ve işleme hızına göre şiddetlerini değerlendirmek için bu ölçümü kullanın.

    Kayıt/s

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • Simple Log Service

    • DataHub

    • Elasticsearch

    • Hologres

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    currentSendTime

    Her alt görevin en son kaydı sink'e göndermek için harcadığı süre.

    Bu ölçüm için yüksek bir değer, alt görev çıktısının çok yavaş olduğunu gösterir.

    Milisaniye (ms)

    • Kafka

    • MaxCompute

    • Incremental MaxCompute

    • ApsaraMQ for RocketMQ

    • Simple Log Service

    • DataHub

    • Hologres

      Not

      JDBC modunda ve RPC modunda desteklenir. BHClient modunda desteklenmez.

    • ApsaraDB for HBase

    • Tablestore

    • ApsaraDB for Redis

    Watermark

    Ölçüm

    Açıklama

    Kullanım

    Birim

    Desteklenen bağlayıcı

    Task InputWatermark

    Her görevin en son watermark'ı aldığı zaman.

    Bir TaskManager'a ulaşan verilerin ilerlemesini izlemek için bu ölçümü kullanın.

    Yok

    Bağlayıcıya özel değildir.

    watermarkLag

    Duvar saati zamanı ile watermark'ın olay zamanı arasındaki fark.

    Alt görev düzeyindeki işleme gecikme süresini belirlemek için bu ölçümü kullanın.

    ms

    • Kafka

    • ApsaraMQ for RocketMQ

    • Simple Log Service

    • DataHub

    • Hologres (binlog kaynağı)

    CPU

    Ölçüm

    Açıklama

    Detaylar

    Birim

    JobManager CPU usage

    Bir JobManager'ın CPU kullanımı.

    Bu ölçüm, Flink tarafından kullanılan CPU zaman dilimlerinin yüzdesini gösterir. %100 değeri bir CPU çekirdeğinin tamamen kullanıldığını, %400 ise dört çekirdeğin tamamen kullanıldığını ifade eder. Bu değer sürekli olarak %100'ü aşarsa JobManager CPU sınırlıdır. Düşük CPU kullanımına rağmen yüksek yük, sık okuma ve yazma işlemleri nedeniyle kesintiye uğramayan uyku durumunda bulunan aşırı sayıda işlem olduğunu gösterebilir.

    Not

    Bu ölçüm yalnızca VVR 6.0.6 ve sonraki sürümleri kullanan Realtime Compute for Apache Flink için kullanılabilir.

    Yok

    TaskManager CPU usage

    Bir TaskManager'ın CPU kullanımı.

    Bu ölçüm, Flink tarafından kullanılan CPU zaman dilimlerinin yüzdesini gösterir. %100 değeri bir CPU çekirdeğinin tamamen kullanıldığını, %400 ise dört çekirdeğin tamamen kullanıldığını ifade eder. Bu değer sürekli olarak %100'ü aşarsa TaskManager CPU sınırlıdır. Düşük CPU kullanımına rağmen yüksek yük, sık okuma ve yazma işlemleri nedeniyle kesintiye uğramayan uyku durumunda bulunan aşırı sayıda işlem olduğunu gösterebilir.

    Yok

    Bellek


    Ölçüm


    Açıklama


    Detaylar


    Birim


    JM heap memory


    JobManager'ın yığın belleği.


    JobManager yığın belleğindeki değişiklikleri izler.


    Bayt


    JM non-heap memory


    JobManager'ın yığın dışı belleği.


    JobManager yığın dışı belleğindeki değişiklikleri izler.


    Bayt


    TM heap memory


    TaskManager'ın yığın belleği.


    TaskManager yığın belleğindeki değişiklikleri izler.


    Bayt


    TM non-heap memory


    TaskManager'ın yığın dışı belleği.


    TaskManager yığın dışı belleğindeki değişiklikleri izler.


    Bayt


    TM Mem (RSS)


    İşletim sistemi tarafından bildirilen TaskManager işleminin Yerleşik Küme Boyutu (RSS).


    TaskManager işleminin toplam fiziksel bellek kullanımını izler.


    Bayt

    JVM


    Ölçüm


    Açıklama


    Detaylar


    Birim


    JM Threads


    JobManager iş parçacığı sayısı.


    Aşırı fazla JobManager iş parçacığı, iş kararlılığını azaltarak çok fazla bellek tüketebilir.


    Sayı


    TM Threads


    TaskManager iş parçacığı sayısı.


    Aşırı fazla TaskManager iş parçacığı, iş kararlılığını azaltarak çok fazla bellek tüketebilir.


    Sayı


    JM GC Count


    JobManager için çöp toplama (GC) olaylarının sayısı.


    Sık çöp toplama olayları, çok fazla bellek tüketerek iş performansını düşürebilir. İş düzeyindeki hataları teşhis etmek için bu ölçümü kullanın.


    Sayı


    JM GC Time


    JobManager için her çöp toplama olayının süresi.


    Uzun çöp toplama duraklamaları, çok fazla bellek tüketerek iş performansını düşürebilir. İş düzeyindeki hataları teşhis etmek için bu ölçümü kullanın.


    Milisaniye (ms)


    TM GC Count


    TaskManager için çöp toplama olaylarının sayısı.


    Sık çöp toplama olayları, çok fazla bellek tüketerek iş performansını düşürebilir. Görev düzeyindeki hataları teşhis etmek için bu ölçümü kullanın.


    Sayı


    TM GC Time


    TaskManager için her çöp toplama olayının süresi.


    Uzun çöp toplama duraklamaları, çok fazla bellek tüketerek iş performansını düşürebilir. Görev düzeyindeki hataları teşhis etmek için bu ölçümü kullanın.


    Milisaniye (ms)


    JM ClassLoader


    JobManager'ın JVM'si tarafından başlatmadan bu yana yüklenen veya kaldırılan toplam sınıf sayısı.


    JobManager'ın JVM'sinde yüksek miktarda sınıf yükleme ve kaldırma işlemi, çok fazla bellek tüketerek iş performansını düşürebilir.


    Yok


    TM ClassLoader


    TaskManager'ın JVM'si tarafından başlatmadan bu yana yüklenen veya kaldırılan toplam sınıf sayısı.


    TaskManager'ın JVM'sinde yüksek miktarda sınıf yükleme ve kaldırma işlemi, çok fazla bellek tüketerek iş performansını düşürebilir.


    Yok

    MySQL bağlayıcısı

    Ölçüm

    Açıklama

    Birim

    Senaryo

    Desteklenen sürüm

    isSnapshotting

    İşin anlık görüntü aşamasında olup olmadığını gösterir (değer = 1).

    Yok

    İşin anlık görüntü aşamasında olup olmadığını kontrol edin.

    Realtime Compute for Apache Flink 8.0.9 ve sonraki sürümler.

    isBinlogReading

    İşin artımlı aşamada olup olmadığını gösterir (değer = 1).

    Yok

    İşin artımlı aşamada olup olmadığını kontrol edin.

    Number of remaining tables

    Anlık görüntü aşamasında işlenmeyi bekleyen tablo sayısı.

    Sayı

    İşlenmemiş tablo sayısını kontrol edin.

    Number of snapshotted tables

    Anlık görüntü aşamasında işlenen tablo sayısı.

    Sayı

    İşlenen tablo sayısını kontrol edin.

    Number of remaining SnapshotSplits

    Anlık görüntü aşamasında işlenmeyi bekleyen bölüm sayısı.

    Sayı

    İşlenmemiş bölüm sayısını kontrol edin.

    Number of processed SnapshotSplits

    Anlık görüntü aşamasında işlenen bölüm sayısı.

    Sayı

    İşlenen bölüm sayısını kontrol edin.

    currentFetchEventTimeLag

    Bir olayın veritabanında oluşturulması ile bağlayıcı tarafından okunması arasındaki gecikme süresi.

    ms

    Veritabanından binlog okuma gecikmesini kontrol edin.

    currentReadTimestampMs

    Okunan en son veri kaydının zaman damgası.

    ms

    En son okunan veri kaydının zaman damgasını kontrol edin.

    numRecordsIn

    Okunan toplam veri kaydı sayısı.

    Sayı

    Okunan toplam veri kaydı sayısını kontrol edin.

    numSnapshotRecords

    Anlık görüntü aşamasında işlenen veri kaydı sayısı.

    Sayı

    Anlık görüntü aşamasında işlenen veri kaydı sayısını kontrol edin.

    numRecordsInPerTable

    Her tablodan okunan veri kaydı sayısı.

    Sayı

    Her tablodan okunan veri kaydı sayısını kontrol edin.

    numSnapshotRecordsPerTable

    Anlık görüntü aşamasında her tablo için işlenen veri kaydı sayısı.

    Sayı

    Anlık görüntü aşamasında her tablo için işlenen veri kaydı sayısını kontrol edin.

    Bağlayıcı - Kafka

    Ölçüm

    Açıklama

    Birim

    Senaryo

    Desteklenen sürüm

    commitsSucceeded

    Başarılı ofset commit işlemlerinin toplam sayısı.

    Sayı

    Ofset commit işlemlerinin başarılı olduğunu doğrular.

    Realtime Compute for Apache Flink VVR 8.0.9 veya sonraki bir sürüm.

    commitsFailed

    Başarısız ofset commit işlemlerinin toplam sayısı.

    Sayı

    Ofset commit işlemlerindeki sorunları belirler.

    Fetch Rate

    Saniye başına ortalama getirme isteği sayısı.

    Sayı/s

    Veri getirme hızını izlemek ve potansiyel gecikme sorunlarını belirlemek için kullanın.

    Fetch Latency Avg

    Getirme işlemlerinin ortalama gecikme süresi.

    Milisaniye

    Yüksek bir değer, ağ darboğazını veya yavaş bir Kafka broker'ını gösterebilir.

    Fetch Size Avg

    Getirme isteği başına ortalama bayt sayısı.

    Bayt

    Veri getirme aktarım hızını ve verimliliğini analiz etmek için kullanın.

    Avg Records In Per-Request

    Getirme isteği başına ortalama kayıt sayısı.

    Sayı

    Getirme isteklerindeki kayıt gruplama verimliliğini analiz etmek için kullanın.

    currentSendTime

    Bağlayıcı tarafından işlenen son kaydın olay zamanı zaman damgası.

    Yok

    Tüketim ilerlemesini izlemek için kullanın.

    batchSizeAvg

    Grup başına ortalama bayt sayısı.

    Bayt

    Veri yazma gecikme süresini ve aktarım hızını analiz etmek için kullanın.

    requestLatencyAvg

    Veri yazma isteklerinin ortalama gecikme süresi.

    Milisaniye

    Veri yazma performansını değerlendirmek için kullanın.

    requestsInFlight

    Şu anda devam eden veri yazma isteği sayısı.

    Yok

    Yüksek bir değer, sink sisteminde bir darboğaz olduğunu gösterebilir.

    recordsPerRequestAvg

    Her veri yazma isteğindeki ortalama kayıt sayısı.

    Sayı

    Gruplama verimliliğini ve veri yazma aktarım hızını değerlendirmek için kullanın.

    recordSizeAvg

    Ortalama kayıt boyutu (bayt cinsinden).

    Bayt

    Veri yazma aktarım hızını ve verimliliğini analiz etmek için kullanın.

    Paimon bağlayıcısı

    Ölçüm

    Açıklama

    Birim

    Senaryo

    Desteklenen sürüm

    Number of Writers

    Aktif writer instance sayısı.

    Sayı

    Yüksek sayıda writer, yazma performansını düşürebilir ve bellek tüketimini artırabilir. Bu değer yüksekse bucket sayınızın ve partition key ayarlarınızın uygun olup olmadığını kontrol edin.

    Realtime Compute for Apache Flink VVR 8.0.9 veya sonraki bir sürüm.

    Max Compaction Thread Busy

    compaction iş parçacıklarının maksimum meşguliyet oranı.

    Oran

    Bu ölçüm compaction baskısını yansıtır. %100'e yakın bir değer, compaction işleminin bir darboğaz olduğunu ve veri yazmayı yavaşlatabileceğini gösterir.

    Average Compaction Thread Busy

    compaction iş parçacıklarının ortalama meşguliyet oranı.

    Oran

    Bu ölçüm, tüm paketlerdeki ortalama compaction baskısını yansıtır. Yüksek bir değer, genel compaction performansının yavaş olduğunu gösterir.

    Max Number of Level 0 Files

    Seviye 0 dosyalarının maksimum sayısı.

    Sayı

    Bir primary key table için, yüksek sayıda seviye 0 dosyası (küçük dosya), compaction işleminin yazma hızına yetişemediğini gösterir.

    Average Number of Level 0 Files

    Seviye 0 dosyalarının ortalama sayısı.

    Sayı

    Bir primary key table için, yüksek sayıda seviye 0 dosyası (küçük dosya), genel compaction işleminin yazma hızına yetişemediğini gösterir.

    Last Commit Duration

    Son commit işleminin süresi.

    Milisaniye

    Süre aşırı uzunsa, verilerin aynı anda çok fazla bucket'a yazılıp yazılmadığını kontrol edin.

    Number of Partitions Last Committed

    Son commit işleminde yazılan partition sayısı.

    Sayı

    Tek bir commit işlemindeki yüksek bölüm sayısı, yazma performansını düşürebilir ve bellek tüketimini artırabilir. bucket sayınızın veya partition key ayarlarınızın uygun olup olmadığını kontrol edin.

    Number of Buckets Last Committed

    Son commit işleminde yazılan bucket sayısı.

    Sayı

    Tek bir commit işlemindeki yüksek paket sayısı, yazma performansını düşürebilir ve bellek tüketimini artırabilir. bucket sayınızın veya partition key ayarlarınızın uygun olup olmadığını kontrol edin.

    Used Write Buffer

    Kullanımdaki yazma arabelleği belleği miktarı.

    Bayt

    Bu arabellek, tüm TaskManagerlarda Java heap memory tüketir. Sürekli yüksek bir değer, Bellek Yetersizliği (OOM) hatasına yol açabilir.

    Total Write Buffer

    Toplam ayrılan yazma arabelleği belleği.

    Bayt

    Bu arabellek, tüm TaskManagerlarda Java heap memory tüketir. Bu değeri çok yüksek ayarlamak, kullanılabilir belleği tüketerek Bellek Yetersizliği (OOM) hatasına yol açabilir.

    Veri alımı

    Ölçüm

    Açıklama

    Birim

    Senaryo

    Desteklenen sürüm

    isSnapshotting

    İşin anlık görüntü aşamasında olup olmadığını gösterir. Değer 1 ise iş bu aşamadadır.

    Yok

    İşin mevcut işleme aşamasını belirler.

    Realtime Compute for Apache Flink VVR 8.0.9 veya sonraki bir sürüm.

    isBinlogReading

    İşin artımlı aşamada olup olmadığını gösterir. Değer 1 ise iş bu aşamadadır.

    Yok

    İşin mevcut işleme aşamasını belirler.

    Number of remaining tables

    Anlık görüntü aşamasında işlenmeyi bekleyen tablo sayısı.

    Tablo

    Anlık görüntü işleme için tablo kuyruğunu izler.

    Number of snapshotted tables

    Anlık görüntü aşamasında işlenen tablo sayısı.

    Tablo

    Tamamlanan tablo anlık görüntülerinin sayısını izler.

    Number of remaining SnapshotSplits

    Anlık görüntü aşamasında işlenmeyi bekleyen bölüm sayısı.

    Bölüm

    Anlık görüntü işleme için veri bölümü kuyruğunu izler.

    Number of processed SnapshotSplits

    Anlık görüntü aşamasında işlenen bölüm sayısı.

    Bölüm

    Anlık görüntü aşamasından tamamlanan veri bölümlerinin sayısını izler.

    currentFetchEventTimeLag

    Bir olayın veritabanında oluşturulması ile bağlayıcı tarafından okunması arasındaki gecikme süresi.

    ms

    Veritabanının ikili günlüğünden veri alımı gecikmesini ölçer.

    currentReadTimestampMs

    En son okunan veri kaydının zaman damgası.

    ms

    En son alınan kaydın zaman noktasını belirler.

    numRecordsIn

    Okunan toplam veri kaydı sayısı.

    Kayıt

    Kaynak tarafından okunan toplam veri kaydı sayısını izler.

    numRecordsInPerTable

    Her tablodan okunan veri kaydı sayısı.

    Kayıt

    Her tablodan okunan toplam veri kaydı sayısını izler.

    numSnapshotRecords

    Anlık görüntü aşamasında işlenen veri kaydı sayısı.

    Kayıt

    Anlık görüntü aşamasında işlenen toplam kayıtları izler.

    numSnapshotRecordsPerTable

    Anlık görüntü aşamasında her tablo için işlenen veri kaydı sayısı.

    Kayıt

    Anlık görüntü aşamasında tablo başına işlenen kayıt sayısını izler.