Tüm Ürünler
Search
Belge Merkezi

Simple Log Service:Veri dönüştürme işlerini izleme

Son Güncelleme:Sep 30, 2026

Veri dönüştürme işleri, iş sağlığını ve performansı takip etmenize yardımcı olmak amacıyla çalışma ölçümleri, yerleşik bir pano ve yapılandırılabilir izleme uyarıları sunar.

Ölçüm verileri

Data Transformation (New Version) işlerinin çalışma ölçümlerini toplamak için SLS Job Operational Logs özelliğini etkinleştirin. Daha fazla bilgi için bkz. Hizmet günlüklerini yönetme.

Pano

Simple Log Service, her veri dönüştürme işinin ayrıntılar sayfasında otomatik olarak bir pano oluşturur ve işin çalışma ölçümlerini görüntüler.

Yordam

  1. Simple Log Service konsolu üzerinde oturum açın.

  2. Projects bölümünde, kullanmak istediğiniz projeyi tıklayın.

    image

  3. Sol gezinme bölmesinde Job Management > Data Transformation seçeneğini belirleyin.

  4. Hedef veri dönüştürme işini tıklayın ve Execution Status bölümündeki panoyu görüntüleyin.

Genel ölçümler

Pano aşağıdaki temel ölçümleri içerir:

image.png

  • İşleme Hızı: Saniye başına işlenen olay sayısı. Varsayılan olarak 1 saatlik bir süre içindeki 1 dakikalık pencere baz alınarak hesaplanır.

    • ingest: Kaynak logstore'daki tüm parçalardan okunan olay sayısı.

    • deliver: Hedef logstore'a başarıyla yazılan olay sayısı.

    • failed: Kaynak logstore'dan okunan ancak dönüştürme sırasında başarısız olan olay sayısı.

  • Toplam Okunan Olaylar: Kaynak logstore'daki tüm parçalardan okunan toplam olay sayısı. Varsayılan istatistiksel dönem bir gündür.

  • Toplam Teslim Edilen Olaylar: Tüm hedef logstore'lara başarıyla yazılan toplam olay sayısı. Varsayılan istatistiksel dönem bir gündür.

  • Toplam Başarısız Olaylar: Kaynak logstore'dan okunan ancak dönüştürme sırasında başarısız olan toplam olay sayısı. Varsayılan istatistiksel dönem bir gündür.

  • Olay Teslim Oranı: Hedef logstore'a başarıyla teslim edilen olayların, kaynak logstore'dan okunan toplam olaylara oranı. Varsayılan istatistiksel dönem bir gündür.

Parça ayrıntıları

Parça düzeyindeki ölçümler, iş kaynak Logstore'dan veri okurken bir dakikalık aralıklarla toplanır.

image.png

  • Parça Tüketim Gecikmesi (sn): En son olayın alım zamanı ile şu anda işlenen olayın alım zamanı arasındaki saniye cinsinden farktır. Bu değer, parça başına işleme gecikmesini gösterir.

  • Aktif Parça İstatistikleri: Varsayılan istatistiksel dönem bir saattir.

    • shard: Parçanın kimliği.

    • ingest: Parçadan okunan ham olay sayısı.

    • failed: Parçadan okunan ancak dönüştürme sırasında başarısız olan ham olay sayısı.

Çalışma zamanı özel durumları

Hata ayrıntıları message alanında bulunur.

Örneğin, hata ayrıntıları sayfasındaki günlük tablosu time, level, action ve message olmak üzere dört sütun içerir. level değeri ERROR ve action değeri deliver olduğunda, message alanı {"Code":"InvalidArgs","Message":"failed to get sts token: ...The role not exists: acs:ram::*:role/test-role."} gibi bir hata gösterebilir. Bu mesaj, belirtilen RAM rolünün mevcut olmadığından sistemin bir STS belirteci alamadığını belirtir.

Uyarı kuralları

İşleme gecikmesini, özel durumları ve trafik değişikliklerini izlemek için Ölçüm verileri baz alınarak uyarı kuralları oluşturun. Genel uyarı kavramları hakkında bilgi için bkz. Uyarılar. Adım adım talimatlar için bkz. Günlük tabanlı uyarı kuralı oluşturma.

Önemli

Bir veri dönüştürme işi için uyarı kuralı oluştururken sorgunun, işin çalışma günlüklerinin depolandığı proje ve logstore'u hedeflediğinden emin olun. Daha fazla bilgi için bkz. Hizmet günlüklerini yönetme.

Query and Analyze iletişim kutusunda Advanced Settings sekmesine tıklayın. Type öğesini Logstore, Authorization Method öğesini ise Default olarak ayarlayın. Hedef Region öğesini seçin ve project ile logstore adlarını girin. Gerektiğinde dedicated SQL (Auto, Enable veya Disable seçeneklerinden birini seçebilirsiniz) ve time range ayarlarını yapılandırın. Ardından Confirm düğmesine tıklayın.

İşleme gecikmesini izleme

Öğe

Açıklama

Amaç

Bir veri dönüştürme işindeki parça tüketim gecikmesini izler. İşleme gecikmesi belirtilen eşiği aşarsa uyarı tetiklenir.

İlişkili pano ölçümü

Bkz. Shard Consumption Latency (s).

Örnek analiz sorgusu

Aşağıdaki sorguda yer alan {job_name} ifadesini kendi veri dönüştürme işinizin adıyla değiştirin.

__topic__: etl_metrics and 
    job_name: {job_name} and
    "_etl_:connector_meta.action": ingest
    | select
      split_part(
        "_etl_:connector_meta.task_name",
        '#',
        2
      ) as shard,
      max_by("_etl_:connector_metrics.lags", __time__) as lags
    group by
      shard
    having
      shard is not null
    limit
      all

Uyarı kuralı ayarları

  • Trigger Condition öğesini Data Matches Expression olarak ayarlayın. Değerlendirme ifadesini lags > 120 olarak belirleyin. Bu ayar, gecikme eşiğini 120 saniye olarak yapılandırır.

  • time range değerini 5 dakika olarak ayarlayın.

  • Check Frequency değerini 5 dakika olarak ayarlayın.

Not

Periyodik ölçüm güncellemelerinden (her 1 dakikada bir) veya ani veri artışlarından kaynaklanan gecikmeler nedeniyle oluşabilecek hatalı uyarıları önlemek için bu ayarların kullanılmasını öneririz.

Uyarıları çözme yöntemi

Bu uyarıları çözmek için:

  1. İş yakın zamanda oluşturulduysa ve geçmiş verileri işliyorsa yığılmış verilerin işlenmesi zaman alabilir. Gecikmeyi bir saat boyunca izleyin. Gecikme uyarı eşiğinin altına düşmezse sonraki adıma geçin.

  2. Kaynak logstore'daki veri hacmi önemli ölçüde artarsa:

    • Processing Rate (events/s) artarken Shard Consumption Latency (s) azalıyorsa, bu durum veri dönüştürme işinin kaynak Logstore'daki veri artışına bağlı olarak kaynaklarını otomatik olarak ölçeklendirdiğini gösterir. Gecikmenin normal aralığa dönüp dönmediğini görmek için 5 dakika boyunca izleyin. Durum düzelmezse sonraki adıma geçin.

    • Processing rate (events/s) artmıyorsa veya Shard consumption latency (s) yükselmeye devam ediyorsa, kaynak Logstore'daki parça sayısı yetersiz olabilir ve bu durum veri dönüştürme kaynaklarının ölçeklendirilmesini sınırlar. Kaynak Logstore'un parçalarını manuel olarak bölmeniz gerekir. Ayrıntılı adımlar için bkz. Parçaları Yönetme. Bölme işlemi tamamlandıktan sonra gecikmenin uyarı aralığına girip girmediğini kontrol etmek için 5 dakika gözlemleyin. Durum düzelmezse sonraki adıma geçin.

  3. İşleme özel durumları için aktif bir uyarınız varsa önce bu uyarıyı çözün. Sorunu giderdikten sonra gecikmenin uyarı eşiğinin altına düşüp düşmediğini görmek için 5 dakika gözlemleyin.

İşleme özel durumlarını izleme

Öğe

Açıklama

Amaç

Bir veri dönüştürme işi sırasında özel durum oluştuğunda uyarı tetikler.

İlişkili pano ölçümü

Bkz. Çalışma zamanı özel durumları.

Örnek analiz sorgusu

Aşağıdaki sorguda yer alan {job_name} ifadesini kendi veri dönüştürme işinizin adıyla değiştirin.

__topic__: etl_metrics and 
    job_name: {job_name} and 
    "_etl_:connector_metrics.error": *
    | select
      distinct "_etl_:connector_metrics.error" as errors

Uyarı kuralı ayarları

  • Trigger Condition öğesini Data Is Returned olarak ayarlayın.

  • time range değerini 10 dakika olarak ayarlayın.

  • Check Frequency değerini 10 dakika olarak ayarlayın.

Uyarıları çözme yöntemi

Hata mesajına göre sorun giderme adımlarını uygulayın:

  • Hata mesajı Invalid SPL query ifadesini içeriyorsa işin SPL sorgusunda sözdizimi hatası vardır. Sorguyu hata mesajındaki ayrıntılara göre düzeltin. Daha fazla bilgi için bkz. SPL sözdizimi.

  • Hata mesajı Unauthorized, InvalidAccessKeyId veya SignatureNotMatch ifadelerini içeriyorsa işin kaynak logstore'dan veri okuma veya hedef logstore'a veri yazma için gerekli izinleri yoktur. Daha fazla bilgi için bkz. Yetkilendirme.

  • Hata mesajı ProjectNotExist veya LogStoreNotExist ifadelerini içeriyorsa belirtilen proje veya logstore mevcut değildir. Simple Log Service konsolu üzerinde oturum açarak sorunu kontrol edin ve giderin.

Yazılan veri hacmi oranını izleme (dönemsel karşılaştırma)

Öğe

Açıklama

Amaç

Veri teslim oranındaki (yazılan hacim/okunan hacim) dönemsel değişimlere dayalı uyarı tetikler. Kural, mevcut oranı önceki gün ve haftadaki aynı dönemle karşılaştırır ve değişim yapılandırdığınız artış veya azalma eşiklerini aşarsa uyarı verir.

İlişkili pano ölçümü

Olay Teslim Oranı: Hedef logstore'a başarıyla teslim edilen olayların, kaynak logstore'dan okunan toplam olaylara oranı. Varsayılan istatistiksel dönem bir gündür.

Örnek analiz sorgusu

Uyarı kuralını oluştururken Query and Analyze iletişim kutusuna aşağıdaki sorguyu girin.

Aşağıdaki sorguda yer alan {job_name} ifadesini kendi veri dönüştürme işinizin adıyla değiştirin.

__topic__: etl_metrics and 
    job_name: {job_name}
    | select
      round(diff [1], 1) as percent,
      round(coalesce(diff [4], 0), 1) as ratio_1d,
      round(coalesce(diff [5], 0), 1) as ratio_1w
    from(
        select
          compare(percent, 86400, 604800) as diff
        FROM      (
            select
              deliver /(ingest + 0.0001) as percent
            from(
                select
                  sum(
                    if(
                      "_etl_:connector_meta.action" = 'ingest',
                      "_etl_:connector_metrics.native_bytes",
                      0
                    )
                  ) as ingest,
                  sum(
                    if(
                      "_etl_:connector_meta.action" = 'deliver',
                      "_etl_:connector_metrics.native_bytes",
                      0
                    )
                  ) as deliver
                FROM              log
              )
          )
      )

Uyarı kuralı ayarları

  • Trigger Condition öğesini Data Matches Expression olarak ayarlayın. Değerlendirme ifadesini (ratio_1d > 1.2 || ratio_1d < 0.8) && (ratio_1w > 1.2 || ratio_1w < 0.8) olarak belirleyin. Bu ayar, günlük ve haftalık artış/azalma eşiğini %20 olarak yapılandırır.

  • time range değerini 1 saat olarak ayarlayın.

  • Check Frequency değerini 1 saat olarak ayarlayın.

Not

Ham veri trafiğindeki periyodik dalgalanmalardan kaynaklanan hatalı uyarıları önlemek için günlük ve haftalık artış/azalma eşiklerini en az %20 olarak ayarlamanızı veya karşılaştırma dönemini ham veri trafiğinizin döngüsüne uyacak şekilde ayarlamanızı öneririz.

Uyarıları çözme yöntemi

Bu uyarıları çözmek için:

  1. Kaynak logstore'daki veri hacmi değiştiyse yeni veri kalıplarının alınıp alınmadığını veya mevcut veri akışlarında kesinti olup olmadığını kontrol edin. Durum buysa ve sonuçtaki veri değişikliği ölçümle uyumluysa uyarı kaynak veri kalıbındaki değişiklikten kaynaklanmaktadır. Aksi takdirde sonraki adıma geçin.

  2. İşleme gecikmesi veya özel durumları için aktif uyarılarınız varsa önce bunları çözün.

Kaynak olay sayısını izleme (dönemsel karşılaştırma)

Öğe

Açıklama

Amaç

Veri dönüştürme işi tarafından okunan olay sayısı önceki gün ve haftaya kıyasla önemli ölçüde değişirse uyarı tetikler. Olay sayısı bir artış eşiğini aşarsa veya bir azalma eşiğinin altına düşerse kural devreye girer.

İlişkili pano ölçümü

Toplam Okunan Olaylar: Kaynak logstore'daki tüm parçalardan okunan toplam olay sayısı. Varsayılan istatistiksel dönem bir gündür.

Örnek analiz sorgusu

Uyarı kuralını oluştururken Query and Analyze iletişim kutusuna aşağıdaki sorguyu girin.

Aşağıdaki sorguda yer alan {job_name} ifadesini kendi veri dönüştürme işinizin adıyla değiştirin.

__topic__: etl_metrics and 
    job_name: {job_name} and
    "_etl_:connector_meta.action": ingest
    | select
      diff [1] as events,
      round(coalesce(diff [4], 0),  1) as ratio_1d,
      round(coalesce(diff [5], 0),  1) as ratio_1w
    from(
        select
          compare(events, 86400, 604800) as diff
        FROM      (
            select
              sum("_etl_:connector_metrics.events") as events
            FROM          log
          )
      )

Uyarı kuralı ayarları

  • Trigger Condition öğesini Data Matches Expression olarak ayarlayın. Değerlendirme ifadesini (ratio_1d > 1.2 || ratio_1d < 0.8) && (ratio_1w > 1.2 || ratio_1w < 0.8) olarak belirleyin. Bu ayar, günlük ve haftalık artış/azalma eşiğini %20 olarak yapılandırır.

  • time range değerini 1 saat olarak ayarlayın.

  • Check Frequency değerini 1 saat olarak ayarlayın.

Not

Ham veri trafiğindeki periyodik dalgalanmalardan kaynaklanan hatalı uyarıları önlemek için günlük ve haftalık artış/azalma eşiklerini en az %20 olarak ayarlamanızı veya karşılaştırma dönemini ham veri trafiğinizin döngüsüne uyacak şekilde ayarlamanızı öneririz.

Uyarıları çözme yöntemi

Bu uyarıları çözmek için:

  1. Bu ölçümün eğilimi kaynak logstore'un olay sayısındaki artış veya azalışla eşleşiyorsa değişiklik kaynak veri hacminden kaynaklanmaktadır. Aksi takdirde sonraki adıma geçin.

  2. İşleme gecikmesi veya özel durumları için aktif uyarılarınız varsa önce bunları çözün.

Teslim edilen olay sayısını izleme (dönemsel karşılaştırma)

Öğe

Açıklama

Amaç

Veri dönüştürme işi tarafından yazılan olay sayısı önceki gün ve haftaya kıyasla önemli ölçüde değişirse uyarı tetikler. Olay sayısı bir artış eşiğini aşarsa veya bir azalma eşiğinin altına düşerse kural devreye girer.

İlişkili pano ölçümü

Toplam Teslim Edilen Olaylar

Örnek analiz sorgusu

Uyarı kuralını oluştururken Query and Analyze iletişim kutusuna aşağıdaki sorguyu girin.

Aşağıdaki sorguda yer alan {job_name} ifadesini kendi veri dönüştürme işinizin adıyla değiştirin.

__topic__: etl_metrics and 
    job_name: {job_name} and
    "_etl_:connector_meta.action": deliver
    | select
      diff [1] as events,
      round(coalesce(diff [4], 0),  1) as ratio_1d,
      round(coalesce(diff [5], 0),  1) as ratio_1w
    from(
        select
          compare(events, 86400, 604800) as diff
        FROM      (
            select
              sum("_etl_:connector_metrics.events") as events
            FROM          log
          )
      )

Uyarı kuralı ayarları

  • Trigger Condition öğesini Data Matches Expression olarak ayarlayın. Değerlendirme ifadesini (ratio_1d > 1.2 || ratio_1d < 0.8) && (ratio_1w > 1.2 || ratio_1w < 0.8) olarak belirleyin. Bu ayar, günlük ve haftalık artış/azalma eşiğini %20 olarak yapılandırır.

  • time range değerini 1 saat olarak ayarlayın.

  • Check Frequency değerini 1 saat olarak ayarlayın.

Not

Ham veri trafiğindeki periyodik dalgalanmalardan kaynaklanan hatalı uyarıları önlemek için günlük ve haftalık artış/azalma eşiklerini en az %20 olarak ayarlamanızı veya karşılaştırma dönemini ham veri trafiğinizin döngüsüne uyacak şekilde ayarlamanızı öneririz.

Uyarıları çözme yöntemi

Bu uyarıları çözmek için:

  1. Bu ölçümün eğilimi kaynak logstore'un veri hacmindeki artış veya azalışla eşleşiyorsa değişiklik kaynak veri hacminden kaynaklanmaktadır. Aksi takdirde sonraki adıma geçin.

  2. İşleme gecikmesi veya özel durumları için aktif uyarılarınız varsa önce bunları çözün.