Simple Log Service：Amati dan pantau tugas transformasi data (versi baru)

Item

Deskripsi

Tujuan

Memantau latensi konsumsi shard dari tugas transformasi data. Peringatan dipicu jika latensi pemrosesan melebihi ambang batas yang ditentukan.

Dasbor terkait

Untuk informasi selengkapnya, lihat Latensi konsumsi shard.

Contoh SQL analisis

Dalam templat berikut, ganti {job_name} dengan nama tugas transformasi data (versi baru) yang ingin Anda pantau.

__topic__: etl_metrics and 
job_name: {job_name} and
"_etl_:connector_meta.action": ingest
| select
  split_part(
    "_etl_:connector_meta.task_name",
    '#',
    2
  ) as shard,
  max_by("_etl_:connector_metrics.lags", __time__) as lags
group by
  shard
having
  shard is not null
limit
  all

Aturan pemantauan

• Tetapkan Trigger Condition ke Data Match. Ekspresi evaluasi: lags>120. Ambang batas pemantauan latensi adalah 120 detik.

• Interval Kueri: 5 menit.

• Frekuensi Pemeriksaan: 5 menit.

Resolusi

Ikuti langkah-langkah berikut untuk menyelesaikan masalah:

1. Jika tugas transformasi data sedang memproses data historis dan baru saja dibuat, tugas tersebut memerlukan waktu untuk memproses data. Tunggu selama 1 jam dan periksa apakah latensi berada dalam ambang batas peringatan. Jika tidak, lanjutkan ke langkah berikutnya.

2. Jika volume data di penyimpanan log sumber meningkat secara signifikan:

   • Jika Processing Rate (events/s) meningkat dan Shard Consumption Latency (s) menurun, tugas transformasi data secara otomatis memperluas kapasitas sumber daya untuk menangani peningkatan volume data. Tunggu selama 5 menit dan periksa apakah latensi berada dalam ambang batas peringatan. Jika tidak, lanjutkan ke langkah berikutnya.

   • Jika Processing Rate (events/s) tidak meningkat atau Shard Consumption Latency (s) terus meningkat, jumlah shard di penyimpanan log sumber mungkin tidak mencukupi. Hal ini membatasi kemampuan tugas transformasi data untuk memperluas kapasitas sumber daya. Anda harus membagi shard penyimpanan log sumber secara manual. Untuk informasi selengkapnya, lihat Kelola shard. Setelah membagi shard, tunggu selama 5 menit dan periksa apakah latensi berada dalam ambang batas peringatan. Jika tidak, lanjutkan ke langkah berikutnya.

3. Jika peringatan kesalahan pemrosesan aktif, selesaikan terlebih dahulu. Setelah kesalahan terselesaikan, tunggu selama 5 menit dan periksa apakah latensi berada dalam ambang batas peringatan.

Item

Deskripsi

Tujuan

Memantau kesalahan pemrosesan dalam tugas transformasi data. Peringatan dipicu ketika terjadi kesalahan pemrosesan.

Dasbor terkait

Untuk informasi selengkapnya, lihat Eksespsi waktu proses.

Contoh SQL analisis

Dalam templat berikut, ganti {job_name} dengan nama tugas transformasi data (versi baru) yang ingin Anda pantau.

__topic__: etl_metrics and 
job_name: {job_name} and 
"_etl_:connector_metrics.error": *
| select
  distinct "_etl_:connector_metrics.error" as errors

Aturan pemantauan

• Tetapkan Trigger Condition ke Data Exists.

• Interval Kueri: 10 menit

• Frekuensi Pemeriksaan: 10 menit.

Resolusi

Selesaikan masalah berdasarkan pesan kesalahan:

• Jika pesan kesalahan berisi "Invalid SPL query", aturan SPL yang dikonfigurasi untuk tugas transformasi data memiliki kesalahan sintaks. Perbaiki aturan berdasarkan pesan kesalahan tersebut. Untuk informasi selengkapnya, lihat Sintaks SPL.

• Jika pesan kesalahan berisi "Unauthorized", "InvalidAccessKeyId", atau "SignatureNotMatch", tugas transformasi data tidak memiliki izin yang cukup untuk membaca data dari penyimpanan log sumber atau menulis data ke penyimpanan log tujuan. Untuk informasi selengkapnya, lihat Otorisasi.

• Jika pesan kesalahan berisi "ProjectNotExist" atau "LogStoreNotExist", proyek atau Logstore yang terlibat dalam tugas transformasi data tidak ada. Masuk ke Konsol Simple Log Service untuk memeriksa dan menyelesaikan masalah.

Item

Deskripsi

Tujuan

Memantau rasio data hasil pemrosesan yang ditulis ke penyimpanan log tujuan terhadap data mentah yang dibaca dari penyimpanan log sumber. Peringatan dipicu jika rasio meningkat atau menurun melebihi ambang batas harian atau mingguan yang ditentukan.

Dasbor terkait

Rasio keberhasilan penulisan: Rasio antara jumlah entri data yang berhasil dikirim ke penyimpanan log tujuan terhadap jumlah entri data yang dibaca dari penyimpanan log sumber. Periode statistik default adalah 1 hari.

Contoh Analisis SQL

Masukkan pernyataan SQL berikut di kotak dialog Query and Statistics saat membuat aturan peringatan.

Dalam templat berikut, ganti {job_name} dengan nama tugas transformasi data (versi baru) yang ingin Anda pantau.

__topic__: etl_metrics and 
job_name: {job_name}
| select
  round(diff [1], 1) as percent,
  round(coalesce(diff [4], 0), 1) as ratio_1d,
  round(coalesce(diff [5], 0), 1) as ratio_1w
from(
    select
      compare(percent, 86400, 604800) as diff
    FROM      (
        select
          deliver /(ingest + 0.0001) as percent
        from(
            select
              sum(
                if(
                  "_etl_:connector_meta.action" = 'ingest',
                  "_etl_:connector_metrics.native_bytes",
                  0
                )
              ) as ingest,
              sum(
                if(
                  "_etl_:connector_meta.action" = 'deliver',
                  "_etl_:connector_metrics.native_bytes",
                  0
                )
              ) as deliver
            FROM              log
          )
      )
  )

Aturan pemantauan

• Tetapkan Trigger Condition ke Data Match. Ekspresi evaluasi: (ratio_1d>1.2 || ratio_1d<0.8) && (ratio_1w>1.2 || ratio_1w<0.8) . Ambang batas kenaikan dan penurunan harian serta mingguan masing-masing adalah 0,2.

• Interval Kueri: 1 jam

• Frekuensi Pemeriksaan: 1 jam.

Resolusi

Ikuti langkah-langkah berikut untuk menyelesaikan masalah:

1. Jika volume data di penyimpanan log sumber berubah, periksa apakah data dengan pola baru dimasukkan atau apakah data dengan pola tertentu telah berhenti mengalir. Jika demikian dan perubahan data tersebut sesuai dengan metrik aturan saat ini, maka perubahan tersebut disebabkan oleh pergeseran pola data di penyimpanan log sumber. Jika tidak, lanjutkan ke langkah berikutnya.

2. Jika peringatan latensi pemrosesan atau peringatan kesalahan pemrosesan aktif, selesaikan terlebih dahulu.

Item

Deskripsi

Tujuan

Memantau volume data yang dibaca oleh tugas transformasi data. Peringatan dipicu jika volume meningkat atau menurun melebihi ambang batas harian atau mingguan yang ditentukan.

Dasbor terkait

Total log yang dibaca: Total jumlah entri data yang dibaca dari shard penyimpanan log sumber. Periode statistik default adalah 1 hari.

Contoh Analisis SQL

Masukkan pernyataan SQL berikut di kotak dialog Query and Statistics saat membuat aturan peringatan.

Dalam templat berikut, ganti {job_name} dengan nama tugas transformasi data (versi baru) yang ingin Anda pantau.

__topic__: etl_metrics and 
job_name: {job_name} and
"_etl_:connector_meta.action": ingest
| select
  diff [1] as events,
  round(coalesce(diff [4], 0),  1) as ratio_1d,
  round(coalesce(diff [5], 0),  1) as ratio_1w
from(
    select
      compare(events, 86400, 604800) as diff
    FROM      (
        select
          sum("_etl_:connector_metrics.events") as events
        FROM          log
      )
  )

Aturan pemantauan

• Tetapkan Trigger Condition ke Data Match. Ekspresi evaluasi: (ratio_1d>1.2 || ratio_1d<0.8) && (ratio_1w>1.2 || ratio_1w<0.8) . Ambang batas kenaikan dan penurunan harian serta mingguan masing-masing adalah 20%.

• Interval Kueri: 1 jam

• Frekuensi Pemeriksaan: 1 jam.

Resolusi

Ikuti langkah-langkah berikut untuk menyelesaikan masalah:

1. Jika tren nilai ini sesuai dengan kenaikan atau penurunan volume data di penyimpanan log sumber, perubahan tersebut disebabkan oleh volume data sumber. Jika tidak, lanjutkan ke langkah berikutnya.

2. Jika peringatan latensi pemrosesan atau peringatan kesalahan pemrosesan aktif, selesaikan terlebih dahulu.

Item

Deskripsi

Tujuan

Memantau volume data yang ditulis oleh tugas transformasi data. Peringatan dipicu jika volume meningkat atau menurun melebihi ambang batas harian atau mingguan yang ditentukan.

Dasbor terkait

Total log yang ditulis: Total jumlah entri data yang berhasil ditulis ke semua penyimpanan log tujuan. Periode default adalah 1 hari.

Contoh Analisis SQL

Masukkan pernyataan SQL berikut di kotak dialog Query and Statistics saat membuat aturan peringatan.

Dalam templat berikut, ganti {job_name} dengan nama tugas transformasi data (versi baru) yang ingin Anda pantau.

__topic__: etl_metrics and 
job_name: {job_name} and
"_etl_:connector_meta.action": deliver
| select
  diff [1] as events,
  round(coalesce(diff [4], 0),  1) as ratio_1d,
  round(coalesce(diff [5], 0),  1) as ratio_1w
from(
    select
      compare(events, 86400, 604800) as diff
    FROM      (
        select
          sum("_etl_:connector_metrics.events") as events
        FROM          log
      )
  )

Aturan pemantauan

• Tetapkan Trigger Condition ke Data Match. Ekspresi evaluasi: (ratio_1d>1.2 || ratio_1d<0.8) && (ratio_1w>1.2 || ratio_1w<0.8) . Ambang batas kenaikan dan penurunan harian serta mingguan masing-masing adalah 20%.

• Interval Kueri: 1 jam

• Frekuensi Pemeriksaan: 1 jam.

Resolusi

Ikuti langkah-langkah berikut untuk menyelesaikan masalah:

1. Jika tren nilai ini sesuai dengan kenaikan atau penurunan volume data di penyimpanan log sumber, perubahan tersebut disebabkan oleh volume data sumber. Jika tidak, lanjutkan ke langkah berikutnya.

2. Jika peringatan latensi pemrosesan atau peringatan kesalahan pemrosesan aktif, selesaikan terlebih dahulu.