All Products
Search

This Product

    Simple Log Service:Memantau pekerjaan transformasi data

    Document Center

    Simple Log Service:Memantau pekerjaan transformasi data

    Last Updated:Jun 21, 2026

    Topik ini menjelaskan metrik operasional untuk pekerjaan transformasi data, cara melihat dasbor transformasi data, dan cara mengonfigurasi pemantauan pekerjaan.

    Data metrik

    Untuk memperoleh metrik berjalan untuk tugas Data Transformation (New Version), Anda harus mengaktifkan Job Operational Logs SLS. Untuk informasi selengkapnya tentang cara mengaktifkan Job Operational Logs, lihat Mengelola log layanan.

    Dasbor

    Setelah membuat pekerjaan transformasi data, Simple Log Service secara otomatis menambahkan dasbor ke halaman detail pekerjaan tempat Anda dapat melihat metrik operasionalnya.

    Prosedur

    1. Masuk ke Konsol Simple Log Service.

    2. Pada bagian Projects, klik proyek yang diinginkan.

      image

    3. Di panel navigasi kiri, pilih Job Management > Data Transformation.

    4. Klik pekerjaan transformasi data yang dituju dan lihat dasbor di bagian Execution Status.

    Metrik keseluruhan

    Dasbor mencakup metrik utama berikut:

    image.png

    • Processing Rate: Laju pemrosesan data, diukur dalam jumlah event per detik. Secara default, metrik ini dihitung dalam jendela 1 menit selama periode 1 jam.

      • ingest: Jumlah event yang dibaca dari semua shard di logstore sumber.

      • deliver: Jumlah event yang berhasil ditulis ke logstore tujuan.

      • failed: Jumlah event yang dibaca dari logstore sumber tetapi gagal selama proses transformasi.

    • Total Events Read: Total jumlah event yang dibaca dari semua shard di logstore sumber. Periode statistik default adalah satu hari.

    • Total Events Delivered: Total jumlah event yang berhasil ditulis ke semua logstore tujuan. Periode statistik default adalah satu hari.

    • Total Events Failed: Total jumlah event yang dibaca dari logstore sumber namun gagal selama proses transformasi. Periode statistik default adalah satu hari.

    • Event Delivery Ratio: Rasio antara jumlah event yang berhasil dikirimkan ke logstore tujuan terhadap total event yang dibaca dari logstore sumber. Periode statistik default adalah satu hari.

    Detail shard

    Bagian ini menampilkan metrik tingkat shard yang dikumpulkan setiap satu menit saat pekerjaan membaca data dari logstore sumber.

    image.png

    • Shard Consumption Latency (s): Untuk setiap shard, ini adalah selisih waktu (dalam detik) antara waktu pemasukan data (ingestion time) event terbaru dan waktu pemasukan data event yang sedang diproses. Ini menunjukkan penundaan pemrosesan.

    • Active Shard Statistics: Periode statistik default adalah satu jam.

      • shard: ID shard tersebut.

      • ingest: Jumlah event mentah yang dibaca dari shard tersebut.

      • failed: Jumlah event mentah yang dibaca dari shard tersebut namun gagal selama proses transformasi.

    Eksepsi runtime

    Detail error tersedia di bidang message.

    Sebagai contoh, tabel log pada halaman detail error berisi empat kolom: time, level, action, dan message. Ketika level bernilai ERROR dan action bernilai deliver, bidang message mungkin menampilkan error seperti {"Code":"InvalidArgs","Message":"failed to get sts token: ...The role not exists: acs:ram::*:role/test-role."}. Pesan ini menunjukkan bahwa sistem gagal memperoleh token STS karena peran RAM yang ditentukan tidak ada.

    Aturan peringatan

    Untuk memantau pekerjaan transformasi data, gunakan metrik operasional yang dijelaskan dalam Data metrik. Anda dapat menggunakan fitur alerting Simple Log Service untuk membuat aturan peringatan dalam skenario seperti memantau latensi pemrosesan, eksepsi, dan perubahan traffic. Untuk informasi lebih lanjut tentang fitur alerting, lihat Peringatan. Untuk membuat aturan peringatan, lihat Membuat aturan peringatan berbasis log.

    Penting

    Saat membuat aturan peringatan untuk pekerjaan transformasi data, pastikan kueri menargetkan proyek dan logstore yang sama tempat log operasional pekerjaan disimpan. Untuk informasi selengkapnya, lihat Mengelola log layanan.

    Pada kotak dialog Query and Analyze, klik tab Advanced Settings. Atur Type menjadi Logstore dan Authorization Method menjadi Default. Pilih Region yang dituju, lalu masukkan nama project dan logstore. Jika diperlukan, konfigurasikan dedicated SQL (Anda dapat memilih Auto, Enable, atau Disable) dan time range. Kemudian, klik Confirm.

    Memantau latensi pemrosesan

    Item

    Deskripsi

    Tujuan

    Memantau latensi konsumsi shard dalam pekerjaan transformasi data. Peringatan dipicu jika latensi pemrosesan melebihi ambang batas yang ditentukan.

    Metrik dasbor terkait

    Lihat Shard Consumption Latency (s).

    Kueri analisis contoh

    Ganti {job_name} dalam kueri berikut dengan nama pekerjaan transformasi data Anda.

    __topic__: etl_metrics and 
job_name: {job_name} and
"_etl_:connector_meta.action": ingest
| select
  split_part(
    "_etl_:connector_meta.task_name",
    '#',
    2
  ) as shard,
  max_by("_etl_:connector_metrics.lags", __time__) as lags
group by
  shard
having
  shard is not null
limit
  all

    Pengaturan aturan peringatan

    • Atur Trigger Condition menjadi Data Matches Expression. Atur ekspresi evaluasi menjadi lags > 120. Ini menetapkan ambang batas latensi sebesar 120 detik.

    • Atur rentang waktu ke 5 menit.

    • Atur Check Frequency menjadi 5 menit.

    Catatan

    Untuk menghindari alarm palsu akibat pembaruan metrik periodik (setiap 1 menit) atau latensi yang disebabkan lonjakan data mendadak, kami merekomendasikan penggunaan pengaturan ini.

    Cara menyelesaikan peringatan

    Untuk menyelesaikan peringatan ini:

    1. Jika pekerjaan baru saja dibuat dan sedang memproses data historis, mungkin diperlukan waktu untuk menangani backlog tersebut. Pantau latensi selama satu jam. Jika tidak turun di bawah ambang batas peringatan, lanjutkan ke langkah berikutnya.

    2. Jika volume data di logstore sumber meningkat secara signifikan:

      • Jika Processing Rate (events/s) meningkat sementara Shard Consumption Latency (s) menurun, ini menunjukkan bahwa pekerjaan transformasi data secara otomatis melakukan penskalaan sumber dayanya akibat peningkatan data di Logstore sumber. Pantau latensi selama 5 menit untuk melihat apakah kembali ke rentang normal. Jika tidak, lanjutkan ke langkah berikutnya.

      • Jika Processing rate (events/s) tidak meningkat atau Shard consumption latency (s) masih cenderung meningkat, jumlah shard di Logstore sumber mungkin tidak mencukupi, sehingga membatasi penskalaan sumber daya transformasi data. Anda perlu membagi shard logstore sumber secara manual. Untuk langkah-langkah spesifiknya, lihat Mengelola Shard. Setelah pembagian selesai, amati selama 5 menit untuk memeriksa apakah latensi berada dalam rentang peringatan. Jika tidak, lanjutkan ke langkah berikutnya.

    3. Jika Anda memiliki peringatan aktif terkait eksepsi pemrosesan, selesaikan peringatan tersebut terlebih dahulu. Setelah masalah terselesaikan, amati selama 5 menit untuk melihat apakah latensi turun di bawah ambang batas peringatan.

    Memantau eksepsi pemrosesan

    Item

    Deskripsi

    Tujuan

    Memunculkan peringatan ketika terjadi eksepsi selama pekerjaan transformasi data.

    Metrik dasbor terkait

    Lihat Runtime exceptions.

    Kueri analisis contoh

    Ganti {job_name} dalam kueri berikut dengan nama pekerjaan transformasi data Anda.

    __topic__: etl_metrics and 
job_name: {job_name} and 
"_etl_:connector_metrics.error": *
| select
  distinct "_etl_:connector_metrics.error" as errors

    Pengaturan aturan peringatan

    • Atur Trigger Condition menjadi Data Is Returned.

    • Atur time range menjadi 10 menit.

    • Atur Check Frequency menjadi 10 menit.

    Cara menyelesaikan peringatan

    Lakukan pemecahan masalah berdasarkan pesan error:

    • Jika pesan error berisi Invalid SPL query, kueri SPL pekerjaan tersebut mengandung kesalahan sintaksis. Perbaiki kueri berdasarkan detail pesan error. Untuk informasi selengkapnya, lihat Sintaks SPL.

    • Jika pesan error berisi Unauthorized, InvalidAccessKeyId, atau SignatureNotMatch, pekerjaan tersebut tidak memiliki izin yang diperlukan untuk membaca data dari logstore sumber atau menulis data ke logstore tujuan. Untuk informasi selengkapnya, lihat Otorisasi.

    • Jika pesan error berisi ProjectNotExist atau LogStoreNotExist, proyek atau logstore yang ditentukan tidak ada. Masuk ke Konsol Simple Log Service untuk memeriksa dan menyelesaikan masalah tersebut.

    Memantau rasio volume data tertulis (periode-per-periode)

    Item

    Deskripsi

    Tujuan

    Memunculkan peringatan berdasarkan perubahan periode-per-periode pada rasio pengiriman data (volume tertulis vs. volume terbaca). Aturan ini membandingkan rasio saat ini dengan periode yang sama dari hari dan minggu sebelumnya, serta memicu peringatan jika perubahan melebihi ambang batas pertumbuhan atau penurunan yang Anda konfigurasi.

    Metrik dasbor terkait

    Event Delivery Ratio: Rasio antara jumlah event yang berhasil dikirimkan ke logstore tujuan terhadap total event yang dibaca dari logstore sumber. Periode statistik default adalah satu hari.

    Kueri analisis contoh

    Masukkan kueri berikut di kotak dialog Query and Analyze saat membuat aturan peringatan.

    Ganti {job_name} dalam kueri berikut dengan nama pekerjaan transformasi data Anda.

    __topic__: etl_metrics and 
job_name: {job_name}
| select
  round(diff [1], 1) as percent,
  round(coalesce(diff [4], 0), 1) as ratio_1d,
  round(coalesce(diff [5], 0), 1) as ratio_1w
from(
    select
      compare(percent, 86400, 604800) as diff
    FROM      (
        select
          deliver /(ingest + 0.0001) as percent
        from(
            select
              sum(
                if(
                  "_etl_:connector_meta.action" = 'ingest',
                  "_etl_:connector_metrics.native_bytes",
                  0
                )
              ) as ingest,
              sum(
                if(
                  "_etl_:connector_meta.action" = 'deliver',
                  "_etl_:connector_metrics.native_bytes",
                  0
                )
              ) as deliver
            FROM              log
          )
      )
  )

    Pengaturan aturan peringatan

    • Atur Trigger Condition menjadi Data Matches Expression. Atur ekspresi evaluasi menjadi (ratio_1d > 1.2 || ratio_1d < 0.8) && (ratio_1w > 1.2 || ratio_1w < 0.8). Ini menetapkan ambang batas pertumbuhan dan penurunan harian/mingguan sebesar 20%.

    • Atur rentang waktu menjadi 1 jam.

    • Atur Check Frequency menjadi 1 jam.

    Catatan

    Untuk menghindari alarm palsu akibat fluktuasi periodik pada traffic data mentah, kami merekomendasikan menetapkan ambang batas pertumbuhan dan penurunan harian/mingguan minimal sebesar 20%, atau menyesuaikan periode perbandingan agar sesuai dengan siklus traffic data mentah Anda.

    Cara menyelesaikan peringatan

    Untuk menyelesaikan peringatan ini:

    1. Jika volume data di logstore sumber berubah, periksa adanya pola data baru yang dimasukkan atau gangguan pada aliran data yang sudah ada. Jika demikian dan perubahan data tersebut sesuai dengan metrik, peringatan disebabkan oleh perubahan pola data sumber. Jika tidak, lanjutkan ke langkah berikutnya.

    2. Jika Anda memiliki peringatan aktif terkait latensi pemrosesan atau eksepsi, selesaikan peringatan tersebut terlebih dahulu.

    Memantau jumlah event sumber (periode-per-periode)

    Item

    Deskripsi

    Tujuan

    Memunculkan peringatan jika jumlah event yang dibaca oleh pekerjaan transformasi data berubah secara signifikan dibandingkan dengan hari dan minggu sebelumnya. Aturan ini aktif jika jumlah event melebihi ambang batas pertumbuhan atau turun di bawah ambang batas penurunan.

    Metrik dasbor terkait

    Total Events Read: Total jumlah event yang dibaca dari semua shard di logstore sumber. Periode statistik default adalah satu hari.

    Kueri analisis contoh

    Masukkan kueri berikut di kotak dialog Query and Analyze saat membuat aturan peringatan.

    Ganti {job_name} dalam kueri berikut dengan nama pekerjaan transformasi data Anda.

    __topic__: etl_metrics and 
job_name: {job_name} and
"_etl_:connector_meta.action": ingest
| select
  diff [1] as events,
  round(coalesce(diff [4], 0),  1) as ratio_1d,
  round(coalesce(diff [5], 0),  1) as ratio_1w
from(
    select
      compare(events, 86400, 604800) as diff
    FROM      (
        select
          sum("_etl_:connector_metrics.events") as events
        FROM          log
      )
  )

    Pengaturan aturan peringatan

    • Atur Trigger Condition menjadi Data Matches Expression. Atur ekspresi evaluasi menjadi (ratio_1d > 1.2 || ratio_1d < 0.8) && (ratio_1w > 1.2 || ratio_1w < 0.8). Ini menetapkan ambang batas pertumbuhan dan penurunan harian/mingguan sebesar 20%.

    • Atur time range menjadi 1 jam.

    • Atur Check Frequency menjadi 1 jam.

    Catatan

    Untuk menghindari alarm palsu akibat fluktuasi periodik pada traffic data mentah, kami merekomendasikan menetapkan ambang batas pertumbuhan dan penurunan harian/mingguan minimal sebesar 20%, atau menyesuaikan periode perbandingan agar sesuai dengan siklus traffic data mentah Anda.

    Cara menyelesaikan peringatan

    Untuk menyelesaikan peringatan ini:

    1. Jika tren metrik ini sesuai dengan pertumbuhan atau penurunan jumlah event di logstore sumber, perubahan tersebut disebabkan oleh volume data sumber. Jika tidak, lanjutkan ke langkah berikutnya.

    2. Jika Anda memiliki peringatan aktif terkait latensi pemrosesan atau eksepsi, selesaikan peringatan tersebut terlebih dahulu.

    Memantau jumlah event yang dikirimkan (periode-per-periode)

    Item

    Deskripsi

    Tujuan

    Memunculkan peringatan jika jumlah event yang ditulis oleh pekerjaan transformasi data berubah secara signifikan dibandingkan dengan hari dan minggu sebelumnya. Aturan ini aktif jika jumlah event melebihi ambang batas pertumbuhan atau turun di bawah ambang batas penurunan.

    Metrik dasbor terkait

    Total Events Delivered

    Kueri analisis contoh

    Masukkan kueri berikut di kotak dialog Query and Analyze saat membuat aturan peringatan.

    Ganti {job_name} dalam kueri berikut dengan nama pekerjaan transformasi data Anda.

    __topic__: etl_metrics and 
job_name: {job_name} and
"_etl_:connector_meta.action": deliver
| select
  diff [1] as events,
  round(coalesce(diff [4], 0),  1) as ratio_1d,
  round(coalesce(diff [5], 0),  1) as ratio_1w
from(
    select
      compare(events, 86400, 604800) as diff
    FROM      (
        select
          sum("_etl_:connector_metrics.events") as events
        FROM          log
      )
  )

    Pengaturan aturan peringatan

    • Atur Trigger Condition menjadi Data Matches Expression. Atur ekspresi evaluasi menjadi (ratio_1d > 1.2 || ratio_1d < 0.8) && (ratio_1w > 1.2 || ratio_1w < 0.8). Ini menetapkan ambang batas pertumbuhan dan penurunan harian/mingguan sebesar 20%.

    • Atur time range menjadi 1 jam.

    • Atur Check Frequency menjadi 1 jam.

    Catatan

    Untuk menghindari alarm palsu akibat fluktuasi periodik pada traffic data mentah, kami merekomendasikan menetapkan ambang batas pertumbuhan dan penurunan harian/mingguan minimal sebesar 20%, atau menyesuaikan periode perbandingan agar sesuai dengan siklus traffic data mentah Anda.

    Cara menyelesaikan peringatan

    Untuk menyelesaikan peringatan ini:

    1. Jika tren metrik ini sesuai dengan pertumbuhan atau penurunan volume data di logstore sumber, perubahan tersebut disebabkan oleh volume data sumber. Jika tidak, lanjutkan ke langkah berikutnya.

    2. Jika Anda memiliki peringatan aktif terkait latensi pemrosesan atau eksepsi, selesaikan peringatan tersebut terlebih dahulu.