Data Lake Formation:Konfigurasikan aturan alert untuk optimasi tabel lake

Buat dan kelola aturan alert

1. Masuk ke Cloud Monitor console.

2. Di panel navigasi sebelah kiri, pilih Alarms > Alarm Rules.

3. Klik Create Alarm Rule dan konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Product	Data Lake Formation (DLF)
   Resource Range	Pilih Instances. Aturan alert ini berlaku untuk katalog.
   Related Resource	Klik Add Instance. Di pojok kiri atas, pilih wilayah target. Lalu, pilih katalog yang ingin Anda pantau dan klik OK.
   Rule Description	Klik Add Rule > Simple Metric atau Combined Metrics untuk membuka panel Configure Rule Description.

Metrik Cloud Monitor

• compaction_latency_between_latest_compacted_and_uncompacted_commit

  • Definisi: Mengukur selisih waktu antara commit terkompaksi terbaru dan commit belum terkompaksi terbaru.

  • Makna: Menunjukkan rentang waktu data yang belum dikompaksi dalam sistem.

  • Kasus penggunaan:

    • Menilai progres pengejaran data (data catch-up).

    • Nilai tinggi menunjukkan bahwa tugas kompaksi terbaru semakin tertinggal dari progres penulisan data.

  • Catatan: Metrik ini mengukur keterlambatan tugas kompaksi relatif terhadap progres penulisan terbaru (kesenjangan pengejaran), bukan waktu tunggu untuk data tertentu.

• compaction_latency_earliest_uncompacted_commit

  • Definisi: Mengukur latensi dari waktu commit snapshot uncompacted paling awal hingga waktu sistem saat ini.

  • Makna: Menunjukkan keterlambatan tugas kompaksi pada tingkat penjadwalan. Ini merepresentasikan durasi data committed tertua yang telah menunggu untuk dikompaksi.

  • Kasus penggunaan:

    • Memantau responsivitas sistem penjadwalan.

    • Memecahkan masalah sumber daya kompaksi yang tidak mencukupi.

  • Catatan: Dalam skenario commit frekuensi tinggi, metrik ini mungkin lebih kecil dari yang diharapkan karena tidak mencakup waktu yang dihabiskan untuk menulis data.

• compaction_latency_earliest_uncompacted_file

  • Definisi: Mengukur latensi dari waktu pembuatan file data uncompacted paling awal hingga waktu sistem saat ini.

  • Makna: Mencerminkan kesegaran data end-to-end, mulai dari saat data disimpan secara fisik hingga saat data tersebut masuk antrian untuk dikompaksi.

  • Kasus penggunaan:

    • Skenario yang memerlukan pemantauan kesegaran data secara ketat.

    • Penulisan aliran (stream writing) dengan jendela panjang atau impor batch besar dengan interval checkpoint yang panjang.

  • Catatan: Metrik ini mencakup waktu penulisan data hulu dan proses checkpointing. Nilainya biasanya lebih tinggi daripada latensi compaction_latency_earliest_uncompacted_commit dan memberikan ukuran usia data fisik tertua yang lebih akurat.

  Anda dapat memanggil operasi API GetTableCompactionInfo untuk melihat timestamp spesifik tersebut.

Konfigurasi dan contoh alert yang direkomendasikan