Data Lake Formation (DLF) menyediakan fitur peringatan melalui Cloud Monitor. Anda dapat menetapkan aturan peringatan untuk metrik kunci guna memantau status real-time optimasi tabel lake, sehingga memungkinkan penanganan risiko potensial secara cepat dan menjaga stabilitas operasional.
Buat dan kelola aturan peringatan
Masuk ke Konsol Cloud Monitor.
Di panel navigasi sebelah kiri, pilih .
Klik Create Alert Rule dan konfigurasikan parameter berikut.
Parameter
Deskripsi
Product
Data Lake Formation (DLF)
Resource Scope
Pilih Instance. Aturan peringatan berlaku untuk satu Catalog.
Linked Resources
Klik Add Instance. Di pojok kiri atas, pilih Wilayah tujuan. Lalu, pilih Catalog yang ingin dipantau dan klik Confirm.
Rule Description
Klik Add Rule > Basic Metric atau Composite Metric untuk membuka panel Set Rule Description.
Deskripsi metrik Cloud Monitor
Compaction Latency_Latest Compact Commit to Latest Non-compact Commit
Definisi: Selisih waktu antara latest compact commit dan latest non-compact commit.
Semantik: Mencerminkan rentang waktu data yang belum digabung dalam sistem saat ini.
Skenario:
Menilai progres catchup data.
Nilai yang lebih besar menunjukkan bahwa tugas compaction terbaru semakin tertinggal dari progres penulisan.
Catatan: Metrik ini mengukur seberapa jauh tugas compaction tertinggal dari progres penulisan terbaru (celah catchup). Metrik ini tidak mengukur waktu tunggu untuk data tertentu.
Compaction Latency_Earliest Non-compact Commit
Definisi: Latensi yang dihitung dari waktu commit snapshot unmerged paling awal hingga waktu sistem saat ini.
Semantik: Mencerminkan keterlambatan tugas compaction pada lapisan penjadwalan. Ini merepresentasikan durasi data komitmen batch tertua yang telah menunggu compaction.
Skenario:
Memantau kecepatan respons sistem penjadwalan.
Memecahkan masalah sumber daya compaction yang tidak mencukupi.
Catatan: Dalam skenario commit frekuensi tinggi, nilai metrik ini mungkin lebih kecil dari yang diharapkan karena mengabaikan waktu yang dibutuhkan proses penulisan data.
Compaction Latency_Earliest Non-compact File
Definisi: Latensi yang dihitung dari waktu pembuatan file data uncompacted paling awal hingga waktu sistem saat ini.
Semantik: Mencerminkan ketepatan waktu end-to-end sejak data ditulis secara fisik hingga menunggu compaction.
Skenario:
Skenario yang memerlukan pemantauan ketat terhadap kesegaran data.
Penulisan aliran jendela panjang atau impor batch besar di mana interval checkpoint panjang.
Catatan: Metrik ini mencakup waktu yang dibutuhkan untuk "penulisan data upstream dan checkpoint-nya". Nilainya biasanya lebih besar daripada latensi "Earliest Non-compact Commit" dan lebih akurat mencerminkan usia fisik data tertua.
Untuk informasi lebih lanjut, lihat GetTableCompactionInfo.
Jika tidak ada data compaction yang tertunda dalam sistem, nilai semua metrik latensi compaction adalah 0.
Metrik ini hanya berlaku untuk tabel primary key Paimon. Optimasi penyimpanan harus diaktifkan dengan mengatur
write-only=true. Opsi ini diaktifkan secara default dalam layanan fully managed DLF.
Solusi contoh dan rekomendasi peringatan
Skenario | Konfigurasi Peringatan yang Direkomendasikan |
Memantau tabel primary key yang sering diperbarui | Metrik Pemantauan: Composite (memunculkan peringatan jika salah satu kondisi terpenuhi)
Dimensi Pemantauan: Tingkat tabel |
Memantau pada tingkat katalog data atau database | Metrik Pemantauan: Basic
Dimensi Pemantauan: Tingkat database atau katalog data (biarkan kosong) |
Contoh aturan peringatan
Parameter | Contoh |
Rule Name | Compaction Latency Alert |
Metric Type | Composite Metric |
Alert Level | Warning (Warn) |
Composite Metric Description | Compaction Latency_Earliest Non-compact Commit: Nilai Terpantau >= 600 s Compaction Latency_Earliest Non-compact File: Nilai Terpantau >= 600 s |
Select Dimension | Tingkat tabel |
Composite Metric Condition | Picu peringatan jika salah satu kondisi terpenuhi |
Times Threshold Is Breached | Selama satu periode berturut-turut (1 periode = 1 menit) |
