All Products
Search

This Product

    Data Lake Formation:Pemantauan optimasi tabel lake

    Document Center

    Data Lake Formation:Pemantauan optimasi tabel lake

    Last Updated:Jun 22, 2026

    Data Lake Formation (DLF) terintegrasi dengan Cloud Monitor untuk menyediakan fitur peringatan. Anda dapat mengonfigurasi aturan peringatan berdasarkan metrik utama guna memantau optimasi tabel lake, mengatasi risiko, dan menjaga kinerja yang stabil.

    Buat dan kelola aturan peringatan

    1. Masuk ke Konsol Cloud Monitor.

    2. Di panel navigasi sebelah kiri, pilih Alerts > Alert Rules.

    3. Klik Create Alert Rule dan konfigurasikan parameter berikut.

      Parameter

      Deskripsi

      Product

      Data Lake Formation (DLF)

      Resource Range

      Pilih Instance. Aturan peringatan ini berlaku untuk katalog.

      Associated Resources

      Klik Add Instance. Di pojok kiri atas, pilih wilayah target. Lalu, pilih katalog yang ingin Anda pantau dan klik OK.

      Rule Description

      Klik Add Rule > Simple Metric atau Combined Metrics untuk membuka panel Configure Rule Description.

    Metrik Cloud Monitor

    • compaction_latency_between_latest_compacted_and_uncompacted_commit

      • Definisi: Mengukur selisih waktu antara latest compacted commit dan latest uncompacted commit.

      • Makna: Menunjukkan rentang waktu data yang belum dikompaksi dalam sistem.

      • Kasus Penggunaan:

        • Menilai progres pengejaran data (data catch-up).

        • Nilai tinggi menunjukkan bahwa tugas kompaksi terbaru semakin tertinggal dari progres penulisan.

      • Catatan: Metrik ini mengukur keterlambatan tugas kompaksi relatif terhadap progres penulisan terbaru (kesenjangan catch-up), bukan waktu tunggu untuk data tertentu.

    • compaction_latency_earliest_uncompacted_commit

      • Definisi: Mengukur latensi dari waktu commit snapshot uncompacted paling awal hingga waktu sistem saat ini.

      • Makna: Menunjukkan keterlambatan tugas kompaksi pada tingkat penjadwalan. Ini merepresentasikan durasi data committed tertua yang telah menunggu kompaksi.

      • Kasus penggunaan:

        • Memantau responsivitas sistem penjadwalan.

        • Memecahkan masalah sumber daya kompaksi yang tidak mencukupi.

      • Catatan: Dalam skenario commit berfrekuensi tinggi, metrik ini mungkin lebih kecil dari yang diharapkan karena tidak mencakup waktu yang dihabiskan untuk menulis data.

    • compaction_latency_earliest_uncompacted_file

      • Definisi: Mengukur latensi dari waktu pembuatan file data uncompacted paling awal hingga waktu sistem saat ini.

      • Makna: Mencerminkan kesegaran data end-to-end, mulai dari saat data disimpan secara fisik hingga saat data tersebut masuk antrian untuk dikompaksi.

      • Kasus penggunaan:

        • Skenario yang memerlukan pemantauan kesegaran data secara ketat.

        • Penulisan aliran (stream writing) dengan jendela panjang atau impor batch besar dengan interval checkpoint yang panjang.

      • Catatan: Metrik ini mencakup waktu penulisan data hulu dan proses checkpointing. Nilainya biasanya lebih tinggi daripada latensi compaction_latency_earliest_uncompacted_commit dan memberikan ukuran usia data fisik tertua yang lebih akurat.

      Anda dapat memanggil operasi API GetTableCompactionInfo untuk melihat timestamp spesifik tersebut.
    Catatan

    • Jika tidak ada data kompaksi yang tertunda, semua metrik latensi kompaksi bernilai 0.

    • Metrik ini hanya berlaku untuk tabel primary key Paimon yang telah mengaktifkan optimasi tabel lake dengan menyetel write-only=true. Opsi ini diaktifkan secara default dalam layanan DLF fully managed.

    Konfigurasi dan contoh peringatan yang direkomendasikan

    Kasus Penggunaan

    Konfigurasi peringatan yang direkomendasikan

    Memantau tabel primary key yang sering diperbarui

    Jenis Metrik: Combined Metrics (memicu peringatan jika salah satu kondisi terpenuhi)

    • compaction_latency_earliest_uncompacted_commit: Beri peringatan jika nilainya melebihi batas waktu tertentu dalam detik.

    • compaction_latency_earliest_uncompacted_file: Beri peringatan jika nilainya melebihi batas waktu tertentu dalam detik.

    Dimensi: Tabel

    Memantau pada tingkat database atau katalog

    Jenis Metrik: Simple Metric

    • compaction_latency_earliest_uncompacted_commit: Beri peringatan jika dipicu lebih dari sekali.

    Dimensi: Database atau katalog (dimensi tidak ditentukan)

    Contoh aturan peringatan

    Parameter

    Contoh

    Rule Name

    Compaction Latency Alert

    Metric Type

    Combined Metrics

    Alert Level

    Warning (Warn)

    Multi-metric Alert Condition

    compaction_latency_earliest_uncompacted_commit: Nilai yang dipantau >= 600 detik

    compaction_latency_earliest_uncompacted_file: Nilai yang dipantau >= 600 detik

    Select Dimension

    Table

    Relationship Between Metrics

    Trigger an alert if any condition is met

    Trigger Condition

    For one consecutive 1-minute period