Data Lake Formation：湖表最佳化功能監控

建立和管理警示規則

1. 登入CloudMonitor控制台。

2. 在左側導覽列，選擇警示服務 > 警示規則。

3. 單擊建立警示規則，配置相關參數。

   參數	說明
   產品	資料湖構建（DLF）
   資源範圍	選擇執行個體，警示規則作用於Catalog。
   關聯資源	單擊添加執行個體，左上方選擇目標地區，然後勾選需要監控的Catalog，單擊確認。
   規則描述	單擊添加規則 > 簡單指標或組合指標，進入設定規則描述面板。

CloudMonitor指標說明

• Compaction延時_最新compact提交到最新非compact提交

  • 定義：最新的compact提交的時間與最新的非compact提交時間的時間差。

  • 語義：反映當前系統中未合并資料的時間跨度。

  • 適用情境：

    • 評估資料追趕進度。

    • 該值越大，說明最新的Compaction任務落後於寫入進度的幅度越大。

  • 注意：該指標衡量的是 Compaction 任務相對於最新寫入進度的落後程度（追趕差距），而非某條具體資料的等待時間長度。

• Compaction延時_最早非compact提交

  • 定義：根據最早未合并 Snapshot 的提交時間與當前系統時間計算出的時延。

  • 語義：反映 Compaction 任務在調度層面的滯後程度。即最老的一批已提交資料等待合并的時間長度。

  • 適用情境：

    • 監控調度系統的響應速度。

    • 排查 Compaction 資源是否不足。

  • 注意：在高頻提交情境下，該指標數值可能偏小，因為它忽略了資料寫入過程的耗時。

• Compaction延時_最早非compact檔案

  • 定義：根據最早未合并 Snapshot 的提交時間與當前系統時間計算出的時延。

  • 語義：反映資料從物理落地到等待合并的端到端時效性。

  • 適用情境：

    • 需要嚴格監控資料新鮮度的情境。

    • 長視窗流式寫入或大大量匯入情境（Checkpoints 間隔較大）。

  • 注意：該指標包含了“上遊寫入資料及其 Checkpoint 的耗時”，通常大於“最早非 compact 提交”的延時，能更真實地反映最老資料的物理陳舊度。

  該指標可通過API擷取表合并資訊進行查看具體時間。

警示方案樣本與推薦