Data Lake Formation:Configuración de reglas de alerta para la optimización de tablas de lago

Creación y gestión de reglas de alerta

1. Inicie sesión en la consola de Cloud Monitor.

2. En el panel de navegación izquierdo, seleccione Alarms > Alarm Rules.

3. Haga clic en Create Alarm Rule y configure los parámetros.

   Parámetro	Descripción
   Product	Data Lake Formation (DLF)
   Resource Range	Seleccione Instances. La regla de alerta se aplica a catálogos.
   Related Resource	Haga clic en Add Instance. En la esquina superior izquierda, seleccione la región objetivo. A continuación, seleccione los catálogos que desea monitorear y haga clic en OK.
   Rule Description	Haga clic en Add Rule > Simple Metric o Combined Metrics para abrir el panel Configure Rule Description.

Métricas de Cloud Monitor

• compaction_latency_between_latest_compacted_and_uncompacted_commit

  • Definición: Mide la diferencia de tiempo entre el commit compactado más reciente y el commit no compactado más reciente.

  • Semántica: Indica el intervalo de tiempo de datos no compactados en el sistema.

  • Casos de uso:

    • Evaluar el progreso de actualización de datos.

    • Un valor alto indica que la tarea de compactación más reciente se está rezagando respecto al progreso de escritura.

  • Nota: Esta métrica mide el retraso de una tarea de compactación en relación con el progreso de escritura más reciente (la brecha de actualización), no el tiempo de espera de un dato específico.

• compaction_latency_earliest_uncompacted_commit

  • Definición: Mide la latencia desde el momento del commit de la instantánea no compactada más antigua hasta la hora actual del sistema.

  • Semántica: Indica el retraso de las tareas de compactación a nivel de programación. Representa la duración que el lote más antiguo de datos confirmados ha estado en espera de compactación.

  • Casos de uso:

    • Monitorear la capacidad de respuesta del sistema de programación.

    • Solucionar problemas por insuficiencia de recursos de compactación.

  • Nota: En escenarios de commits de alta frecuencia, esta métrica puede ser menor a la esperada, ya que excluye el tiempo dedicado a la escritura de datos.

• compaction_latency_earliest_uncompacted_file

  • Definición: Mide la latencia desde la creación del archivo de datos no compactado más antiguo hasta la hora actual del sistema.

  • Semántica: Refleja la actualización de datos de extremo a extremo, desde el momento en que los datos se almacenan físicamente hasta que se ponen en cola para su compactación.

  • Casos de uso:

    • Escenarios que requieren un monitoreo estricto de la actualización de datos.

    • Escenarios de escritura de flujos de ventana larga o importación por lotes grandes con intervalos de checkpoint prolongados.

  • Nota: Esta métrica incluye los tiempos de escritura de datos ascendentes y de checkpoint. Su valor suele ser mayor que la latencia de compaction_latency_earliest_uncompacted_commit y proporciona una medida más precisa de la antigüedad de los datos físicos más viejos.

  Puede llamar a la operación de API GetTableCompactionInfo para consultar la marca de tiempo específica.

Configuraciones de alerta recomendadas y ejemplos