Data Lake Formation:Monitorar a otimização de tabelas do lake

Crie e gerencie regras de alerta

1. Faça login no console do Cloud Monitor.

2. No painel de navegação à esquerda, selecione Alerts > Alert Rules.

3. Clique em Create Alert Rule e configure os parâmetros.

   Parâmetro	Descrição
   Product	Data Lake Formation (DLF)
   Resource Range	Selecione Instance. A regra de alerta se aplica aos catálogos.
   Associated Resources	Clique em Add Instance. No canto superior esquerdo, selecione a região desejada. Em seguida, escolha os catálogos que deseja monitorar e clique em OK.
   Rule Description	Clique em Add Rule > Simple Metric ou Combined Metrics para abrir o painel Configure Rule Description.

Métricas do Cloud Monitor

• compaction_latency_between_latest_compacted_and_uncompacted_commit

  • Definição: Mede a diferença de tempo entre o commit compactado mais recente e o commit não compactado mais recente.

  • Semântica: Indica o intervalo de tempo dos dados não compactados no sistema.

  • Casos de uso:

    • Avaliar o progresso de atualização dos dados.

    • Um valor alto indica que a tarefa de compactação mais recente está ficando cada vez mais atrasada em relação ao progresso de gravação.

  • Observação: Esta métrica mede o atraso de uma tarefa de compactação em relação ao progresso de gravação mais recente (a lacuna de atualização), e não o tempo de espera de um dado específico.

• compaction_latency_earliest_uncompacted_commit

  • Definição: Mede a latência entre o horário do commit do snapshot não compactado mais antigo e a hora atual do sistema.

  • Semântica: Indica o atraso das tarefas de compactação no nível de agendamento. Representa a duração que o lote mais antigo de dados com commit ficou aguardando compactação.

  • Casos de uso:

    • Monitorar a capacidade de resposta do sistema de agendamento.

    • Diagnosticar insuficiência de recursos de compactação.

  • Observação: Em cenários de commit de alta frequência, esta métrica pode ser menor que o esperado, pois exclui o tempo gasto na gravação de dados.

• compaction_latency_earliest_uncompacted_file

  • Definição: Mede a latência entre o horário de criação do arquivo de dados não compactado mais antigo e a hora atual do sistema.

  • Semântica: Reflete a atualidade dos dados de ponta a ponta, desde o momento em que os dados são armazenados fisicamente até entrarem na fila para compactação.

  • Casos de uso:

    • Cenários que exigem monitoramento rigoroso da atualidade dos dados.

    • Gravação de stream com janela longa ou importação em lotes grandes com intervalos longos de checkpoint.

  • Observação: Esta métrica inclui os tempos de gravação de dados upstream e de checkpoint. Seu valor costuma ser maior que a latência compaction_latency_earliest_uncompacted_commit e fornece uma medida mais precisa da idade dos dados físicos mais antigos.

  Chame a operação de API GetTableCompactionInfo para visualizar o timestamp específico.

Configurações de alerta recomendadas e exemplos