Data Lake Formation:Configurer des règles d'alerte pour l'optimisation des tables de lac

Créer et gérer des règles d'alerte

1. Connectez-vous à la console Cloud Monitor.

2. Dans le volet de navigation de gauche, sélectionnez Alarms > Alarm Rules.

3. Cliquez sur Create Alarm Rule et configurez les paramètres.

   |
   **Parameter**
   |
   **Description**
   | | --- | --- | |
   **Product**
   |
   Data Lake Formation (DLF)
   | |
   **Resource Range**
   |
   Sélectionnez **Instances**. La règle d'alerte s'applique aux catalogues.
   | |
   **Related Resource**
   |
   Cliquez sur **Add Instance**. Dans le coin supérieur gauche, sélectionnez la région cible. Ensuite, sélectionnez les catalogues que vous souhaitez surveiller et cliquez sur **OK**.
   | |
   **Rule Description**
   |
   Cliquez sur **Add Rule** > **Simple Metric** ou **Combined Metrics** pour ouvrir le panneau **Configure Rule Description**.
   |
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

Métriques Cloud Monitor

• compaction_latency_between_latest_compacted_and_uncompacted_commit

  • Définition : Mesure la différence de temps entre le dernier commit compacté et le dernier commit non compacté.

  • Sémantique : Indique la plage temporelle des données non compactées dans le système.

  • Cas d'utilisation :

    • Évaluer la progression de la mise à jour des données.

    • Une valeur élevée indique que la dernière tâche de compaction prend davantage de retard par rapport à la progression des écritures.

  • Remarque : Cette métrique mesure le décalage d'une tâche de compaction par rapport à la dernière progression des écritures (l'écart de rattrapage), et non le temps d'attente pour une donnée spécifique.

• compaction_latency_earliest_uncompacted_commit

  • Définition : Mesure la latence entre l'heure de commit du snapshot non compacté le plus ancien et l'heure système actuelle.

  • Sémantique : Indique le décalage des tâches de compaction au niveau de la planification. Elle représente la durée pendant laquelle le lot de données validées le plus ancien a attendu la compaction.

  • Cas d'utilisation :

    • Surveiller la réactivité du système de planification.

    • Résoudre les problèmes liés à l'insuffisance des ressources de compaction.

  • Remarque : Dans les scénarios de commit à haute fréquence, cette métrique peut être inférieure aux attentes car elle exclut le temps passé à écrire les données.

• compaction_latency_earliest_uncompacted_file

  • Définition : Mesure la latence entre l'heure de création du fichier de données non compacté le plus ancien et l'heure système actuelle.

  • Sémantique : Reflète la fraîcheur des données de bout en bout, depuis le moment où les données sont stockées physiquement jusqu'à leur mise en file d'attente pour la compaction.

  • Cas d'utilisation :

    • Scénarios nécessitant une surveillance stricte de la fraîcheur des données.

    • Scénarios d'écriture en flux continu sur une longue fenêtre ou d'importation par lots volumineux avec des intervalles de point de contrôle longs.

  • Remarque : Cette métrique inclut les temps d'écriture des données en amont et de point de contrôle. Sa valeur est généralement supérieure à la latence compaction_latency_earliest_uncompacted_commit et fournit une mesure plus précise de l'ancienneté des données physiques les plus anciennes.

  Vous pouvez appeler l'opération API GetTableCompactionInfo pour afficher l'horodatage spécifique.

Configurations d'alerte recommandées et exemples