Dans DataWorks Data Integration, configurez des règles d'alerte pour surveiller l'état des tâches de synchronisation en temps réel ainsi que la phase de synchronisation en temps réel des tâches de synchronisation complète et incrémentielle. Cette rubrique décrit les métriques disponibles pour ces règles d'alerte et fournit un exemple de bonnes pratiques.
Métriques des règles d'alerte
Configurez des règles d'alerte pour les tâches de synchronisation en temps réel dans le Operation Center de DataWorks. Les métriques d'alerte disponibles incluent Status, Business delay, Failover, Not Supported by DDL Statements, DDL Notification et Dirty Data. Lors de la création d'une nouvelle règle, configurez également des paramètres tels que Name, Description, threshold, Alert Interval, WARNING, CRITICAL et Recipients (Non-DingTalk).
Métrique 1 : Status
|
Description |
Configuration recommendations |
|
La métrique Status utilise le heartbeat d'une tâche pour déterminer si elle fonctionne correctement. |
|
Métrique 2 : Business delay
|
Description |
Configuration recommendations |
|
L'alerte Business delay détermine si le taux de synchronisation peut suivre le rythme de production des données à la source. Cette métrique mesure le décalage temporel entre la création des données à la source et leur traitement par la tâche. |
|
Métrique 3 : Accumulated Messages (sources Kafka uniquement)
|
Description |
Configuration recommendations |
|
Cette métrique est disponible uniquement pour les tâches de synchronisation en temps réel utilisant une source Kafka. Elle mesure le retard du consommateur (consumer lag) en comparant l'offset source dans Kafka avec le dernier offset consommé. |
Configurez cette alerte pour toutes les tâches critiques de synchronisation en temps réel qui utilisent une source Kafka. |
Métrique 4 : Failover
|
Description |
Configuration recommendations |
|
Un événement Failover se produit lorsqu'un processus de synchronisation en temps réel se termine de manière inattendue. Pour améliorer la fiabilité du processus, le service de contrôle Data Integration redémarre automatiquement le processus afin de tenter une récupération. |
Si vous devez suivre les basculements de tâches, configurez cette alerte pour être informé des redémarrages fréquents, qui peuvent indiquer un problème de stabilité sous-jacent. |
Métrique 5 : Unsupported DDL statements (obsolète)
|
Description |
Configuration recommendations |
|
La synchronisation en temps réel de Data Integration prend en charge certains événements DDL provenant des systèmes sources. Pour les événements DDL non pris en charge, définissez une stratégie de gestion telle que Ignore, Warning ou Critical sur la page de configuration DDL. Lorsqu'un événement DDL avec une sévérité Warning ou Critical se produit, la métrique Not Supported by DDL Statements déclenche une alerte. |
Cette métrique est obsolète. Utilisez plutôt la métrique DDL Notification, qui inclut cette fonctionnalité. |
Métrique 6 : DDL Notification
|
Description |
Configuration recommendations |
|
La métrique DDL Notification vous permet de surveiller des types DDL spécifiques, indépendamment des stratégies de gestion DDL. Lorsqu'un événement DDL surveillé se produit, une alerte est déclenchée. |
Cette métrique inclut la fonctionnalité de l'alerte Not Supported by DDL Statements. Nous vous recommandons d'utiliser cette métrique pour tous les scénarios de surveillance et d'alerte liés aux DDL. |
Métrique 7 : Dirty Data
|
Description |
Configuration recommendations |
|
Lors de la synchronisation en temps réel, les données qui ne peuvent pas être écrites dans la destination sont classées comme dirty data. Configurez cette métrique pour recevoir une alerte lorsque des données erronées sont générées. |
|
Méthodes de notification d'alerte
DataWorks prend en charge plusieurs méthodes de notification pour les alertes des tâches de synchronisation en temps réel : e-mail, SMS, DingTalk et webhook.
DataWorks envoie des alertes par e-mail à l'adresse du destinataire configurée sur la page Contacts d'alerte de la console DataWorks. Si aucune adresse n'est configurée, DataWorks envoie les alertes à l'adresse e-mail du compte Alibaba Cloud associé.
Lorsque vous vérifiez la réception des e-mails d'alerte, assurez-vous qu'ils n'ont pas été déplacés vers votre dossier de spam.
SMS
DataWorks envoie des alertes par SMS au numéro de téléphone du destinataire configuré sur la page Contacts d'alerte de la console DataWorks. Si aucun numéro n'est configuré, DataWorks envoie les alertes au numéro de téléphone du compte Alibaba Cloud associé.
DingTalk
Les notifications d'alerte sont envoyées sous forme de messages texte à un groupe DingTalk spécifié via un chatbot DingTalk personnalisé. Saisissez le jeton du chatbot dans le champ DingTalk Robot Token. Utilisez des virgules pour séparer plusieurs jetons. Vous pouvez également activer la fonctionnalité DingTalk Group Notification pour garantir que l'alerte soit visible par tous les membres du groupe.
Après avoir ajouté un chatbot DingTalk personnalisé à un groupe, vous devez définir un mot-clé personnalisé. Les autres méthodes de filtrage ne sont pas prises en charge. Vous devez ajouter DataWorks comme mot-clé (sensible à la casse). Sinon, le groupe ne recevra pas les notifications d'alerte. Pour un guide étape par étape, consultez Cas d'utilisation : Envoyer des notifications d'alerte à un groupe DingTalk.
Webhook
Les notifications d'alerte sont envoyées à une adresse web spécifiée. Saisissez l'URL du webhook du produit cible dans le champ Webhook URL. Utilisez des virgules pour séparer plusieurs webhooks.
Édition disponible : la fonctionnalité webhook est disponible uniquement dans l'édition Enterprise de DataWorks.
Cibles de notification prises en charge : WeCom et Lark.
Envoyer des alertes à un groupe DingTalk
Ajouter un chatbot DingTalk
Les étapes suivantes peuvent varier légèrement selon votre version de DingTalk.
Ouvrez le groupe DingTalk cible pour les alertes, puis cliquez sur l'icône Group Settings dans le coin supérieur droit.
Cliquez sur Bot.
Sur la page Bot, cliquez sur Add Robot.
Sur la page Robot Management, cliquez sur Add Robot.
Sur la page Please choose which robot to add, cliquez sur Custom.
Dans la boîte de dialogue Custom, cliquez sur Add.
-
Dans la boîte de dialogue Add Robot, configurez les paramètres suivants.
Parameter
Description
Chatbot name
Le nom d'affichage du chatbot personnalisé.
Add to Group
Le groupe DingTalk auquel le chatbot est ajouté. Ce paramètre ne peut pas être modifié après la configuration.
Custom Keyword
Après avoir défini les mots-clés, le chatbot publiera uniquement les messages contenant au moins l'un des mots-clés spécifiés. Vous devez ajouter DataWorks comme mot-clé sensible à la casse.
RemarqueVous pouvez définir jusqu'à 10 mots-clés. Un message doit contenir au moins l'un des mots-clés pour être envoyé avec succès.
Sélectionnez I have read and accepted the <<DingTalk Custom Robot Terms of Service>> puis cliquez sur Completed.
-
Une fois les paramètres de sécurité configurés, copiez le Webhook du chatbot et cliquez sur Completed.
ImportantGardez l'URL du webhook confidentielle pour éviter les risques de sécurité.
Créer une règle d'alerte
-
Accédez à la page des paramètres d'alerte de la tâche de synchronisation en temps réel.
Connectez-vous à la console DataWorks. Dans le Operation Center, sur la page Real-time Synchronization Task, recherchez la tâche de synchronisation pour laquelle vous souhaitez configurer une alerte, puis cliquez sur Alert Settings dans la colonne Actions.
L'onglet Alert Events affiche les événements d'alarme déclenchés.
L'onglet Alert Rules affiche les règles d'alerte existantes et vous permet d'en créer de nouvelles.
Cliquez sur l'onglet Alert Rules puis sur Create Rule.
-
Configurez la règle d'alerte.
Suivez les instructions à l'écran pour configurer le nom de la règle, la description et d'autres paramètres. Ce cas d'utilisation envoie des alertes à un groupe DingTalk. Les paramètres clés sont les suivants.
WARNING et CRITICAL : sélectionnez DingTalk.
DingTalk Robot Token : saisissez le jeton du chatbot DingTalk.
DingTalk Group Notification : cochez la case Enable.
ImportantLa règle d'alerte est activée automatiquement après la configuration.
-
En production, nous vous recommandons de configurer les deux métriques d'alerte suivantes :
Utilisez la métrique Task Status pour surveiller si la tâche s'exécute correctement.
Utilisez la métrique Business Latency ou Accumulated Messages pour surveiller si le débit de synchronisation peut suivre le rythme de production des données à la source.
Vérifier la configuration de la règle d'alerte
Après avoir ajouté une règle d'alerte, cliquez sur Test sur la page de la règle d'alerte pour vérifier que la configuration est correcte.