DataWorks:Surveiller la qualité des données

1. Configurer le moniteur

Le moniteur vérifie si les données dans la plage de données spécifiée (partition) de la table cible répondent aux attentes.

Dans cette étape, définissez Data Range sur dt=$[yyyymmdd-1]. Lorsque le moniteur s'exécute, il fait correspondre les données de cette partition pour déterminer si elles répondent aux attentes.

Cela signifie qu'à chaque exécution de la tâche planifiée de la table ods_raw_log_d, le moniteur est déclenché et utilise les règles de qualité associées pour vérifier les données dans la plage de données correspondante afin de déterminer si elles sont conformes aux règles de qualité des données.

Effectuez les étapes suivantes :

1. Sur la page des détails de qualité de la table, cliquez sur l'onglet Monitor, puis sur Create Monitor.

2. Configurez les paramètres du moniteur.

   Paramètres clés :

   Paramètre	Exemple
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Déclenché par la planification de production. Sélectionnez le nœud ods_raw_log_d créé dans Synchroniser les données.
   Monitoring Rule	Non configuré pour le moment. Cela sera configuré dans une section ultérieure.

   Remarque

   Pour plus d'informations sur la configuration de la surveillance de la qualité des données, reportez-vous à Configurer les règles de surveillance.

Ce tutoriel surveille si les données de table générées par chaque tâche planifiée quotidienne répondent aux attentes. Étant donné que la table génère des données pour la date métier précédente chaque jour, le résultat est conforme aux attentes lorsque l'heure de planification est aujourd'hui et que le résultat calculé concerne hier.

2. Configurer les règles de surveillance

La table ods_raw_log_d reçoit les enregistrements d'accès au site web synchronisés depuis OSS et constitue la table source pour le scénario d'analyse des profils utilisateurs. Pour éviter un traitement invalide et des problèmes de qualité dans les tâches en aval, configurez une règle forte qui vérifie si le nombre de lignes de cette table est supérieur à 0, ce qui détermine si la tâche de synchronisation a écrit des données dans la partition de cette table.

Lorsque le moniteur détecte que le nombre de lignes de la partition correspondante dans la table ods_raw_log_d est égal à 0, une alerte est déclenchée, le nœud ods_raw_log_d échoue et les tâches en aval du nœud ods_raw_log_d sont bloquées.

Effectuez les étapes suivantes :

1. Sur l'onglet Rule Management, sélectionnez le moniteur que vous avez créé sous Monitor Perspective (dans cet exemple, raw_log_number_of_table_rows_not_0), puis cliquez sur le bouton Create Rule à droite pour accéder à la page Create Rule.

2. Dans System Template, trouvez la règle The number of rows is greater than 0. et cliquez sur Use. Définissez ensuite Degree of importance sur Strong rules.

   Remarque

   Dans ce tutoriel, la règle est définie comme forte, ce qui signifie que lorsque le moniteur détecte que le nombre de lignes de la table ods_raw_log_d est égal à 0, une alerte est déclenchée et les tâches en aval sont bloquées.

3. Cliquez sur Determine.

   Remarque

   Pour plus d'informations sur les éléments de configuration, reportez-vous à Configurer les règles de surveillance.

3. Exécuter un test du moniteur

Une exécution de test permet de vérifier si les règles de vérification configurées dans le moniteur sont raisonnables. Pour vous assurer que les règles de qualité sont correctement configurées et répondent aux attentes, exécutez un test du moniteur après la création des règles.

1. Sur l'onglet Rule Management, sélectionnez le moniteur que vous avez créé sous Monitor Perspective (dans cet exemple, raw_log_number_of_table_rows_not_0), puis cliquez sur Test Run à partir de à droite pour ouvrir la boîte de dialogue Test Run.

2. Dans la boîte de dialogue Test Run, sélectionnez un Data Timestamp et cliquez sur Test Run.

3. Une fois l'exécution de test terminée, suivez les instructions à l'écran et cliquez sur View Details pour vérifier si le résultat du test est réussi.

4. S'abonner au moniteur

Data Quality propose des fonctionnalités d'alerte. En vous abonnant à un moniteur, vous pouvez recevoir des notifications rapides en cas d'exceptions de vérification de la qualité et prendre des mesures pour garantir que les données sont produites de manière sécurisée, stable et ponctuelle.

1. Sur l'onglet Rule Management, sélectionnez le moniteur que vous avez créé sous Monitor Perspective (dans cet exemple, raw_log_number_of_table_rows_not_0), puis cliquez sur Subscribe to Alerts à partir de à droite.

2. Suivez les instructions à l'écran pour ajouter une Notification Method et un Recipient, puis cliquez sur Save dans la colonne Actions.

3. Une fois l'abonnement configuré, cliquez sur Quality O&M > Monitor dans la barre de navigation de gauche, puis sélectionnez My Subscriptions pour afficher et modifier les tâches auxquelles vous êtes abonné.

1. Configurer le moniteur

Le moniteur vérifie si les données dans la plage de données spécifiée (partition) de la table cible répondent aux attentes.

Dans cette étape, définissez Data Range sur dt=$[yyyymmdd-1]. Lorsque le moniteur s'exécute, il fait correspondre les données de cette partition pour déterminer si elles répondent aux attentes.

Cela signifie qu'à chaque exécution de la tâche planifiée de la table ods_user_info_d, le moniteur est déclenché et utilise les règles de qualité associées pour vérifier les données dans la plage de données correspondante afin de déterminer si elles sont conformes aux règles de qualité des données.

Effectuez les étapes suivantes :

1. Sur l'onglet Monitor, cliquez sur Create Monitor.

2. Configurez les paramètres du moniteur.

   Paramètres clés :

   Paramètre	Exemple
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Déclenché par la planification de production. Sélectionnez le nœud ods_user_info_d créé dans Synchroniser les données.
   Monitoring Rule	Non configuré pour le moment. Cela sera configuré dans une section ultérieure.

   Remarque

   Pour plus d'informations sur la configuration de la surveillance de la qualité des données, reportez-vous à Configurer les règles de surveillance.

2. Configurer les règles de surveillance

La table ods_user_info_d reçoit les informations de base des utilisateurs synchronisées depuis RDS MySQL et constitue la table source pour le scénario d'analyse des profils utilisateurs. Pour éviter un traitement invalide et des problèmes de qualité dans les tâches en aval, configurez une règle forte qui vérifie si le nombre de lignes de cette table est supérieur à 0, ce qui détermine si la tâche de synchronisation a écrit des données dans la partition de cette table.

Lorsque la règle prend effet et que le moniteur détecte que le nombre de lignes de la partition correspondante dans la table ods_user_info_d est égal à 0, une alerte est déclenchée, le nœud ods_user_info_d échoue et les tâches en aval du nœud ods_user_info_d sont bloquées.

Effectuez les étapes suivantes :

1. Sur l'onglet Rule Management, sélectionnez le moniteur que vous avez créé sous Monitor Perspective (dans cet exemple, user_info_quality_control), puis cliquez sur Create Rule pour accéder à la page Create Rule.

2. Dans System Template, trouvez la règle The number of rows is greater than 0. et cliquez sur Use. Définissez ensuite Degree of importance sur Strong rules.

   Remarque

   Dans ce tutoriel, la règle est définie comme forte, ce qui signifie que lorsque le moniteur détecte que le nombre de lignes de la table ods_user_info_d est égal à 0, une alerte est déclenchée et les tâches en aval sont bloquées.

3. Dans System Template, trouvez la règle Unique Value Count, Fixed Value et cliquez sur Use. Modifiez ensuite Rule Scope, Monitoring Threshold et Degree of importance comme suit.

   • Rule Scope : uid(STRING)

   • Monitoring Threshold : Normal threshold = 0

   • Degree of importance : Weak rule

4. Cliquez sur Determine.

   Remarque

   Pour plus d'informations sur les éléments de configuration, reportez-vous à Configurer les règles de surveillance.

3. Autres

Les procédures de test run et d'abonnement sont identiques à celles décrites dans Configurer les règles de surveillance pour ods_raw_log_d.

1. Configurer l'expression de partition

Le moniteur vérifie si les données dans la plage de données spécifiée (partition) de la table cible répondent aux attentes.

Dans cette étape, définissez Data Range sur dt=$[yyyymmdd-1]. Lorsque le moniteur s'exécute, il fait correspondre les données de cette partition pour déterminer si elles répondent aux attentes.

Cela signifie qu'à chaque exécution de la tâche planifiée de la table ads_user_info_1d, le moniteur est déclenché et utilise les règles de qualité associées pour vérifier les données dans la plage de données correspondante afin de déterminer si elles sont conformes aux règles de qualité des données.

Effectuez les étapes suivantes :

1. Sur l'onglet Monitor, cliquez sur Create Monitor.

2. Configurez les paramètres du moniteur.

   Paramètres clés :

   Paramètre	Exemple
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Déclenché par la planification de production. Sélectionnez le nœud ads_user_info_1d créé dans Traiter les données.
   Monitoring Rule	Non configuré pour le moment. Cela sera configuré dans une section ultérieure.

   Remarque

   Pour plus d'informations sur la configuration de la surveillance de la qualité des données, reportez-vous à Configurer les règles de surveillance.

2. Créer des règles de surveillance

La table ads_user_info_1d est utilisée pour l'analyse des profils utilisateurs. Pour détecter les fluctuations quotidiennes des UV, configurez une surveillance de la fluctuation du nombre de lignes et des vérifications d'unicité de la clé primaire sur les données agrégées afin de suivre les variations quotidiennes des UV et de comprendre rapidement les fluctuations du trafic en ligne.

Lorsque la règle prend effet et que le moniteur détecte que la clé primaire de la table ads_user_info_1d n'est pas unique, une alerte est déclenchée. Lorsque le taux de fluctuation du nombre de lignes sur 7 jours est supérieur à 10 % et inférieur à 50 %, une alerte orange est déclenchée. Lorsque le taux de fluctuation du nombre de lignes sur 7 jours est supérieur à 50 %, une alerte rouge est déclenchée.

Le moniteur est configuré avec la Disposal Policy suivante :

• Strong rule · Red alert : La politique de traitement est Blocks. Lorsqu'un problème de qualité des données est détecté, le système identifie le nœud de planification de production qui a déclenché la vérification de la qualité pour cette table et définit le nœud comme ayant échoué. Les nœuds en aval ne seront pas exécutés, ce qui bloque le pipeline de production pour empêcher la propagation de données erronées.

• Pour les autres alertes, la politique de traitement est Alert. Lorsqu'un problème de qualité des données est détecté, une notification d'alerte est envoyée via le canal d'abonnement aux alertes du moniteur.

Par conséquent, lorsque vous configurez des règles de qualité :

• Si vous définissez une règle forte, une alerte rouge bloque les nœuds de tâche en aval, et les autres alertes ne bloquent pas les nœuds de tâche en aval.

• Si vous définissez une règle faible, une alerte rouge ne bloque pas les nœuds de tâche en aval, et les autres alertes ne bloquent pas les nœuds de tâche en aval.

Effectuez les étapes suivantes :

1. Sur l'onglet Rule Management, sélectionnez le moniteur que vous avez créé sous Monitor Perspective (dans cet exemple, ads_user_info_quality_control), puis cliquez sur Create Rule pour accéder à la page Create Rule.

2. Dans System Template, trouvez la règle Table Row Count, 7-Day Fluctuation Rate et cliquez sur Use. Modifiez ensuite Monitoring Range et Degree of importance comme suit.

   • Monitoring Threshold :

     • Red threshold > 50%

     • Orange threshold > 10%

     • Normal threshold <= 10%

   • Degree of importance : Weak rule

3. Dans System Template, trouvez la règle The number of rows is greater than 0. et cliquez sur Use. Définissez ensuite Degree of importance sur Strong rules.

4. Cliquez sur Determine.

   Remarque

   Pour plus d'informations sur les éléments de configuration, reportez-vous à Configurer les règles de surveillance.

3. Autres

Les procédures de test run et d'abonnement sont identiques à celles décrites dans Configurer les règles de surveillance pour ods_raw_log_d.