Après la publication d'un modèle dans l'environnement de production, DataWorks Intelligent Data Modeling génère automatiquement des règles de surveillance de la qualité des données pour garantir la qualité des tables correspondantes.
Prérequis
Vous avez publié la table dans l'environnement de production. Pour plus d'informations sur la publication des tables, consultez la rubrique Matérialiser les modèles logiques.
Notes
Lorsque vous publiez une table dans l'environnement de production, DataWorks génère automatiquement des règles de qualité des données pour les champs suivants définis dans les paramètres de gestion des champs :
Les champs marqués comme Primary Key ou Not Null.
Les champs configurés avec l'option Lookup Table to Associate.
Procédure
Publier une table dimensionnelle
-
Connectez-vous à la console DataWorks. Dans la région cible, accédez à dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante, puis cliquez sur Go to Data Modeling.
Cliquez sur Dimensional Modeling dans la barre de navigation supérieure pour accéder à la page Dimensional Modeling. Sélectionnez la table pour laquelle vous souhaitez configurer l'étiquetage des données, puis double-cliquez sur son nom pour ouvrir sa page de détails.
Dans la section Field Management, configurez les propriétés suivantes pour les champs de la table : Primary Key, Not Null et Field Association.
Cliquez sur
pour enregistrer la table, puis sur 
pour soumettre la table en tant que nouvelle version du modèle.-
Cliquez sur
pour publier la table. Dans la boîte de dialogue Publish, configurez les paramètres suivants :Effective Environment : sélectionnez à la fois Production et Development.
Automatic Rule Generation Based on Field Standard : sélectionnez Yes.
Conservez les valeurs par défaut pour tous les autres paramètres. Une fois la configuration terminée, cliquez sur Publish pour publier le modèle de table.
Consulter les règles de qualité
Génération automatique de règles de qualité
Cliquez sur 
Quality Rules dans la barre de navigation supérieure pour accéder à la page Data Quality Rule et afficher les règles de qualité générées automatiquement par l'étiquetage automatique. Sur la page Data Labeling, cliquez sur Generate Data Quality Rule pour créer automatiquement les règles de qualité correspondantes en un seul clic. Après avoir cliqué sur Generate Quality Rules pour la table dimensionnelle testtb, le système crée automatiquement deux règles souples activées : Field Rule - Unique - (id) (dimension de qualité : unicité ; modèle de règle : valeur fixe pour le nombre de valeurs en double ; seuils de surveillance : alerte rouge si ≠ 0,0, alerte verte si = 0,0) et Field Rule - Not Null - (id) (dimension de qualité : exhaustivité ; modèle de règle : valeur fixe pour le nombre de valeurs nulles ; seuils de surveillance : alerte rouge si ≠ 0,0, alerte verte si = 0,0). Le moteur d'exécution est MAXCOMPUTE, l'environnement d'exécution est PRODUCT et le schéma est default.
Configuration manuelle de la génération de règles
Cliquez sur le bouton Configure Monitoring pour accéder à . Cliquez sur Create Rule pour créer une nouvelle règle. Pour plus d'informations, consultez la rubrique Configurer des règles : par table (table unique).
Un panneau Create from Rule Template s'affiche à droite, proposant trois méthodes de création : + System Template Rule, + Custom Template Rule et + Custom SQL. Le système fournit 63 modèles, classés par type : nombre de lignes de table, taux de correspondance des conditions, taille de la table, nombre de lignes avec des valeurs nulles, nombre de lignes avec des valeurs en double, nombre de valeurs uniques, valeur minimale, valeur maximale, valeur moyenne, valeur agrégée, valeurs d'énumération, valeurs discrètes et SQL personnalisé.
Générer la surveillance de la qualité
Après avoir configuré les règles de qualité, accédez à la page de liste des règles. Cliquez sur le nom de la règle dans la colonne ID/rule name pour accéder à l'onglet . Basculez ensuite vers l'onglet Monitor et configurez l'option Create Monitor. La configuration détaillée est la suivante :
|
Module |
Élément de configuration |
Détails de la configuration |
|
Basic Configurations |
Monitor Name |
Saisissez un nom personnalisé pour la tâche de surveillance de la qualité. |
|
Data Range |
La plage d'horodatage est générée par défaut en fonction du type de table de l'objet surveillé. Si l'objet surveillé est une table partitionnée, la Data Range est définie par défaut sur une étendue basée sur les partitions. Vous pouvez sélectionner des partitions spécifiques, par exemple : |
|
|
Running Settings |
Trigger Method |
Sélectionnez l'une des options suivantes :
|
|
Associated Scheduling Node (Déclenchement de la planification de production) |
Cliquez sur Add Node, puis sélectionnez l'espace de travail et le nœud pour la tâche de surveillance de la qualité. Remarque
Dans le centre d'opérations DataWorks, associez la tâche de surveillance de la qualité à une tâche planifiée récurrente. Après l'exécution du nœud, les règles de qualité sous cette tâche de surveillance sont automatiquement déclenchées. |
|
|
Compute Resource Selection |
Sélectionnez les ressources de calcul pour l'exécution des vérifications des règles de qualité. Par défaut, la source de données associée à la table surveillée dans l'espace de travail actuel est sélectionnée. Si vous sélectionnez une autre source de données, assurez-vous qu'elle peut accéder à la table. |
|
|
Handling Policies |
Issue Strategy |
Conservez le paramètre par défaut. |
|
Monitoring Rule |
Cliquez sur Batch Select, puis sélectionnez les règles de qualité à inclure dans la tâche de surveillance en filtrant par ID/rule name, Template et Association Range. |
|
Vous pouvez consulter le most recent run record d'une tâche de surveillance de la qualité et modifier la méthode d'abonnement ainsi que les destinataires pour Subscribe to Alerts dans .
Si vous activez et exécutez des règles de qualité après leur génération, l'exécution de ces règles entraîne des frais. Pour plus de détails sur la facturation, consultez la rubrique Facturation des instances Data Quality.
Modifier ou supprimer des règles d'étiquetage
Modifiez ou supprimez les règles d'étiquetage depuis l'interface de modélisation des données.
Mettez à jour les règles d'étiquetage en modifiant les propriétés des champs dans l'interface de modélisation, par exemple en changeant le nom du champ, en passant un champ de Not Null à non obligatoire, ou en mettant à jour la règle de table de recherche associée.
Ajoutez ou supprimez des champs pour modifier ou supprimer les règles d'étiquetage.
Supprimez le modèle de table pour modifier ou supprimer la règle de secours.
Après avoir modifié ou supprimé des champs dans le modèle de table, cliquez sur 
pour republier la table.