Définir des règles de qualité des données - Data Management

La fonctionnalité de qualité des données de Data Management (DMS) vous permet de définir des règles de qualité personnalisées pour les tables et les colonnes. En intégrant ces règles aux tâches d'audit dans Task Orchestration, vous automatisez les contrôles de qualité des données afin de garantir leur cohérence, leur unicité et leur exhaustivité, améliorant ainsi la fiabilité de vos données pour l'analyse et le développement.

Prérequis

L'instance cible doit être en mode Security Collaboration. Pour plus d'informations, consultez Modes de contrôle.
Vous devez disposer de l'une des autorisations suivantes :
- Posséder un rôle système Admin, DBA ou Schema Read-Only. Pour plus d'informations, consultez Rôles système.
- Être le propriétaire de l'instance ou le DBA de l'instance cible. Pour plus d'informations, consultez Modifier les informations de l'instance.
- Disposer des autorisations de requête, de modification ou d'exportation pour la table ou la base de données contenant la table. Pour plus d'informations, consultez Afficher mes autorisations.

Contexte

À mesure que les besoins en analyse et en développement de données augmentent, il devient crucial de garantir la qualité des données. Les données proviennent souvent de sources diverses, présentent des structures complexes, ont un volume important et comportent des interdépendances. Maintenir une haute qualité des données est essentiel pour s'assurer qu'elles sont correctes, conformes aux attentes et produisent des résultats d'analyse fiables. Par exemple, avant de démarrer une tâche d'analyse de données, vérifiez que la qualité des données source répond à vos exigences afin de garantir le bon déroulement de la tâche.

Concepts clés

Règle de qualité : règle appliquée à une table ou à une colonne pour garantir que les données répondent à des attentes spécifiques. Par exemple, vous pouvez définir une règle selon laquelle le nombre de lignes d'une table doit avoir une valeur fixe, ou que la valeur maximale d'une colonne ne peut pas dépasser 100.
Tâche d'audit : tâche qui surveille et vérifie si les données sont conformes aux règles de qualité définies. Après avoir configuré les règles de qualité et un cycle de planification, le système vérifie automatiquement la qualité des données et génère un rapport.

Procédure

Connectez-vous à DMS 5.0.
Dans la barre de navigation supérieure, sélectionnez SQL Console > SQL Console.
Dans la boîte de dialogue Please select the database first , recherchez l'instance de base de données, sélectionnez-la, puis cliquez sur Confirm .
Dans le coin supérieur droit de l'onglet SQL Console, cliquez sur l'icône située dans la section des fonctionnalités étendues.
Localisez la table, placez le pointeur sur More dans la colonne Actions , puis sélectionnez View Table Details .
Cliquez sur l'onglet Data quality .

Cliquez sur Create Rule . Dans le volet qui s'affiche à droite, configurez les paramètres.

Paramètre	Description	Exemple
Rule Name	Nom de la règle.	Maximum column value is 100
Rule Type	Type de règle. Options disponibles : Table Rule : Crée une règle au niveau de la table. Par exemple, vous pouvez vérifier si le nombre de lignes d'une table correspond à vos attentes. Column Rule : Crée une règle au niveau de la colonne. Par exemple, vous pouvez vérifier le nombre de valeurs nulles dans une colonne.	Column rule
Rule Template	Sélectionnez un modèle de règle intégré. Pour plus d'informations, consultez Modèles de règles de qualité.	Maximum Value in a Column
Column name	Sélectionnez la colonne cible pour la règle. Ce paramètre n'est affiché que lorsque Rule Type est défini sur Column Rule .	`columns_test`
Comparison Method	Sélectionnez une méthode pour comparer la valeur réelle avec la Expected Value . Méthodes prises en charge : Greater , Greater than or equal , Equal , Is less than or equal , Less et Not equal .	Less than or equal
Expected Value	Saisissez la valeur cible attendue.	100

Cliquez sur OK .
Une règle de qualité est Enabled par défaut lors de sa création.
Remarque
Vous pouvez également effectuer les opérations suivantes sur la règle dans la colonne Actions :
- Cliquez sur Disabled pour désactiver la règle. Une fois désactivée, la règle ne peut plus être utilisée pour créer une nouvelle tâche d'audit.
  
  Si la règle est déjà utilisée dans une tâche d'audit, l'opération échoue. Supprimez d'abord la tâche d'audit, puis réessayez.
- Sélectionnez More > Edit pour modifier la règle de qualité.
- Sélectionnez More > Logs pour afficher les versions historiques de la règle.
Dans la colonne Actions de la règle cible, sélectionnez More > New Task Flow .
Vous êtes redirigé vers la page Task Orchestration. Configurez le nœud Audit Task et publiez le flux de tâches.

Remarque
Pour plus d'informations, consultez Présentation .

Après avoir configuré un cycle de planification et publié le flux de tâches, le système vérifie automatiquement les données selon la planification et les règles de qualité.

Modèles de règles de qualité

Rule Type	Rule Template
Table Rule	Number of Rows in a Table (Fixed Value) : Vérifie si le nombre actuel de lignes dans la table correspond à la valeur attendue. Par exemple, vous pouvez configurer une règle stipulant que le nombre de lignes doit être inférieur à 100 000.
Column Rule	Maximum Value in a Column : Vérifie si la valeur maximale d'une colonne correspond à vos attentes. Par exemple, vous pouvez spécifier que la valeur maximale d'une colonne de clé primaire ne peut pas dépasser 2 147 483 647 (2³¹ - 1). Minimum Value in a Column : Vérifie si la valeur minimale d'une colonne correspond à vos attentes. Par exemple, vous pouvez spécifier que la valeur minimale d'un champ pour les pièces de rechange ne peut pas être inférieure à 3. Number of Strings That Match an Expression with Wildcards (Fixed Value) : Vérifie si le nombre de valeurs correspondant à un format spécifié dans une colonne correspond à vos attentes. Par exemple, vous pouvez spécifier que le nombre de valeurs commençant par « a » doit être inférieur à 10. Number of Strings That Match a Regular Expression (Fixed Value) : Vérifie si le nombre de valeurs correspondant à un format spécifié dans une colonne correspond à vos attentes. Par exemple, vous pouvez spécifier que, dans une colonne stockant des adresses e-mail, le nombre de valeurs correspondant à l'expression régulière doit être supérieur à 100. Number of Null Values in a Column (Fixed Value) : Vérifie si le nombre de valeurs nulles dans une colonne correspond à vos attentes. Par exemple, vous pouvez configurer le nombre de valeurs nulles pour qu'il soit inférieur ou égal à 0. Number of Unique Values in a Column (Fixed Value) : Vérifie si le nombre de valeurs uniques dans une colonne correspond à vos attentes. Par exemple, vous pouvez spécifier que le nombre de valeurs uniques doit être supérieur ou égal à 100 afin de garantir la présence d'au moins 100 valeurs différentes. Number of Duplicate Values in a Column (Fixed Value) : Vérifie si le nombre de valeurs en double dans une colonne correspond à vos attentes. Par exemple, vous pouvez spécifier que le nombre de valeurs en double doit être inférieur à 100 afin de garantir que le nombre d'occurrences de valeurs en double ne dépasse pas 100.