DataWorks:Defining and using data standards

Normes de champ

Une norme de champ normalise le nom, le type de données et la plage de valeurs d'un champ. La standardisation des champs ayant la même signification évite la confusion liée aux variations de nommage ou de type. Par exemple, une norme de champ nommée member_id garantit que tous les champs d'identifiant de membre dans les tables partagent une définition cohérente.

Tables de référence

Une table de référence définit la plage de valeurs valides et le contenu autorisé pour un champ. Par exemple, les valeurs d'un champ gender peuvent être restreintes à Male, Female et Unknown.

Unités de mesure

Une unité de mesure définit des unités pertinentes pour l'activité, telles que les devises, les quantificateurs d'objets et les unités de temps. Par exemple, l'unité de mesure pour la product quantity est pieces.

Dictionnaires de nommage

Un dictionnaire de nommage fournit des traductions standardisées pour les termes métier, les tables physiques et les champs, y compris les racines et les morphèmes. Il sert de bibliothèque d'entreprise pour les conventions de nommage. Par exemple, le chiffre d'affaires annuel d'une entreprise peut être normalisé sous la forme Annual Gross Revenue.

Hiérarchie

• Une norme de champ doit être placée sous le répertoire racine, un répertoire ou un ensemble de normes. La hiérarchie est la suivante :

  • Répertoire racine : Répertoire de niveau supérieur. Tous les autres répertoires, ensembles de normes et normes doivent être placés dans le répertoire racine.

  • Répertoire : Dossier utilisé pour stocker les normes et les ensembles de normes, similaire à un dossier dans un système d'exploitation.

  • Ensemble de normes : Similaire à un répertoire, mais ne peut contenir que des normes.

• Les normes de champ peuvent avoir des relations d'héritage. Par exemple, les normes d'ID acheteur et d'ID vendeur peuvent toutes deux hériter d'une norme d'ID membre.

Définition d'une norme de champ

1. Dans la barre de navigation de gauche de la page Data Standard, cliquez sur Field Standard pour accéder à la page Field Standard.

2. Dans l'arborescence de gauche, faites un clic droit sur le répertoire ou l'ensemble de normes cible et sélectionnez Créer une norme.

   Vous pouvez créer des répertoires ou des ensembles de normes pour organiser vos normes de champ selon vos besoins.

3. Dans la boîte de dialogue Create Standard, configurez les paramètres clés suivants.

   Paramètre	Description
   Abbreviation	Nom du champ associé dans un modèle logique.
   Display Name	Nom d'affichage du champ associé dans un modèle logique.
   Length	Paramètre lié au type de données. Par exemple, si vous sélectionnez le type de données DECIMAL, la longueur correspond à 20 dans DECIMAL(20,4).
   Precision	Paramètre lié au type de données. Par exemple, si vous sélectionnez le type de données DECIMAL, la précision correspond à 4 dans DECIMAL(20,4).
   Not Null	Indique si un champ référençant cette norme peut être nul. Les valeurs nulles sont autorisées par défaut.
   Default Value	Valeur par défaut du champ si aucune valeur n'est fournie. La valeur ne peut pas dépasser 2 048 caractères.
   Parent Standard	Sélectionnez une norme existante comme parent pour établir une relation d'héritage et mieux identifier les associations de champs. Par exemple, buyer ID et seller ID sont tous deux des types de member ID. Par conséquent, la norme parente pour la norme buyer ID et la norme seller ID est la norme member ID.
   Referenced Lookup Table	Référencez une table de référence existante pour contraindre la plage de valeurs d'un champ. Pour plus d'informations, consultez la section Normes de données : Tables de référence.

   Important

   Avant de supprimer une norme de champ, supprimez toutes ses références.

Utilisation d'une norme de champ

Les normes de champ peuvent définir des champs spécifiques dans les modèles logiques, y compris les source tables, dimension tables, fact tables, aggregate tables et application tables. Par exemple, dans la table de dimension pour les informations sur les membres dim_ec_con_member_df, vous pouvez associer le champ d'ID membre à la norme de champ member_id. Le nom du champ est hérité de l'abbreviation de la norme de champ, le nom d'affichage du display name, et les propriétés telles que Type et Not Empty sont également héritées. Pour plus d'informations, consultez la section Configuration des champs de table de dimension.

Définition d'une table de référence

1. Dans le volet de navigation de gauche de la page Data Standard, cliquez sur Lookup Table pour accéder à la page Lookup Table.

2. Faites un clic droit sur le nom du répertoire créé et cliquez sur Create Lookup Table.

   Vous pouvez créer des répertoires pour organiser vos tables de référence selon vos besoins.

3. Dans la boîte de dialogue Create Lookup Table, configurez les paramètres suivants et ajoutez des valeurs énumérées.

   Par exemple, définissez l'ID sur gender, le nom d'affichage sur Gender et le nom sur gender. Les valeurs énumérées sont présentées dans le tableau suivant.

   Valeur de code	Nom de code	Nom	Description
   0	Unknown	unknown	Genre non spécifié
   1	Male	male	Mâle
   2	Female	female	Femelle

   Important

   Avant de supprimer une table de référence, supprimez toutes ses références.

Publication d'une table de référence

Sur la page des détails de la table de référence, cliquez sur Publish dans le coin supérieur droit pour matérialiser la table de référence en tant que table physique ou vue matérialisée.

Utilisation d'une table de référence

Les tables de référence peuvent définir des champs spécifiques dans les modèles logiques, y compris les source tables, dimension tables et fact tables. Par exemple, dans la table de dimension pour les informations sur les membres dim_ec_con_member_df, vous pouvez associer le champ gender à la table de référence gender. Le nom du champ est hérité de l'ID de la table de référence et le nom d'affichage du nom d'affichage de la table de référence. Pour plus d'informations, consultez la section Configuration des champs de table de dimension.

L'association d'une table de référence unifie automatiquement les noms de champs sur plusieurs tables.

Application des normes basées sur les tables de référence

Lorsqu'une fact table ou une dimension table de modèle logique est publiée en tant que table physique, vous pouvez générer une règle de qualité pour un champ associé à une table de référence. Cette règle peut être utilisée pour créer une tâche de surveillance de la qualité qui applique la norme sur la table physique. Pour plus d'informations, consultez la section Étiquetage des données.

Voici un exemple de règle de qualité générée : le nom de la règle est Field Rule-Lookup Table-(gender), la dimension de qualité est Consistency, la portée est Field-level(gender) et le modèle de règle est Number of rows with mismatched enumerated values is 0. Pour le seuil de surveillance, !=0 indique une exception et =0 indique un état normal. La gravité est Weak Rule.

Définition d'une unité de mesure

1. Sur la page Data Standard, dans la barre de navigation de gauche, cliquez sur Measurement Unit pour accéder à la page Measurement Unit.

2. Sur la page Measurement Unit, faites un clic droit sur la catégorie de mesure cible et sélectionnez Create Measurement Unit.

3. Dans la boîte de dialogue Create Measurement Unit qui s'affiche, configurez les paramètres pour terminer la configuration.

   Par exemple, définissez l'abréviation sur m, le nom sur meter et le nom d'affichage sur Meter.

Utilisation d'une unité de mesure

Définition d'un dictionnaire de nommage

1. Sur la page Data Standard, dans la barre de navigation de gauche, cliquez sur Naming Dictionary pour accéder à la page Naming Dictionary.

2. Cliquez sur Create. Dans la boîte de dialogue Create Naming Dictionary, configurez les paramètres et cliquez sur OK.

   Par exemple, définissez le nom d'affichage sur Engine, le nom sur engine et l'abréviation sur eng..

Utilisation d'un dictionnaire de nommage

Un dictionnaire de nommage valide si les noms de tables sont conformes aux conventions de nommage des couches d'entrepôt de données. Cette fonctionnalité est prise en charge pour les source tables, dimension tables, fact tables, aggregate tables et application tables. Par exemple, si aucune entrée de dictionnaire de nommage avec l'abréviation trade n'existe, le nom de table dwd_trade_order n'est pas conforme à la convention de nommage de la couche DWD.

Sur la page Checker Management, cliquez sur Add Rule. Sélectionnez Table Name comme type de règle. Vous pouvez ensuite définir la règle en utilisant le texte fixe dwd et les sélections dans les listes déroulantes Root Word Abbreviation et Business Process Abbreviation pour correspondre à votre convention de nommage.

Pour utiliser cette fonctionnalité, vous pouvez la configurer dans le vérificateur de couche d'entrepôt de données. Pour plus d'informations, consultez les sections Configuration des vérificateurs de couche d'entrepôt de données et Utilisation des vérificateurs.

Importation par lot des normes

Pour un grand nombre de normes de données, vous pouvez les importer par lot. Téléchargez le modèle d'importation fourni par DataWorks, remplissez-le et téléchargez-le.

1. Sur la page Data Standard, dans la barre de navigation de gauche, cliquez sur Naming Dictionary pour accéder à la page Naming Dictionary.

   Les pages de détails des normes de champ et des tables de référence proposent également des boutons Import et Export.

2. Cliquez sur Import et, sur la page Import, sélectionnez le Import Type.

3. Dans la section Template Preview, cliquez sur Download Template et remplissez les champs requis.

4. Cliquez sur Next Step. Sur l'onglet Data Import, téléchargez et prévisualisez le fichier de données.

   Remarque

   • Import Mode : Si un objet portant le même nom que le fichier importé existe déjà dans DataWorks, vous pouvez choisir d'ignorer l'objet ou de le remplacer par le contenu du fichier importé.

   • Seuls les fichiers au format .xlsx sont pris en charge pour l'importation par lot. Vous pouvez importer jusqu'à 30 000 enregistrements à la fois. La taille du fichier ne peut pas dépasser 10 MB.

5. Sur l'onglet Complete, vous pouvez afficher les détails du résultat de l'importation. Cliquez sur View More Details dans la liste des détails pour accéder à la page de modification, où vous pouvez effectuer des opérations supplémentaires. Si l'état de l'importation est Échec, vous devez résoudre l'erreur en fonction des détails de l'erreur et réimporter les données.

Exportation par lot des normes

Pour réutiliser les normes de données entre les espaces de travail, exportez-les par lot depuis les pages de détails des normes de champ, des tables de référence ou des dictionnaires de nommage.