Avec l'expansion des activités, le volume de données croît de manière exponentielle. Cette évolution génère des ensembles de données vastes et complexes, caractérisés par des normes incohérentes, ce qui rend la gestion des données particulièrement difficile. Le service Intelligent Data Modeling de DataWorks offre une méthode structurée pour organiser des données désordonnées, complexes et massives, vous aidant ainsi à maximiser la valeur des données de votre entreprise.
Prérequis
Intelligent Data Modeling est un service à valeur ajoutée au sein de DataWorks. Activez-le avant utilisation. Pour plus d'informations sur les différentes éditions et les détails de facturation : Facturation du service Intelligent Data Modeling.
La modélisation des données n'est prise en charge que sur Chrome 69 ou version ultérieure, sur PC.
Limitations
Les autorisations pour le service Intelligent Data Modeling varient selon le rôle attribué dans l'espace de travail :
Consultation des détails du modèle : tous les rôles de l'espace de travail, y compris Visitor, Workspace Administrator, Model Designer et Project Owner, peuvent consulter les modèles de données.
Modification des informations du modèle : nécessite le rôle Workspace Administrator, Development Personnel, O&M Personnel ou Model Designer.
Publication des modèles de données : nécessite le rôle Workspace Administrator ou O&M Personnel.
Attribuez les rôles requis aux utilisateurs cibles. Gérer les autorisations sur les modules d'un espace de travail.
Présentation
La fonctionnalité Data Modeling de DataWorks couvre la planification de l'entrepôt de données, les normes de données, la modélisation dimensionnelle et les métriques de données. Elle permet de matérialiser les tables de dimensions, les tables de faits et les tables d'agrégation issues de vos conceptions dans un moteur de calcul.
-
Data Warehouse Planning
Concevez les couches de données, les catégories métier, les domaines de données, les zones thématiques et les processus métier depuis la page de planification de l'entrepôt de données.
-
Data Layer
Concevez les couches de données en fonction de vos scénarios métier et de vos données. DataWorks propose une architecture par défaut en cinq couches :
Operational Data Store (ODS)
Data Warehouse Detail (DWD)
Data Warehouse Summary (DWS)
Application Data Service (ADS)
Dimension (DIM)
Vous pouvez également créer des couches de données personnalisées. Créer une couche de données personnalisée.
-
Business Category
Définissez des catégories métier afin d'aider les différents types d'activités à localiser rapidement leurs données, puis associez ces catégories aux tables de dimensions et aux tables de faits lors de la modélisation. Catégorie métier.
-
Data Domain
Un domaine de données constitue une norme de classification des données de haut niveau : il s'agit d'un ensemble de processus métier abstraits qui aide les utilisateurs à localiser rapidement les données pertinentes.
Chaque domaine de données correspond à un domaine analytique macroscopique, tel que les achats, la chaîne d'approvisionnement, les ressources humaines ou le commerce électronique. La gestion des domaines de données doit être confiée à une équipe ou à une personne disposant d'une connaissance approfondie du métier, comme un architecte de données ou un membre de l'équipe de modélisation. Domaine de données.
-
Business Process
Un processus métier décrit le flux d'une activité commerciale. Dans le commerce électronique, l'ajout au panier, la passation de commande et le paiement constituent chacun un processus métier. Un cas d'utilisation courant est l'analyse en entonnoir, qui permet de suivre les commandes à chaque étape (navigation, panier, commande, paiement, réception) afin d'analyser la métrique « nombre de commandes » tout au long du parcours. Processus métier.
-
Data Mart
Un Data Mart définit des thèmes métier détaillés pour une catégorie métier spécifique, en utilisant des zones thématiques pour partitionner les données selon une perspective analytique, afin de servir les applications métier et l'analyse statistique. Un exemple typique est un Data Mart dédié à une plateforme opérationnelle. Data Mart.
-
Zone thématique
Une zone thématique divise un Data Mart selon une perspective analytique : il s'agit d'un regroupement de thèmes de données étroitement liés, organisés autour d'un axe métier. Parmi les exemples courants dans le commerce électronique figurent les transactions, les membres et les produits. Zone thématique.
-
-
Data Standard
Définissez les normes de données avant la modélisation ou élaborez-les progressivement à partir des pratiques métier. Normalisez les tables de référence, les unités de mesure, les normes de champ et les dictionnaires de nommage afin de garantir la cohérence entre la modélisation et les applications.
Par exemple, une table d'inscription stocke l'identifiant du membre dans un champ nommé user_id, tandis qu'une table de connexion utilise userid. Créez une norme de champ unifiée pour l'identifiant du membre, spécifiant une table de référence, les propriétés du champ (type de données, longueur, valeur par défaut) et l'unité de mesure. Associez cette norme au champ d'identifiant du membre dans tous les modèles pour assurer la cohérence entre les tables.
Créez des normes de champ dans DataWorks : Norme de champ.
-
Dimensional Modeling
DataWorks suit les principes de la modélisation dimensionnelle. Lors de la conception d'un entrepôt de données avec cette approche :
-
Dimension Table
Extrayez les dimensions potentielles à partir de votre plan de domaine de données et stockez-les ainsi que leurs attributs dans des tables de dimensions. Par exemple, dans le commerce électronique : la dimension commande (ID de commande, heure de création, ID acheteur, ID vendeur), la dimension utilisateur (genre, date de naissance) et la dimension produit (ID produit, nom, date de lancement). Déployez ces tables dans votre entrepôt de données et utilisez des tâches ETL pour les remplir avec les données de dimension réelles.
-
Fact Table
Identifiez les données factuelles générées lors de chaque processus métier et stockez-les dans des tables de faits. Par exemple, pour le processus « passer commande », créez une table de faits enregistrant l'ID de commande, l'heure de création, l'ID produit, la quantité et le montant. Déployez ces tables et utilisez des tâches ETL pour consolider les données réelles destinées à l'analyse métier.
-
Aggregate Table
Pré-agrégez les données détaillées des faits et des dimensions dans une table d'agrégation, en fonction des besoins d'analyse et des couches de l'entrepôt de données. Interrogez directement la table d'agrégation plutôt que les tables de faits et de dimensions, plus granulaires.
-
Application Table
Une table d'application organise plusieurs métriques atomiques et métriques dérivées partageant la même période et les mêmes dimensions pour un scénario métier spécifique. Elle sert de base aux requêtes métier, à l'analyse OLAP et à la distribution des données.
-
Reverse Modeling
Importez des modèles générés par d'autres outils dans le module de modélisation dimensionnelle. Si vous disposez déjà de modèles et souhaitez basculer vers la modélisation intelligente de DataWorks, la modélisation inversée permet de les importer rapidement sans avoir à les remodeler.
Créez des modèles logiques : Créer un modèle logique : Table de dimensions, Créer un modèle logique : Table de faits, Créer un modèle logique : Table d'agrégation et Créer un modèle logique : Table d'application. Modélisation inversée : Modélisation inversée : Inverser une table physique.
-
-
Data Metrics
La modélisation des données propose une fonctionnalité de métriques de données pour construire un système de métriques unifié.
Le système de métriques se compose de la Atomic Metric, du Modifier, de la Period et de la Derived Metric.
Atomic Metric : une mesure basée sur un processus métier, telle que le « montant du paiement » dans le processus « effectuer un paiement ».
Modifier : un qualificateur qui limite la portée d'une métrique, par exemple en restreignant la statistique « montant du paiement » aux « produits maternité et petite enfance ».
Period : une plage de temps ou un point temporel pour une métrique, comme spécifier que le « montant du paiement » doit être calculé sur les « 7 derniers jours ».
Derived Metric : une combinaison d'une métrique atomique, d'un modificateur et d'une période. Par exemple, « montant total des paiements pour les produits maternité et petite enfance au cours des 7 derniers jours ».
Construisez un système de métriques : Métrique de données.
Importance de la modélisation des données
-
Gestion normalisée des volumes de données massifs
À mesure que les activités se développent, le volume de données et leur complexité structurelle augmentent rapidement. Il est essentiel de gérer et de stocker ces données de manière structurée et ordonnée.
-
Briser les silos de données et permettre la connectivité
Lorsque les unités commerciales gèrent les données de manière indépendante, des silos se forment, empêchant les décideurs d'obtenir une vue claire et rapide des données à l'échelle de l'entreprise. Briser ces silos constitue un défi majeur dans la gestion des données d'entreprise.
-
Normes de données unifiées pour une intégration flexible
Des descriptions de données incohérentes entraînent des difficultés de gestion, des duplications de contenu et des résultats inexacts. Des normes de données unifiées permettent une intégration flexible avec les services en amont et en aval, sans perturber l'architecture existante.
-
Maximiser la valeur des données et les bénéfices métier
Une modélisation des données efficace maximise la valeur des données de l'entreprise, offrant des services de données plus performants pour votre activité.