Com a expansão dos negócios, os dados crescem exponencialmente. Esse cenário gera conjuntos de dados vastos e complexos, com padrões inconsistentes, o que torna o gerenciamento de dados um desafio significativo. O serviço inteligente de Modelagem de Dados no DataWorks oferece uma forma estruturada de organizar dados desorganizados, complexos e em grande escala, ajudando você a maximizar o valor dos dados da sua empresa.
Pré-requisitos
A Modelagem de Dados Inteligente é um serviço de valor agregado no DataWorks. Ative-o antes de usar. Para obter mais informações sobre as diferentes edições e detalhes de faturamento: Faturamento da Modelagem de Dados Inteligente.
A Modelagem de Dados é compatível apenas com o Chrome 69 ou posterior em PCs.
Limitações
As permissões para a Modelagem de Dados Inteligente variam conforme a função no workspace:
Visualize detalhes do modelo: Todas as funções do workspace, incluindo Visitor, Workspace Administrator, Model Designer e Project Owner, podem visualizar modelos de dados.
Edite informações do modelo: Requer a função Workspace Administrator, Development Personnel, O&M Personnel ou Model Designer.
Publicar modelos de dados: Requer a função Workspace Administrator ou O&M Personnel.
Conceda as funções necessárias aos usuários-alvo. Gerencie permissões em módulos de um workspace.
Visão geral
A Modelagem de Dados do DataWorks abrange Planejamento de Data Warehouse, Padrões de Dados, Modelagem Dimensional e Métricas de Dados. Materialize Tabelas de Dimensão, Tabelas Fato e Tabelas Agregadas a partir dos seus designs em um mecanismo de computação.
-
Data Warehouse Planning
Projete Camadas de Dados, Categorias de Negócios, Domínios de Dados, Áreas Temáticas e Processos de Negócios na página Data Warehouse Planning.
-
Data Layer
Projete Camadas de Dados com base nos seus cenários de negócios e de dados. O DataWorks fornece uma arquitetura padrão de cinco camadas:
Operational Data Store (ODS)
Data Warehouse Detail (DWD)
Data Warehouse Summary (DWS)
Application Data Service (ADS)
Dimension (DIM)
Você também pode criar Camadas de Dados personalizadas. Crie uma camada de dados personalizada.
-
Business Category
Defina Categorias de Negócios para ajudar diferentes tipos de negócio a localizar rapidamente seus dados e associe categorias a Tabelas de Dimensão e Tabelas Fato durante a modelagem. Categoria de negócios.
-
Data Domain
Um Domínio de Dados é um padrão de classificação de dados de alto nível — uma coleção de processos de negócios abstraídos que ajuda os usuários a localizar rapidamente os dados relevantes.
Cada Domínio de Dados corresponde a uma área analítica de nível macro, como compras, cadeia de suprimentos, RH ou e-commerce. Uma equipe ou indivíduo unificado, como um arquiteto de dados ou membro da equipe de modelagem, com profundo entendimento do negócio, deve gerenciar os Domínios de Dados. Domínio de dados.
-
Business Process
Um Processo de Negócios descreve um fluxo de atividades de negócios. No e-commerce, adicionar ao carrinho, fazer um pedido e realizar o pagamento são, cada um, um Processo de Negócios. Um caso de uso comum é a análise de funil — rastrear pedidos em cada etapa (navegação, carrinho, pedido, pagamento, recebimento) para analisar a métrica "contagem de pedidos" ao longo do funil. Processo de negócios.
-
Data Mart
Um Data Mart define temas de negócios detalhados para uma Categoria de Negócios específica, usando Áreas Temáticas para particionar dados por perspectiva analítica, atendendo a aplicações de negócios e análises estatísticas. Um exemplo é um Data Mart para uma plataforma de operações. Data Mart.
-
Subject Area
Uma Área Temática divide um Data Mart por perspectiva analítica — uma coleção de temas de dados intimamente relacionados, agrupados por foco de negócios. Exemplos comuns no e-commerce: transações, membros e produtos. Área temática.
-
-
Data Standard
Defina Padrões de Dados antes da modelagem ou desenvolva-os a partir de práticas de negócios ao longo do tempo. Padronize Tabelas de Consulta, Unidades de Medida, Padrões de Campos e Dicionários de Nomenclatura para garantir consistência entre a modelagem e a aplicação.
Por exemplo, uma tabela de registro armazena o ID do membro em um campo chamado user_id, enquanto uma tabela de login usa userid. Crie um Padrão de Campo unificado para o ID do membro que especifique uma Tabela de Consulta, propriedades do campo (tipo de dados, comprimento, valor padrão) e Unidade de Medida. Associe esse padrão ao campo de ID do membro em todos os modelos para garantir consistência entre tabelas.
Crie Padrões de Campos no DataWorks: Padrão de campo.
-
Dimensional Modeling
O DataWorks segue princípios de Modelagem Dimensional. Ao projetar um data warehouse com Modelagem Dimensional:
-
Dimension Table
Extraia dimensões potenciais do seu plano de Domínio de Dados e armazene-as, junto com seus atributos, em Tabelas de Dimensão. Por exemplo, no e-commerce: a dimensão pedido (ID do pedido, hora de criação, ID do comprador, ID do vendedor), dimensão usuário (gênero, data de nascimento) e dimensão produto (ID do produto, nome, data de lançamento). Implante essas tabelas no seu data warehouse e use jobs ETL para preenchê-las com dados reais de dimensão.
-
Fact Table
Identifique dados factuais gerados durante cada Processo de Negócios e armazene-os em Tabelas Fato. Por exemplo, para "fazer pedido", crie uma Tabela Fato registrando ID do pedido, hora de criação, ID do produto, quantidade e valor. Implante essas tabelas e use jobs ETL para consolidar dados reais para análise de negócios.
-
Aggregate Table
Pré-agregue dados detalhados de fato e dimensão em uma Tabela Agregada com base nas necessidades de análise e nas camadas do data warehouse. Consulte a Tabela Agregada diretamente em vez das Tabelas Fato e de Dimensão mais granulares.
-
Application Table
Uma Tabela de Aplicação organiza múltiplas Métricas Atômicas e Métricas Derivadas que compartilham o mesmo Período e dimensões para um cenário de negócios específico. Ela serve como base para consultas de negócios, análise OLAP e distribuição de dados.
-
Reverse Modeling
Importe modelos gerados por outras ferramentas para o módulo de Modelagem Dimensional. Se você já possui modelos e deseja migrar para a modelagem inteligente do DataWorks, a Modelagem Reversa permite importá-los rapidamente sem necessidade de remodelagem.
Crie modelos lógicos: Crie um modelo lógico: Tabela de Dimensão, Crie um modelo lógico: Tabela Fato, Crie um modelo lógico: Tabela Agregada e Crie um modelo lógico: Tabela de Aplicação. Modelagem reversa: Modelagem Reversa: Reverter uma tabela física.
-
-
Data Metrics
A Modelagem de Dados fornece o recurso de Métricas de Dados para construir um sistema de métricas unificado.
O sistema de métricas consiste em Atomic Metric, Modifier, Period e Derived Metric.
Atomic Metric: Uma medida baseada em um Processo de Negócios, como "valor do pagamento" no processo "efetuar pagamento".
Modifier: Um qualificador que limita o escopo de uma métrica, como restringir a estatística de "valor do pagamento" a "produtos maternos e infantis".
Period: Um intervalo ou ponto temporal para uma métrica, como especificar que o "valor do pagamento" seja calculado nos "últimos 7 dias".
Derived Metric: Uma combinação de uma Métrica Atômica, um Modificador e um Período. Por exemplo, "valor total de pagamento para produtos maternos e infantis nos últimos 7 dias".
Construa um sistema de métricas: Métrica de dados.
Por que a modelagem de dados é importante
-
Gerenciamento padronizado de grandes volumes de dados
À medida que os negócios crescem, o volume de dados e a complexidade estrutural aumentam rapidamente. Gerenciar e armazenar esses dados de forma estruturada e ordenada é essencial.
-
Eliminação de silos de dados e habilitação de conectividade
Quando unidades de negócios gerenciam dados de forma independente, formam-se silos que impedem os tomadores de decisão de obter uma visão clara e rápida dos dados de toda a empresa. Eliminar esses silos é um desafio fundamental no gerenciamento de dados corporativos.
-
Padrões de dados unificados para integração flexível
Descrições de dados inconsistentes causam dificuldades de gerenciamento, duplicação de conteúdo e resultados imprecisos. Padrões de Dados unificados permitem integração flexível com serviços upstream e downstream sem interromper a arquitetura existente.
-
Maximização do valor dos dados e do lucro do negócio
Uma Modelagem de Dados eficaz maximiza o valor dos dados empresariais, entregando serviços de dados mais eficientes para o seu negócio.