DataWorks:Criar um modelo lógico: Tabela de dimensão

Como funciona

Extraia todas as dimensões possíveis em cada domínio de dados e armazene-as, juntamente com seus atributos, em tabelas de dimensão. Por exemplo, ao analisar dados de negócios de e-commerce, as possíveis dimensões (atributos de cada dimensão) incluem pedido (ID do pedido, hora de criação do pedido, ID do comprador e ID do vendedor), usuário (gênero e data de nascimento) e mercadoria (ID da mercadoria, nome da mercadoria e data de disponibilização). Crie as seguintes tabelas de dimensão: tabela de dimensão de pedido, tabela de dimensão de usuário e tabela de dimensão de mercadoria. Os atributos de cada dimensão funcionam como campos na tabela de dimensão. Implante as tabelas de dimensão em um data warehouse e execute operações de extração, transformação e carga (ETL) para armazenar os dados de dimensão no formato definido na tabela. Isso permite que as equipes de negócios acessem os dados para análises subsequentes.

Conforme mostrado na figura anterior:

• Ao criar uma Dimension Table:

  • Especifique a Data Warehouse Layer onde os dados da tabela serão armazenados. As Dimension Tables geralmente ficam na Common Layer (camada DIM), mas também podem ser colocadas na Application Layer. Por padrão, a camada de dados de aplicação permite apenas a criação de tabelas de aplicação. Para criar uma dimensão na Application Layer, crie uma nova camada de aplicação e defina seu tipo de modelo como Dimension ou Dimension Table, Dimension. Para mais informações, consulte Definir camadas de data warehouse.

  • Com base na camada de data warehouse selecionada, associe a Dimension Table a um Data Domain e processo de negócio específicos ou a um Data Mart e Subject Area. Isso facilita o gerenciamento das Dimension Tables sob a perspectiva de um Data Domain ou Data Mart.

• Após a criação da Dimension Table, adicione seus atributos, configure associações e partições e utilize um Column Standard ou Lookup Table unificado para as configurações de coluna. Essa prática garante a consistência dos atributos de dimensão em todos os Data Domains.

• Depois de configurar a Dimension Table:

  • Materialize-a em um Storage Engine. Em seguida, utilize a Dimension Table em um Compute Engine para análise de dados.

  • Ao projetar e criar Derived Metrics e Aggregate Tables, referencie e utilize diretamente as colunas da Dimension Table.

Conforme mostrado na figura acima:

• Ao criar uma tabela de dimensão:

  • Especifique em qual camada de data warehouse a tabela de dimensão será armazenada para análise de dados. Tabelas de dimensão são normalmente armazenadas na Camada de Dimensão Comum (DIM), mas você também pode anexá-las à Camada de Aplicação. Por padrão, a Camada de Aplicação do sistema permite apenas tabelas de aplicação. Para criar uma dimensão na Camada de Aplicação, crie uma nova camada de aplicação e defina seu tipo de modelo como Dimension ou Dimension Table, Dimension. Para obter detalhes, consulte Camadas personalizadas.

  • Com base na camada de data warehouse selecionada, associe a tabela de dimensão ao domínio de dados e processo de negócio ou ao data mart e área de assunto analisados pela tabela. Isso facilita o gerenciamento das tabelas de dimensão tanto pela perspectiva do domínio de dados quanto do data mart.

• Após a criação da tabela de dimensão, adicione dimensões como seus atributos e configure relacionamentos e partições para a tabela. Utilize padrões de coluna unificados ou códigos padrão para configurar as colunas, garantindo atributos consistentes para os dados de dimensão em todo o domínio de dados.

• Depois de configurar a tabela de dimensão:

  • Materialize-a em um mecanismo de armazenamento e use a tabela de dimensão para análise de dados em um mecanismo de computação.

  • Ao projetar métricas derivadas e tabelas agregadas, referencie diretamente as colunas da tabela de dimensão.

Pré-requisito

A Camada Comum processa e integra dados compartilhados para construir uma tabela de dimensão unificada em nível empresarial. A Camada de Aplicação obtém os dados integrados pela Camada Comum com base nos requisitos reais da aplicação, constrói tabelas de dimensão no nível de negócios para necessidades específicas e suporta a construção e transformação contínua de dados personalizados. Escolha criar a tabela de dimensão na Camada Comum ou na Camada de Aplicação conforme suas necessidades. Os pré-requisitos para cada camada estão listados na tabela a seguir.

Criar uma tabela de dimensão

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Modeling no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Modeling.

2. Na página Data Modeling, clique em Dimensional Modeling na barra de menu superior para acessar a página Dimensional Modeling.

3. Crie uma tabela de dimensão.

   1. Na página Dimensional Modeling, passe o mouse sobre o ícone e clique em Logical Model > Create Dimension Table.

   2. Configure as informações básicas da tabela de dimensão.

      Selecione a camada, o domínio de dados, a categoria de negócios ou o data mart ao qual a tabela de dimensão está anexada. Após a seleção, visualize posteriormente a tabela de dimensão criada na lista do objeto correspondente. Este tópico usa a criação de uma tabela de dimensão da Camada Comum como exemplo. Os principais parâmetros estão descritos abaixo.

      Parâmetro	Descrição
      Data Layer	Selecione a camada de data warehouse à qual a tabela de dimensão pertence. Diferentes camadas atendem a diferentes cenários de negócios: Common Layer: Armazena os resultados do processamento e integração de dados compartilhados, construindo tabelas de dimensão unificadas em nível empresarial. Após selecionar esta opção, especifique também o domínio de dados. Para criar um domínio de dados, consulte Domínio de dados. Application Layer: Constrói tabelas de dimensão no nível de negócios para necessidades específicas com base nos requisitos reais da aplicação. Após selecionar esta opção, especifique também o data mart. Para criar um data mart, consulte Data mart. Nota Por padrão, a Camada de Aplicação do sistema permite apenas tabelas de aplicação. Para criar uma tabela de dimensão na Camada de Aplicação, crie uma nova camada de aplicação e defina seu tipo de modelo como Dimension ou Dimension Table, Dimension. Para obter detalhes, consulte Camadas personalizadas.
      Business Category	Se a camada de data warehouse estiver definida como Common Layer, selecione a categoria de negócios à qual a tabela de dimensão pertence.
      Data Domain	Se a camada de data warehouse estiver definida como Common Layer, selecione o domínio de dados ao qual a tabela de dimensão pertence.
      Category/Mart/Subject	Se a camada de data warehouse estiver definida como Application Layer, selecione um data mart ou área de assunto sob a categoria de negócios.
      Storage Policy	Define a estratégia que a tabela de dimensão usa para armazenar dados (ou seja, o período de tempo e o intervalo de volume de dados para armazenamento).
      Dimension	A dimensão associada à tabela de dimensão, usada para configurar a perspectiva a partir da qual a tabela analisa os dados. Nota Para criar uma dimensão, consulte Criar um modelo conceitual: Dimensão.
      Naming Rule	Padroniza as regras de nomenclatura da tabela de dimensão usando um verificador configurado. Após selecionar um verificador, configure o Table Name da tabela de dimensão de acordo com as regras definidas pelo verificador. Nota Para configurar um verificador, consulte Configurar verificadores de camada de data warehouse.
      Table Name	O nome da tabela de dimensão. Se você configurou uma regra de nome de tabela, o nome da tabela de dimensão deve cumprir essa regra.
      Table Display Name	O nome de exibição da tabela de dimensão.
      Lifecycle	O período de retenção da tabela de dimensão. O período máximo de retenção é de 36000 dias.
      Owner	O proprietário da tabela de dimensão atual. O proprietário padrão é o usuário que criou a tabela de dimensão.
      Description	A descrição da tabela de dimensão.

4. Após concluir a configuração, clique em Save. A tabela de dimensão será criada.

   Encontre e gerencie uniformemente as tabelas de dimensão sob o domínio de dados ou categoria de negócios correspondente na árvore de diretórios à esquerda da modelagem dimensional.

Adicionar colunas à tabela

Após a criação do modelo, adicione colunas a ele.

Adicione colunas à tabela no Shortcut Mode ou no Script Mode. O Shortcut Mode oferece suporte a Import from Table/View, recurso que importa colunas de tabelas físicas ou views existentes no mecanismo de computação. Pesquise e selecione uma tabela física ou view existente na lista suspensa Find Existing Table/View para importar as colunas.

Configurar informações da coluna

Após concluir as etapas anteriores, as colunas necessárias serão adicionadas ao modelo. Em seguida, configure o Associated Field, o Redundant Field e a Associated Granularity/Metric para cada coluna de acordo com seus requisitos de negócios.

1. Configure os atributos da coluna.

   Por padrão, os atributos da coluna exibem informações básicas como Field Name, Type, Field Display Name, Description, Primary Key, Not Null, Measurement Unit e Actions. Clique em Field Display Settings no canto superior direito das colunas adicionadas para selecionar os atributos da coluna a serem exibidos e modificá-los conforme necessário.

2. Configure o Field Standard to Associate e a Lookup Table to Associate para as colunas. Use esse recurso para associar as colunas adicionadas a padrões de coluna e códigos padrão que regem os valores e intervalos das colunas.

   Após configurar as colunas, clique em Associate no canto superior direito da lista de colunas para configurar uniformemente a Atomic Metric, a Lookup Table e o Field Standard associados às colunas.

   • Field Standard to Associate: Governa uniformemente dados que possuem o mesmo significado, mas nomes de coluna diferentes, e define o intervalo de valores e a unidade de medida para as colunas.

   • Lookup Table to Associate: Define o conteúdo e o intervalo de valores que um padrão de coluna pode selecionar.

3. Configure o Redundant Field para as colunas.

   Em um esquema estrela tradicional para modelagem dimensional, as dimensões são armazenadas em tabelas de dimensão e acessadas por meio de chaves estrangeiras na tabela de fatos para reduzir o consumo de armazenamento. Em contraste, na modelagem inteligente do DataWorks para design de modelo dimensional, colunas frequentemente usadas (por exemplo, ID de usuário e dimensões de análise comuns) são tipicamente adicionadas como colunas redundantes para melhorar a eficiência de consultas downstream, reduzir a complexidade de recuperação de dados e minimizar o número de tabelas associadas.

   Exemplo 1: A Tabela de Detalhes de Criação de Pedido pode incluir a dimensão Endereço de Entrega da Tabela de Dimensão de Endereço de Entrega como colunas redundantes, incluindo atributos de dimensão como endereço do destinatário e número de celular do destinatário.

   Exemplo 2: A Tabela de Dimensão de Mercadoria pode incluir atributos como informações de aquisição e informações de marca da Tabela de Informações de Mercadoria como colunas redundantes.

   Na coluna Actions de uma coluna adicionada, clique em Redundant Field para configurar a coluna associada.

   

4. Após concluir a configuração, clique em Save no canto superior esquerdo.

Próximas etapas

Após a criação da tabela de dimensão, configure o gerenciamento de colunas, os relacionamentos e as definições de partição para a tabela e, em seguida, implante a tabela no ambiente correspondente. Para obter detalhes, consulte:

• Materializar um modelo lógico

• Desenvolver um modelo

• Gerenciar e usar modelos