DataWorks:Criar um modelo lógico: Tabela de aplicação

Perspectiva de modelagem

A modelagem dimensional organiza as tabelas do modelo em três níveis: Camada Comum, Camada de Aplicação e Sem Categoria. A Camada Comum constrói métricas unificadas reutilizáveis, dimensões e dados detalhados de fatos, além de permitir o gerenciamento pelas perspectivas de domínio de dados ou categoria de negócios. A Camada de Aplicação atende a necessidades estatísticas específicas de negócios e suporta apenas a perspectiva de categoria de negócios. Após selecionar um nível, crie e gerencie tabelas de modelo na árvore de diretórios correspondente.

Introdução

Uma tabela de aplicação agrega múltiplas métricas atômicas ou métricas derivadas de um data mart ou área temática, com base em um período especificado e nas dimensões associadas. Essas dimensões, períodos e métricas geram campos estatísticos na tabela de aplicação, permitindo relatórios e outras exibições analíticas que abrangem várias métricas dentro do mesmo intervalo de tempo.

Pré-requisitos

• É necessário ter uma camada de dados disponível. Uma camada de dados armazena tabelas com o mesmo propósito, facilitando sua localização e uso. As tabelas de aplicação geralmente residem na camada de service de dados de aplicação (ADS), onde agregam e disponibilizam múltiplas métricas em uma granularidade estatística específica para suportar consultas de negócios e distribuição de dados. Também é possível posicionar tabelas de aplicação em outras camadas de dados conforme suas necessidades de negócios. Para mais informações sobre como criar uma camada de dados, consulte Define data warehouse layers.

• Um data mart ou área temática deve estar criado para definir o contexto de negócios dos dados estatísticos. Para mais informações, consulte Data mart e Subject area.

• Um período deve estar criado para definir o intervalo de tempo dos dados estatísticos. Para mais informações, consulte Period.

Criar uma tabela de aplicação

1. Faça login no console do DataWorks. Na região desejada, clique em Data Development and O&M > Data Modeling no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Modeling.

2. Na barra de menu superior da página Data Modeling, clique em Dimensional Modeling para acessar a página Dimensional Modeling.

3. Crie uma tabela de aplicação.

   1. Na página Dimensional Modeling, passe o mouse sobre o ícone e clique em Logical Model > Create Application Table.

   2. Configure as informações básicas da tabela de aplicação.

      Parâmetro	Descrição
      Data Layer	Camada de dados onde a tabela de aplicação será armazenada. Por padrão, o sistema seleciona a application data service (ADS) layer dentro da Application Layer. Caso necessário, selecione outra camada de dados conforme seus requisitos de negócios. Para mais detalhes sobre a criação de camadas de dados, consulte Define data warehouse layers.
      Mart/Subject	Escolha um data mart ou área temática existente. Para mais informações, consulte Data mart e Subject area.
      Granularity	Selecione uma dimensão existente. Para mais informações, consulte Create a conceptual model: Dimension.
      Period	Intervalo de tempo dos dados estatísticos a serem agregados. Exemplos: último dia ou última semana. Selecione entre os períodos existentes. Se nenhum período atender às suas necessidades, crie um novo. Para mais informações, consulte Period.
      Modifier	Escopo de negócios dos dados estatísticos. Escolha entre os modificadores disponíveis. Caso não exista um modificador adequado, crie um novo. Para mais informações, consulte Modifier.
      Naming Rule	Selecione um verificador para validar as regras de nomenclatura da tabela. É possível escolher um verificador criado anteriormente para cada camada de dados durante o planejamento do data warehouse. Para mais informações, consulte Configure data warehouse layer checkers e Use checkers.
      Table Name	Nome da tabela de aplicação. Se houver uma regra de nomenclatura configurada, o nome da tabela deve estar em conformidade com ela.
      Table Display Name	Nome de exibição da tabela.
      Lifecycle	Período de retenção da tabela, em dias. Uma tabela de aplicação pode ser retida por no máximo 36.000 dias.
      Owner	Proprietário da tabela de aplicação. Por padrão, corresponde ao usuário que cria a tabela.
      Description	Descrição da tabela.

4. Clique em Save no canto superior esquerdo.

Adicionar campos à tabela

Adicione campos à tabela no Shortcut Mode ou no Script Mode. O Shortcut Mode oferece os seguintes métodos de importação:

• Import from Table/View: Importa campos de uma tabela física ou view existente no mecanismo de computação. Na lista suspensa Search for Existing Table/View, localize a tabela física ou view desejada e importe seus campos.

  Nota

  Atualmente, a importação de campos é suportada apenas para tabelas ou views nos mecanismos MaxCompute, Hologres e EMR Hive.

• Import from Metrics: Selecione as métricas derivadas que deseja adicionar como campos do modelo.

-- The table name cannot be modified after the physical table publishing process begins (i.e., when the model is pending approval, being published, or already published).
CREATE DIM TABLE dim_ec_pub_department_df ALIAS 'Department Dimension Table'
(
    id            ALIAS 'id' STRING COMMENT 'id',
    gmt_create    ALIAS 'Creation Time' TIMESTAMP COMMENT 'Creation Time',
    gmt_modified ALIAS 'Modification Time' TIMESTAMP COMMENT 'Modification Time',
    name          ALIAS 'Department Name' STRING COMMENT 'Department Name',
    parent_id     ALIAS 'Parent Department ID' STRING COMMENT 'Parent Department ID',
    `level`       ALIAS 'Level; 0: Group; 1: Subsidiary; 2: Business Unit; 3: Department.' BIGINT COMMENT 'Level; 0: Group; 1: Subsidiary; 2: Business Unit; 3: Department.',
    ds            ALIAS 'Business Date, yyyymmdd' STRING COMMENT 'Business Date, yyyymmdd'
)
COMMENT 'Department Dimension Table'
WITH('life_cycle'='1000');

Configurar informações dos campos da tabela

Após adicionar os campos necessários ao modelo, configure o Associated Field, o Redundant Field e a Associated Granularity/Metric de cada campo conforme seus requisitos de negócios.

1. Defina as propriedades dos campos.

   Por padrão, as propriedades exibidas incluem Field Name, Type, Field Display Name, Description, Primary Key, Not Null, Measurement Unit e Actions. No canto superior direito da lista de campos adicionados, clique em Field Display Settings para escolher quais propriedades exibir e modificá-las conforme necessário.

2. Defina o Field Standard to Associate para os campos.

   Associe um padrão de campo aos campos para padronizar seus valores e intervalos.

   Field Standard to Associate: Gerencia centralmente dados que compartilham o mesmo significado, mas possuem nomes de campo diferentes. Define o intervalo de valores, unidade de medida e outras propriedades para os campos.

3. Configure o Redundant Field.

   Na modelagem dimensional tradicional de esquema estrela, as tabelas de dimensão armazenam dimensões acessadas por meio de chaves estrangeiras na tabela de fatos para reduzir o consumo de armazenamento. No DataWorks Data Modeling, adicione campos frequentemente utilizados como campos redundantes (por exemplo, ID de usuário e dimensões comuns de análise) para melhorar a eficiência das consultas downstream, simplificar o acesso aos dados e reduzir junções de tabelas.

   Na coluna Actions de um campo adicionado, clique em Redundant Field para configurar sua associação.

   Na caixa de diálogo Redundant Field, selecione o tipo de source de dados e o nome específico da tabela na lista suspensa Associated Table/View Name. Confirme a lista de campos na tabela abaixo e selecione o campo alvo na lista suspensa Association Field. Clique em Save para concluir a configuração.

4. Defina a Associated Granularity/Metric para os campos.

   Para tabelas agregadas e de aplicação, especifique como cada valor de campo é calculado definindo o Association Type do campo. As opções incluem Statistical Granularity, Derived Metric e Atomic Metric.

   • Statistical Granularity: Associa-se a uma tabela de dimensão e aos campos dentro dessa tabela. Por exemplo, uma dimensão de product ou uma dimensão de vendedor.

   • Derived Metric: Especifica a métrica derivada cujo valor estatístico o campo irá agregar. Por exemplo, o valor total de pagamentos de pedidos realizados no aplicativo Hema nos últimos 7 dias.

   • Atomic Metric: Especifica a métrica atômica cujo valor estatístico o campo irá agregar. Por exemplo, o valor de pagamento de um pedido.

   Nota

   Campos importados de uma tabela ou adicionados no modo script não possuem um tipo de associação padrão. Defina manualmente o tipo de associação para esses campos.

   Após a configuração, especifique o objeto associado de um campo no painel Field Association, localizado no canto superior direito da lista de campos.

5. Ao concluir as configurações, clique em Save no canto superior esquerdo.

Próximos passos

Após criar a tabela, configure o gerenciamento de campos, associações e definições de partição e publique a tabela no ambiente alvo:

• Materialize a logical model

• Generate ETL code based on a model

• Model management and application