DataWorks:Definição e uso de padrões de dados

Padrões de campo

Um padrão de campo normaliza o nome, o tipo de dados e o intervalo de valores de um campo. Padronizar campos com o mesmo significado evita confusões causadas por variações de nomenclatura ou tipo. Por exemplo, um padrão de campo chamado member_id garante que todos os campos de ID de membro em diferentes tabelas compartilhem uma definição consistente.

Tabelas de consulta

Uma tabela de consulta define o intervalo válido de valores e o conteúdo permitido para um campo. Por exemplo, é possível restringir os valores de um campo gender a Male, Female e Unknown.

Unidades de medida

Uma unidade de medida define unidades relevantes para o negócio, como moeda, quantificadores de objetos e unidades de tempo. Por exemplo, a unidade de medida para quantidade de produtos é peças.

Dicionários de nomenclatura

Um dicionário de nomenclatura fornece traduções padronizadas para termos de negócio, tabelas físicas e campos, incluindo palavras raiz e morfemas. Ele funciona como uma biblioteca corporativa para convenções de nomenclatura. Por exemplo, a receita anual de uma empresa pode ser padronizada como Receita Bruta Anual.

Hierarquia

• Um padrão de campo deve estar localizado no diretório raiz, em um diretório ou em um conjunto de padrões. A hierarquia é a seguinte:

  • Diretório raiz: Diretório de nível superior. Todos os outros diretórios, conjuntos de padrões e padrões devem estar contidos nele.

  • Diretório: Pasta utilizada para armazenar padrões e conjuntos de padrões, semelhante a uma pasta em um sistema operacional.

  • Conjunto de padrões: Semelhante a um diretório, mas pode conter apenas padrões.

• Padrões de campo podem ter relacionamentos de herança. Por exemplo, tanto os padrões de ID de comprador quanto os de ID de vendedor podem herdar de um padrão de ID de membro.

Definir um padrão de campo

1. Na barra de navegação à esquerda da página Data Standard, clique em Field Standard para acessar a página Field Standard.

2. Na árvore de diretórios à esquerda, clique com o botão direito no diretório ou conjunto de padrões desejado e selecione Create Standard.

   Crie diretórios ou conjuntos de padrões para organizar seus padrões de campo conforme necessário.

3. Na caixa de diálogo Create Standard, configure os principais parâmetros descritos abaixo.

   Parâmetro	Descrição
   Abbreviation	Nome do campo associado em um modelo lógico.
   Display Name	Nome de exibição do campo associado em um modelo lógico.
   Length	Parâmetro relacionado ao tipo de dados. Por exemplo, se você selecionar o tipo de dados DECIMAL, o comprimento corresponde a 20 em DECIMAL(20,4).
   Precision	Parâmetro relacionado ao tipo de dados. Por exemplo, se você selecionar o tipo de dados DECIMAL, a precisão corresponde a 4 em DECIMAL(20,4).
   Not Null	Especifica se um campo que referencia este padrão pode ser nulo. Valores nulos são permitidos por padrão.
   Default Value	Valor padrão para o campo caso nenhum valor seja fornecido. O valor não pode exceder 2.048 caracteres.
   Parent Standard	Selecione um padrão existente como pai para estabelecer um relacionamento de herança e identificar melhor as associações de campos. Por exemplo, tanto ID de comprador quanto ID de vendedor são tipos de ID de membro. Portanto, o padrão pai para o padrão de ID de comprador e o padrão de ID de vendedor é o padrão de ID de membro.
   Referenced Lookup Table	Referencie uma tabela de consulta existente para restringir o intervalo de valores de um campo. Para mais informações, consulte Padrões de dados: Tabelas de consulta.

   Importante

   Antes de excluir um padrão de campo, remova todas as suas referências.

Usar um padrão de campo

Padrões de campo definem campos específicos em modelos lógicos, incluindo tabelas source, tabelas de dimensão, tabelas de fatos, tabelas agregadas e tabelas de aplicação. Por exemplo, na tabela de dimensão de informações de membros dim_ec_con_member_df, associe o campo de ID de membro ao padrão de campo member_id. O nome do campo é herdado da abreviação do padrão de campo, o nome de exibição vem do nome de exibição do padrão, e propriedades como Tipo e Não Vazio também são herdadas. Para mais informações, consulte Configurar campos de tabela de dimensão.

Definir uma tabela de consulta

1. No painel de navegação à esquerda da página Data Standard, clique em Lookup Table para acessar a página Lookup Table.

2. Clique com o botão direito no nome do diretório criado e clique em Create Lookup Table.

   Crie diretórios para organizar suas tabelas de consulta conforme necessário.

3. Na caixa de diálogo Create Lookup Table, configure os parâmetros a seguir e adicione valores enumerados.

   Por exemplo, defina o ID como gender, o nome de exibição como Gender e o nome como gender. Os valores enumerados estão apresentados na tabela abaixo.

   Valor do código	Nome do código	Nome	Descrição
   0	Unknown	unknown	Gênero não especificado
   1	Male	male	Masculino
   2	Female	female	Feminino

   Importante

   Antes de excluir uma tabela de consulta, remova todas as suas referências.

Publicar uma tabela de consulta

Na página de detalhes da tabela de consulta, clique em Publish no canto superior direito para materializar a tabela de consulta como uma tabela física ou visão materializada.

Usar uma tabela de consulta

Tabelas de consulta definem campos específicos em modelos lógicos, incluindo tabelas source, tabelas de dimensão e tabelas de fatos. Por exemplo, na tabela de dimensão de informações de membros dim_ec_con_member_df, associe o campo gender à tabela de consulta gender. O nome do campo é herdado do ID da tabela de consulta, e o nome de exibição vem do nome de exibição da tabela de consulta. Para mais informações, consulte Configurar campos de tabela de dimensão.

Associar uma tabela de consulta unifica automaticamente os nomes dos campos em várias tabelas.

Aplicar padrões baseados em tabelas de consulta

Quando uma tabela de fatos ou tabela de dimensão de um modelo lógico é publicada como tabela física, gere uma regra de qualidade para um campo associado a uma tabela de consulta. Essa regra cria uma tarefa de monitoramento de qualidade que aplica o padrão à tabela física. Para mais informações, consulte Rotulagem de dados.

Um exemplo de regra de qualidade gerada é: o nome da regra é Field Rule-Lookup Table-(gender), a dimensão de qualidade é Consistency, o escopo é Field-level(gender) e o modelo de regra é Number of rows with mismatched enumerated values is 0. Para o limiar de monitoramento, !=0 indica exceção e =0 indica normalidade. A severidade é Weak Rule.

Definir uma unidade de medida

1. Na página Data Standard, na barra de navegação à esquerda, clique em Measurement Unit para acessar a página Measurement Unit.

2. Na página Measurement Unit, clique com o botão direito na categoria de medida desejada e selecione Create Measurement Unit.

3. Na caixa de diálogo Create Measurement Unit exibida, configure os parâmetros para concluir a definição.

   Por exemplo, defina a abreviação como m, o nome como meter e o nome de exibição como Meter.

Usar uma unidade de medida

Definir um dicionário de nomenclatura

1. Na página Data Standard, na barra de navegação à esquerda, clique em Naming Dictionary para acessar a página Naming Dictionary.

2. Clique em Create. Na caixa de diálogo Create Naming Dictionary, configure os parâmetros e clique em OK.

   Por exemplo, defina o nome de exibição como Engine, o nome como engine e a abreviação como eng..

Usar um dicionário de nomenclatura

Um dicionário de nomenclatura valida se os nomes das tabelas estão em conformidade com as convenções de nomenclatura das camadas do data warehouse. Este recurso é compatível com tabelas source, tabelas de dimensão, tabelas de fatos, tabelas agregadas e tabelas de aplicação. Por exemplo, se não existir nenhuma entrada no dicionário de nomenclatura com a abreviação trade, o nome da tabela dwd_trade_order não estará em conformidade com a convenção de nomenclatura da camada DWD.

Na página Checker Management, clique em Add Rule. Selecione Table Name como tipo de regra. Em seguida, defina a regra usando o texto fixo dwd e seleções nas listas suspensas Root Word Abbreviation e Business Process Abbreviation para corresponder à sua convenção de nomenclatura.

Para utilizar este recurso, configure-o no verificador de camadas do data warehouse. Para mais informações, consulte Configurar verificadores de camada de data warehouse e Usar verificadores.

Importar padrões em lote

Para importar muitos padrões de dados, utilize a importação em lote. Baixe o modelo de importação fornecido pelo DataWorks, preencha-o e faça o upload.

1. Na página Data Standard, na barra de navegação à esquerda, clique em Naming Dictionary para acessar a página Naming Dictionary.

   As páginas de detalhes de padrões de campo e tabelas de consulta também oferecem botões de Importar e Exportar.

2. Clique em Import e, na página Import, selecione o Import Type.

3. Na seção Template Preview, clique em Download Template e preencha os campos obrigatórios.

4. Clique em Next Step. Na aba Data Import, faça o upload e visualize o arquivo de dados.

   Nota

   • Import Mode: Se já existir um objeto no DataWorks com o mesmo nome do arquivo importado, escolha ignorar o objeto ou substituí-lo pelo conteúdo do arquivo importado.

   • Apenas arquivos no formato .xlsx são suportados para importação em lote. É possível importar até 30.000 registros por vez. O tamanho do arquivo não pode exceder 10 MB.

5. Na aba Complete, visualize os detalhes do resultado da importação. Clique em View More Details na lista de detalhes para acessar a página de edição e executar operações adicionais. Se o status da importação for Failed, resolva o erro com base nos detalhes fornecidos e reimporte os dados.

Exportar padrões em lote

Para reutilizar padrões de dados em vários workspaces, exporte-os em lote a partir das páginas de detalhes de padrões de campo, tabelas de consulta ou dicionários de nomenclatura.