Modelagem reversa: crie modelos a partir de tabelas físicas - DataWorks: Central de Documentação do Alibaba Cloud

Para gerenciar centralmente um grande volume de tabelas físicas do mecanismo de computação, use a modelagem reversa. Esse recurso cria modelos no DataWorks Dimensional Modeling diretamente das tabelas físicas existentes e economiza tempo ao eliminar trabalho redundante. Este tópico explica como usar a modelagem reversa.

O recurso de modelagem de dados do DataWorks segue a metodologia de modelagem dimensional Kimball. Projete e crie tabelas de dimensão, tabelas de fatos, tabelas agregadas e tabelas de aplicação, publique modelos nos mecanismos de desenvolvimento e converta tabelas físicas existentes em modelos lógicos por meio da modelagem reversa.

Perspectiva de modelagem

A modelagem dimensional organiza as tabelas de modelo em três níveis: Camada comum, Camada de aplicação e Sem categoria. A Camada comum constrói métricas unificadas reutilizáveis, dimensões e dados detalhados de fatos, além de permitir o gerenciamento pelas perspectivas de domínio de dados ou categoria de negócios. A Camada de aplicação atende a necessidades estatísticas específicas de negócios e aceita apenas a perspectiva de categoria de negócios. Após selecionar um nível, crie e gerencie tabelas de modelo na árvore de diretórios correspondente.

Pré-requisitos

O mecanismo de computação já contém um grande número de tabelas físicas e possui uma source de dados criada no workspace de destino do DataWorks. Para mais informações sobre a criação de sources de dados, consulte Gerenciamento de sources de dados.
As camadas de data warehouse foram criadas para determinar a camada à qual um modelo pertence. Para mais informações, consulte Definir camadas de data warehouse.
A camada comum processa e integra dados públicos da camada de importação de dados para estabelecer dimensões e métricas unificadas, além de construir dados de fatos e agregados reutilizáveis para análise e estatísticas. A camada de aplicação utiliza os dados processados e integrados pela camada comum para gerar estatísticas personalizadas para aplicações ou produtos específicos, com base nos requisitos reais.

Os modelos podem pertencer à Common Layer ou à Application Layer. Conclua os preparativos correspondentes para cada camada:
- Common Layer:
  - Crie um domínio de dados. O domínio de dados define o escopo dos dados de negócios cobertos pelo modelo. Para mais informações, consulte Domínio de Dados.
  - Crie um processo de negócios. O processo de negócios define a atividade empresarial específica que o modelo analisa. Para mais informações, consulte Processo de Negócios.
- Application Layer:
  - Crie um data mart. O data mart define a categoria de dados para um cenário de aplicação ou produto específico. Para mais informações, consulte Data Mart.
  - Crie uma área de assunto. A área de assunto define o tema específico de dados de negócios que o modelo abrange. Para mais informações, consulte Área de Assunto.

Limitações

A modelagem reversa é compatível apenas com tabelas no ambiente de produção do MaxCompute e E-MapReduce (EMR) Hive.

Processo de modelagem

A modelagem reversa importa tabelas físicas existentes de um mecanismo de computação de big data e as converte em modelos no DataWorks Dimensional Modeling. 逆向建模流程

Configure uma política de modelagem reversa.
- Defina o escopo da modelagem: antes de criar modelos, determine quais tabelas deseja submeter à modelagem reversa com base nos requisitos de negócios.
  
  Especifique o workspace e a instância do mecanismo de computação e escolha um método de correspondência de nome de tabela: correspondência exata ou aproximada. As tabelas correspondidas são então convertidas em modelos.
- Defina regras de modelagem: especifique a camada de data warehouse e a convenção de nomenclatura para os modelos gerados.
  
  Use um verificador ou um método personalizado para padronizar os nomes dos modelos. Uma convenção de nomenclatura consistente ajuda a esclarecer o tipo de negócio e a granularidade dos dados do modelo. Para mais informações sobre verificadores, consulte Configurar verificadores de camada de data warehouse e Usar verificadores.
- Escolha um método de execução: decida entre realizar uma atualização completa, que cria todos os modelos de destino, ou uma atualização incremental, que cria apenas os modelos inexistentes no Dimensional Modeling.
Nota
A modelagem reversa é irreversível. Após gerar modelos, não é possível modificar a política. Planeje a política cuidadosamente com base nos requisitos de negócios.

Para mais informações, consulte Configurar uma política de modelagem reversa.
Analise e corresponda modelos.

O DataWorks analisa suas tabelas e identifica os modelos a serem criados com base na política.
Confirme as informações do modelo.

Os modelos iniciais gerados pelo DataWorks podem exigir ajustes. Revise e modifique as informações básicas do modelo, como Data Domain e Business Process, para alinhá-las aos requisitos de negócios. Para mais informações, consulte Confirmar informações do modelo.
Gere os modelos finais.
Após a geração dos modelos, visualize o status e os detalhes. Se a geração de algum modelo falhar, verifique as informações de erro para identificar e resolver rapidamente o problema.
Nota
- Modelos gerados com sucesso são materializados automaticamente no mecanismo de computação correspondente. Não é necessário publicá-los.
- Modelos gerados com sucesso são armazenados no Dimensional Modeling. Acesse a página do Dimensional Modeling para visualizá-los e gerenciá-los. Para mais informações, consulte Gerenciamento de modelos.

Procedimento

Acesse a página Reverse Modeling.
1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Modeling no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Modeling.
2. Na barra de navegação superior da página Data Modeling, clique em Dimensional Modeling para acessar a página Dimensional Modeling.
3. No painel de navegação à esquerda da página Dimensional Modeling, clique em Reverse Modeling para acessar a página Reverse Modeling.
Inicie a modelagem.
- Se esta for a primeira vez que você usa a modelagem reversa, clique em Start Now no centro da página Reverse Modeling para começar.
- Caso já tenha usado a modelagem reversa anteriormente, clique em Start Reverse Modeling no canto superior direito da página Modeling Tasks.

Configure uma política de modelagem reversa.

Nota

A modelagem reversa é irreversível. Após gerar modelos, não é possível modificar a política. Planeje a política cuidadosamente com base nos requisitos de negócios.

Configure as definições da política.

Parâmetro	Descrição
Workspace	Selecione o workspace do DataWorks que contém as tabelas a serem submetidas à modelagem reversa. Nota É possível selecionar apenas workspaces do DataWorks onde o usuário atual é membro. Para selecionar um workspace diferente, adicione o usuário como membro desse workspace. Para mais informações, consulte Gerenciar permissões em serviços no nível de workspace.
Compute Engine Type	A modelagem reversa é compatível apenas com tabelas físicas de projetos MaxCompute e E-MapReduce (EMR) Hive no ambiente de produção.
Compute Engine Instance	Selecione a instância do mecanismo de computação que contém as tabelas a serem submetidas à modelagem reversa.
Table Name Matching Rule	Selecione um método para corresponder tabelas no mecanismo de computação de destino. As tabelas correspondidas são então submetidas à modelagem reversa. Os métodos disponíveis são: Fuzzy Match: insira uma palavra-chave para corresponder a todas as tabelas cujos nomes contenham essa palavra-chave. Exact Match: insira o nome completo e exato de uma ou mais tabelas. Nota Para especificar vários nomes de tabela, separe-os com ponto e vírgula (;) sem espaço após o caractere. Se nenhuma tabela for correspondida, a tarefa falhará e nenhum modelo será gerado.
Data Layer of Model After Reverse Modeling	Common Layer: selecione esta camada para criar tabelas de fatos, tabelas de dimensão ou tabelas agregadas. Application Layer: selecione esta camada para criar tabelas de aplicação ou tabelas de dimensão.
Table Naming Rule	Este recurso analisa os nomes das tabelas correspondidas pela Table Name Matching Rule. Esse processo padroniza os nomes dos modelos após a modelagem reversa e associa os modelos às camadas de data warehouse correspondentes. Detalhes: Regra de análise O sistema analisa os nomes das tabelas correspondidas e os sublinhados (_) contidos neles. Um nome de tabela pode conter até nove sublinhados. Os segmentos entre sublinhados podem ser configurados para representar informações como Business Process, Data Domain ou conteúdo Custom. Se o nome de uma tabela contiver um identificador de camada de data warehouse, o modelo gerado será atribuído automaticamente a essa camada. Nota Se o nome de uma tabela não contiver os identificadores de camada necessários, como Data Domain ou Business Process, a atribuição de camada do modelo ficará vazia. Atribua a camada posteriormente na etapa Confirm Model Information. Método de análise Table Name Checker: selecione um verificador pré-configurado para analisar nomes de tabelas. Para saber como criar um verificador, consulte Configurar verificadores de camada de data warehouse e Usar verificadores. Custom Rule: crie uma convenção de nomenclatura personalizada combinando elementos como Business Process, Data Domain, Business Category e conteúdo Custom para analisar nomes de tabelas.
Execution Method	Selecione um método para criar modelos: Full Update: o DataWorks cria modelos para todas as tabelas correspondidas no Dimensional Modeling. Escolha este método para regenerar todas as tabelas correspondidas como novos modelos. Nota Se já existir um modelo para uma tabela correspondida no Dimensional Modeling, selecionar Full Update excluirá o modelo existente e criará um novo. Incremental Update: o DataWorks executa as seguintes ações nas tabelas correspondidas: Identifica e filtra tabelas que já possuem modelos correspondentes no Dimensional Modeling. Cria novos modelos apenas para tabelas correspondidas que ainda não possuem um modelo no Dimensional Modeling. Opte por este método para evitar recriar modelos existentes e inalterados.

Clique em Create Model para analisar as tabelas com base na política.

Confirme as informações do modelo.
1. Confirme as informações do modelo.
  
  O DataWorks gera modelos iniciais com base na sua política. Ajuste informações como o Table Type e sua Data Layer e Data Domain associadas. Também é possível excluir tabelas que você não deseja modelar.
2. Clique em Generate Model para criar os modelos.
Visualize os resultados.
Após a geração dos modelos, visualize a quantidade de modelos criados com sucesso de cada tipo e os detalhes de quaisquer modelos com falha. Clique em Error Logs para identificar e solucionar problemas rapidamente.
Nota
- Modelos gerados com sucesso são materializados automaticamente no mecanismo de computação correspondente. Não é necessário publicá-los.
- Modelos gerados com sucesso são armazenados no Dimensional Modeling. Acesse a página do Dimensional Modeling para visualizá-los e gerenciá-los. Para mais informações, consulte Gerenciamento de modelos.

Visualizar tarefas de modelagem

Na página Reverse Modeling > Modeling Tasks, visualize os detalhes e logs de operação das tarefas criadas.

Área

Descrição

Área de filtro

Filtre tarefas por Task ID, Operated By ou Operation Date.

Área da lista de tarefas

Esta área exibe detalhes de cada tarefa, como regras e resultados.

Para uma tarefa executada, clique em View Logs para visualizar as informações de log.
Para uma tarefa pendente, clique em View Task para retornar à página de detalhes e continuar o processo.

Próximas etapas

Após a conclusão da modelagem reversa, execute as seguintes operações:

Visualize os modelos criados no diretório de modelos na página do Dimensional Modeling. Para mais informações, consulte Materializar um modelo lógico.
Use o DataStudio para realizar tarefas relacionadas de desenvolvimento de dados. Para obter uma visão geral dos recursos do DataStudio, consulte Guia de recursos do DataStudio.